研究生课程《矩阵论》课程笔记。包括线性空间与线性变换、Jordan标准形、矩阵的广义逆、矩阵分解等内容。

线性空间与线性变换

芳费

1. 基变换与坐标变换
2. 线性变换

基变换与坐标变换

$\set{\alpha_1,\alpha_2,...,\alpha_n}$, $\set{\beta_1,\beta_2,...,\beta_n}$ 是空间的两组基；

若有 $\beta_i=(\alpha_1,\alpha_2,...,\alpha_n)C_i$ ，即 $(\beta_1,\beta_2,...,\beta_n)=(\alpha_1,\alpha_2,...,\alpha_n)C$

则称 $C$ 为基 $\alpha \to \beta$ 的过渡矩阵；

若 $\alpha=(\alpha_1,\alpha_2,...,\alpha_n)X,\alpha=(\beta_1,\beta_2,...,\beta_n)Y$，

则 $X=CY,Y=C^{-1}X$

线性变换

线性变换的矩阵 $A$ 的求法：

1. 确定基
2. 对基进行变换 $T(\alpha_i)=\sum k_{ij}\alpha_i$
3. 取 $A=(k_{ij})_{n\times n}$

Jordan 标准形

1. 求解 Jordan 标准形
2. Jordan 标准形的应用：高次幂等矩阵函数，求解微分方程
3. 化零多项式应用：化简多项式，求矩阵逆，最小多项式（次数最低首一多项式）

求解 Jordan 标准形

$J = \begin{bmatrix} J_1 & 0 & \cdots & 0 \\ 0 & J_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & J_k \end{bmatrix}$ 其中 $J_i = \begin{bmatrix} \lambda_i & 1 & 0 & \cdots & 0 \\ 0 & \lambda_i & 1 & \cdots & 0 \\ 0 & 0 & \lambda_i & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & \lambda_i \end{bmatrix}$

令矩阵 $P$ 使得 $AP=PJ$

求法：

1. $|\lambda I-A|$ 得 $f(\lambda)=0$ 求特征值
2. $f(\lambda)=(\lambda-\lambda_1)^{k_1}(\lambda-\lambda_2)^{k_2}...(\lambda-\lambda_n)^{k_n}$ 其中 $k$ 为代数重数
3. 通过解 $(\lambda_iI - A)X=0$ 求得 $\lambda_i$ 对应的特征向量，特征向量的个数为几何重数。有几个特征向量则有几个 Jordan 块
4. 若几何重数 < 代数重数，则求广义特征向量：$(A-\lambda_i)X=x_0$ 的解，其中 $x_0$ 为选取的特征向量。
5. 特征向量，广义特征向量组成 $P$，特征值组成 $J$

Jordan 标准形的应用

高次幂

$f(A)=P(f(J))P^{-1}$

求解微分方程组

一阶线性非齐次微分方程 $\frac{dy}{dx}+P(x)y=Q(x)$ 的通解：

$$y=ce^{-\int{P(x)dx}}+e^{-\int{P(x)dx}}\int{Q(x)e^{\int{P(x)dx}}dx}$$

化零多项式

$f(\lambda)=0$ 则 $f(A)=0$

1. 化简多项式 $F(A)=F(A) \mod f(A)$
2. $f(A)=0$ 通过移项可得 $A^{-1}$
3. 最小多项式：最小次的首一化零多项式，形式为 $f(\lambda)=(\lambda-\lambda_1)^{k_1}(\lambda-\lambda_2)^{k_2}...(\lambda-\lambda_n)^{k_n}$ 其中 $k_i$ 表示特征值 $\lambda_i$ 对应的 Jordan 块最大阶数

矩阵分解

1. 方阵的三角分解：LU、LDV 分解
2. 矩阵的满秩分解 A=BC
3. 可对角化矩阵的谱分解
4. 可逆矩阵的 UR 分解
5. 列满秩矩阵的 QR 分解
6. Schur 分解
7. 正规矩阵的性质
8. 矩阵的奇异值分解
9. 矩阵的极分解

方阵的三角分解：LU、LDV 分解

LU 分解

形式：$A=LU$。$L,U$分别为下三角矩阵、上三角矩阵

存在性：若 $A$ 可以使用除行互换以外的初等行变换为上三角矩阵，则存在 LU 分解；若 $A$ 的前 r 阶顺主子式不为 0，则存在 $LU$ 分解

求法：解 $A=LU$ 方程可得，固定 $L$ 为单位下三角矩阵（Doolittle）。

应用：求解方程组 $AX=b$

1. $AX=LUX=b$
2. 令 $Y=UX$，则有 $LY=b$
3. 利用回代法 $LY=b$ 很好求出 $Y$
4. 利用回代法 $Y=UX$ 很好求出 $X$

LDV 分解

形式：$A=LDV$。$L,D,V$ 分别为单位下三角矩阵、对角矩阵、单位上三角矩阵

存在性：$A=LDV$ 惟一的充要条件为 $A$ 的所有顺主子式不为 0

求法：求出 $LU$ 分解的 Doolittle 形式，将 $U$ 中对角线元素按行除提取出一个对角矩阵 $D$

满秩分解 $A=BC$

形式：$A\in C^{m\times n},r(A)=r(B)=r(C)=r$ 使得 $A=B_{m\times r}C_{r\times n}$

求法（初等行变换化成简化阶梯型）：

例如 $\begin{bmatrix} 1 & 2 & 0 & 3 \\ 0 & 0 & 1 & 4 \\ 0 & 0 & 0 & 0 \ \end{bmatrix}$，非零行的第一个非零元为 1，其所在的列其他元素都为 0，即这些列是标准列 $e$

这里选取原矩阵 $A$ 第 1，3 列做为 $(A_1\ A_3)$ 作为矩阵 $B$，阶梯型的前两行作为矩阵 $C$

应用：后章节求矩阵广义逆

谱分解 $A=\sum \lambda_i P_i$

形式：$A=\sum \lambda_i P_i$

存在性：可对角化矩阵

求法：

1. 求出 $A$ 的特征值 $\lambda_i$ 以及对应的特征向量 $\alpha_i$
2. $A=\sum\lambda_i(\frac{1}{|\alpha_i|}·\alpha_i\alpha_i^H)$

可逆矩阵的 $A=UR$ 分解

形式：$A=UR$ ，

// TODO!

列满秩矩阵的 $QR$ 分解

形式：$A=QR$，$Q$ 为正交矩阵，$R$ 为上三角矩阵

求法：

1. Schmidt 正交化方法

   $$\left\{\begin{matrix} \beta_1 & = & \alpha _1,\epsilon _1=\frac{\beta_1}{|\beta_1|},\\ \beta_2 & = & \alpha _2-(\epsilon _1,\alpha _1)\epsilon _1,\epsilon _2=\frac{\beta_2}{|\beta_2|}, \\ & &...... \\ \beta_n &=& \alpha_n - \sum_{i=1}^{n-1}(\epsilon _i,\alpha _i)\epsilon _i,\epsilon _n=\frac{\beta_n}{|\beta_n|} \end{matrix}\right.$$

2. $Q=(\epsilon_1\epsilon_2...\epsilon_n)$

$R=\begin{bmatrix} |\beta_1| & (\epsilon _1,\alpha_2) & \cdots & (\epsilon_1,\alpha _n) \\ 0 & |\beta_2| & \cdots & (\epsilon_2,\alpha _n) \\ & & \ddots & \vdots \\ & & & |\beta_n| \end{bmatrix}$

Schur 分解？TODO!

正规矩阵的性质

形式：$A^HA=AA^H$

常见的正规矩阵：

• 对角矩阵
• 实对称矩阵和反对称矩阵
• Hermite 矩阵和反 Hermite 矩阵
• 正交矩阵和酉矩阵

性质：//TODO!

矩阵的奇异值分解

形式：$A=U\Sigma V^H=U\begin{pmatrix} \Delta_r & 0 \\ 0 & 0 \end{pmatrix} V^H$

求法：

1. 根据 $A^TA$ 或 $AA^T$ 求矩阵的正奇异值
2. 计算 $A^TA$ 的 $n$ 个标准正交特征向量，一定是正交的，按照特征值$\lambda_1,...,\lambda_n$大小降序排列并标准化为 $\epsilon_1,...,\epsilon_n$
3. $V = (\epsilon_1,...,\epsilon_n)$ ，令 $V_1=(\epsilon_1,...,\epsilon_k)$，其中 $k$ 为正特征值对应的特征向量
4. $U=AV_1\Delta_r^{-1}$ ，其中 $\Delta_r=dialog(\sqrt{\lambda_1},...,\sqrt{\lambda_k})$，即正奇异值

矩阵的极分解

TODO!

矩阵的广义逆

1. 矩阵的左、右逆
2. 矩阵的广义逆（减逆，加逆，最小二乘逆）

矩阵的左右逆

定义：左逆满足 $A_L^-A=I_n$ ，右逆满足 $AA_R^-=I_m$

• 列满秩（高阵）有左逆
• 行满秩（矮阵）有右逆

左逆的求法（求右逆可以转置成高阵求左逆再转置）：

• 求一个左逆：$A_L^-=(A^HA)^{-1}A^H$ 对应的求一个右逆 $A_R^-=A^H(AA^H)^{-1}$
• 求一般左逆：
  • 
  • 

矩阵的广义逆

$A^+$ 逆（MP广义逆）

求法：

1. 满秩分解法：$A=BC$ 则 $A^+=C^H(CC^H)^{-1}(B^HB)^{-1}B^H$

   特别地，当矩阵为列满秩/��满秩时，退化成左逆/右逆

   左逆：$A_L^-=(A^HA)^{-1}A^H$ 对应的求一个右逆 $A_R^-=A^H(AA^H)^{-1}$

2. 奇异值分解法：$A=U\Sigma V^H$ 则 $A^+ = V\Sigma ^{-1}U^H$

应用：

1. 最佳最小二乘法：$x_0=A^+ b$ 为 $Ax=b$ 的最佳最小二乘解

2. $A^+ A$ 是正交投影，将向量 $x$ 投影到 $R(A^+)$ 的空间上；

   $AA^+$ 是正交投影，将向量 $x$ 投影到 $R(A)$ 的空间上

投影矩阵

$A=C(C^HC)^{-1}C^H$

矩阵分析

1. 向量范数、矩阵范数的计算
2. 矩阵函数值的计算
3. 一阶线性常微分方程组

向量范数与矩阵范数

向量范数：$||x||_p=(\sum_{i=1}^n|x_i|^p)^{\frac{1}{p}}$

常用的矩阵范数 $A=(a_{ij})_{m*n}$：

• 列和范数：最大的列和 $||A||_1=\max_{1\le j\le n}\{ {\sum_{i=1}^{m}|a_{ij}|\} }$
• 行和范数：最大的行和 $||A||_\infin=\max_{1\le i\le m}\{ {\sum_{j=1}^{n}|a_{ij}|\} }$
• 谱范数：矩阵 $A^HA$ 最大特征值开根号 $||A||_2=\sqrt{\max\lambda(A^HA)}$
• Frobenius 范数：所有元素模的平方和开根号 $||A||_F=(\sum_{i=1}^m\sum_{j=1}^n|a_{ij}|^2)^{\frac{1}{2}}$

常用的矩阵函数

1. $e^A=\sum_{k=0}^{\infin}\frac{1}{k!}A^k$
2. $\sin A=\sum_{k=0}^{\infin}\frac{(-1)^kA^{2k+1}}{(2k+1)!}$
3. $\cos A=\sum_{k=0}^{\infin}\frac{(-1)^kA^{2k}}{(2k)!}$
4. $\ln(I+A)=\sum_{k=1}^{\infin}\frac{(-1)^kA^k}{k},\rho(A)<1$
5. $(I-A)^{-1}=\sum_{k=0}^{\infin}A^k,\rho(A)<1$

矩阵函数的计算

方法一：Jordan 标准形法

$f(A)=P(f(J))P^{-1}$

方法二：最小多项式法（待定系数法）

1. 求最小多项式 $m_A(\lambda)=(\lambda -\lambda_1)^{k_1}...(\lambda-\lambda_s)^{k_s},\sum n_i=m$
2. 令 $g(\lambda)=c_0+c_1\lambda+...c_{m-1}\lambda^{m-1}$
3. 根据方程确定系数

   $$\left\{ \begin{aligned} g(\lambda_i) &= f(\lambda_i) \\[0.5em] g'(\lambda_i) &= f'(\lambda_i) \\[0.5em] &\vdots \\[0.5em] g^{n_i-1}(\lambda_i) &= f^{n_i-1}(\lambda_i) \end{aligned} \right.$$

4. $f(A)=g(A)=c_0+c_1A+...+c_{m-1}A^{m-1}$

一阶线性微分方程组

求解：$X'(t)=AX(t)$。通解为 $e^{A(t-t_0)}X(t_0)$；

求解：$X'(t)=AX(t)+f(t)$。通解为 $e^{A(t-t_0)}X(t_0)+\int_{t_0}^te^{A(t-s)}f(s)ds$

矩阵 K 积和 H 积

1. 求解 K 积和 H 积
2. 利用向量化算子和 K 积解矩阵方程

K 积与 H 积

$$A \otimes B = \begin{bmatrix} a_{11}B & a_{12}B & \cdots & a_{1n}B \\[0.3em] a_{21}B & a_{22}B & \cdots & a_{2n}B \\[0.3em] \vdots & \vdots & \ddots & \vdots \\[0.3em] a_{m1}B & a_{m2}B & \cdots & a_{mn}B \end{bmatrix}$$

$$A \circ B = \begin{bmatrix} a_{11}b_{11} & a_{12}b_{12} & \cdots & a_{1n}b_{1n} \\[0.3em] a_{21}b_{21} & a_{22}b_{22} & \cdots & a_{2n}b_{2n} \\[0.3em] \vdots & \vdots & \ddots & \vdots \\[0.3em] a_{m1}b_{m1} & a_{m2}b_{m2} & \cdots & a_{mn}b_{mn} \end{bmatrix}$$

性质

1. $tr(A\otimes B)=tr(A)*tr(B)$
2. $|A_{m\times m}\otimes B_{ {n\times n} }|=|A|^n|B|^m$
3. $rank(A\otimes B)=rank(A)rank(B)$
4. $A\otimes B$ 特征值是 $\lambda_i u_j$，特征向量是 $(x_i \otimes y_j)$
5. $(A\otimes I_n)+(I_m \otimes B)$ 的特征值是 $\lambda_i + u_j$,特征向量是 $(x_i \otimes y_j)$
6. $A\sim J_A, B\sim J_B$ 则 $(A\otimes B)\sim (J_A \sim J_B)$

向量化算子和 K 积（解矩阵方程）

$Vec(ABC)=(C^T\otimes A) Vec(B)$

解矩阵方程：在方程两边运用向量化算子转化成线性方程组求解。

矩阵分解

矩阵的三角分解

下三角矩阵为消元矩阵（类似方程组的高斯消去法）。

高斯消元过程能够进行到底当且仅当每一步的主元素 $a_{ii}$ 都不为 0。

求解三角分解

1. 高斯消元

当矩阵阶数很高时，消元法相当麻烦。

2. Crout 分解 => LDU => Doolittle/Cholesky(根号)

   

   

   

   

QR 分解

1. （不常用）斯密特正交法 $Q=AB$ ；则 $A=QB^{-1}=QR$

2. （计算工作量较大，在稀疏矩阵有优势）Givens 方法

   

   $R_{ij}=\begin{bmatrix} c & s \\ -s & c \end{bmatrix}$

   $R_{ij}A=R$ $A=R_{ij}^{-1}R=R_{ij}^{T}R$ $Q=R_{ij}^T$

3. Housholder 方法

   

   $\omega^{(i)}=\frac{\alpha_i-|\alpha_i|e_i}{|\alpha_i-|\alpha_i|e_i|}$

   $HA=R$ $A=H^{-1}R$ $Q=H^{-1}=H^T$

满秩分解 $A=BC$

满秩分解的求法

将 $A$ 做初等行变换，取 $A$ 的前 $r$ 列作为矩阵 $B$，取 $A$ 行标准形的前 $r$ 行作为矩阵 $C$；

或者，将 $A$ 做初等列变换，取 $A$ 列标准形的前 $r$ 列作为矩阵 $B$，取 $A$ 的前 $r$ 行作为矩阵 $C$；

奇异值分解 $A=UDV$

​

A 的奇异值分解求法

1. 求出 $A$ 的奇异值，为 $A^HA$ 或 $AA^H$ 的正特征值的开根号，利用较小的阶数矩阵求
2. 分别求出 $AA^H$ ，$A^HA$ 对应的归一化特征向量 $\alpha_i, \beta_j$
3. 令 $U=(\alpha_1,...,\alpha_m)$ $V = (\beta_1,...,\beta_n)^H$

奇异值性质

极分解 $A=PU$

谱分解

可以验证，酉矩阵（推广的正交矩阵）、埃尔米特矩阵（推广的对称矩阵），是正规矩阵。

谱分解的求法

$A=\sum\lambda_i(\frac{1}{|\alpha_i|}·\alpha_i\alpha_i^H)$

广义逆

减号逆 $A^-$

自反减号逆 $A^-_r$

定义

左右逆

自反减号逆的求法

最小范数广义逆 $A_m^-$

求法：直接是左右逆的等式

最小二乘广义逆 $A_I^-$

加号逆 $A^+$