线性代数

值域和零空间

设矩阵 $A\in {\mathbf{R}}^{m\times n}$，$A$ 的值域是指 ${\mathbf{R}}^m$ 中能够写成 $A$ 的列向量的线性组合的所有向量的集合，即

$$\begin{array}{r}\mathcal{R}(A)=\{Ax\mid x\in {\mathbf{R}}^n\}\end{array}$$

值域 $\mathcal{R}(A)$ 是 ${\mathbf{R}}^m$ 的子空间，它的维数是 $A$ 的秩，记作 $\mathrm{rank}A$。$A$ 的秩一定不会大于 $m$ 和 $n$ 的较小值。当 $\mathrm{rank}A=min\{m,n\}$ 时，称 $A$ 为满秩矩阵。

$A$ 的零空间（或核）是指被 $A$ 映射成零的所有向量 $x$ 的集合，即

$$\begin{array}{r}\mathcal{N}(A)=\{x\mid Ax=0\}\end{array}$$

正交补

$$\begin{array}{r}{\mathcal{V}}^{\mathrm{\perp }}=\{x\mid \mathrm{\forall }z\in \mathcal{V},z^{\mathrm{\top }}x=0\}\end{array}$$

有如下结论恒成立：

$$\begin{array}{r}{\mathcal{V}}^{\mathrm{\perp }\mathrm{\perp }}=\mathcal{V}\end{array}$$

$A$ 导出的正交分解

$$\begin{array}{r}\mathcal{N}(A)=\mathcal{R}(A^{\mathrm{\top }}{)}^{\mathrm{\perp }}\end{array}$$

对称特征值分解

设 $A$ 为 $n$ 阶实对称矩阵，则 $A$ 可以因式分解为

$$\begin{array}{r}A=Q\mathrm{\Lambda }{Q}^{\mathrm{\top }}\end{array}$$

其中 $Q\in {\mathbf{R}}^{n\times n}$ 是正交矩阵，满足 $Q^{\mathrm{\top }}Q=I$，而 $\mathrm{\Lambda }=\mathrm{diag}({\lambda }_1,\cdots ,{\lambda }_n)$。实数 ${\lambda }_i$ 是 $A$ 的特征值，是特征多项式 $det(sI-A)$ 的根，$Q$ 的列向量构成 $A$ 的一组正交特征向量。

通常我们将特征值按从大到小排序，用 ${\lambda }_i(A)$ 表示第 $i$ 大特征值。最大特征值记作 ${\lambda }_1(A)={\lambda }_{max}(A)$，最小特征值记作 ${\lambda }_n(A)={\lambda }_{min}(A)$。

特征值具有如下性质：

$$\begin{array}{rl}detA& =\prod _{i=1}^n{\lambda }_i\\ \mathrm{tr}A& =\sum _{i=1}^n{\lambda }_i\end{array}$$

矩阵不等式

$$\begin{array}{r}{\lambda }_{max}(A)=\underset{x\ne 0}{sup}{\displaystyle \frac{x^{\mathrm{\top }}Ax}{x^{\mathrm{\top }}x}},{\lambda }_{min}(A)=\underset{x\ne 0}{inf}{\displaystyle \frac{x^{\mathrm{\top }}Ax}{x^{\mathrm{\top }}x}}\end{array}$$

特别地，对 $\mathrm{\forall }x$，我们有

$$\begin{array}{r}{\lambda }_{min}(A)x^{\mathrm{\top }}x⩽x^{\mathrm{\top }}x⩽{\lambda }_{max}(A)x^{\mathrm{\top }}x\end{array}$$

正定矩阵

若矩阵 $A$ 对 $\mathrm{\forall }x\ne 0$，有 $x^{\mathrm{\top }}Ax>0$ 成立，则称矩阵 $A$ 正定，记作 $A\succ 0$。显然，$A\succ 0$ 的充要条件是 ${\lambda }_{min}(A)>0$。

同理，半正定（非负定）、负定、半负定（非正定）矩阵的定义类似。本文从略。

对称平方根

$$\begin{array}{r}{A}^{1/2}=Q\mathrm{diag}({\lambda }_1^{1/2},\cdots ,{\lambda }_n^{1/2})Q^{\mathrm{\top }}\end{array}$$

平方根 $A^{1/2}$ 是矩阵方程 $X^2=A$ 的唯一的对称半正定的解。

广义特征值分解

两个对称矩阵 $(A,B)\in {\mathbf{S}}^n\times {\mathbf{S}}^n$ 的广义特征值定义为多项式 $det(sB-A)$ 的根。

奇异值分解

设 $A\in {\mathbf{R}}^{m\times n}$，$\mathrm{rank}A=r$，那么 $A$ 可以因式分解为

$$\begin{array}{r}A=U\mathrm{\Sigma }{V}^{\mathrm{\top }}\end{array}$$

其中 $U\in {\mathbf{R}}^{m\times r}$ 满足 $U^{\mathrm{\top }}U=I$，$V\in {\mathbf{R}}^{n\times r}$ 满足 $V^{\mathrm{\top }}V=I$，而 $\mathrm{\Sigma }=\mathrm{diag}({\sigma }_1,\cdots ,{\sigma }_r)$ 满足

$$\begin{array}{r}{\sigma }_1⩾{\sigma }_2⩾\cdots ⩾{\sigma }_r>0\end{array}$$

称为 $A$ 的奇异值分解（SVD）。$U$ 的列向量称为 $A$ 的左奇异向量，$V$ 的列向量称为 $A$ 的右奇异向量，而 ${\sigma }_i$ 称为奇异值。奇异值分解可以写成

$$\begin{array}{r}A=\sum _{i=1}^r{\sigma }_i{u}_i{v}_i^{\mathrm{\top }}\end{array}$$

伪逆

设 $A=U\mathrm{\Sigma }{V}^{\mathrm{\top }}$ 为 $A\in \mathbf{m}\times \mathbf{n}$ 的奇异值分解，$\mathrm{rank}A=r$，则 $A$ 的伪逆为

$$\begin{array}{r}{A}^{†}=V{\mathrm{\Sigma }}^{-1}{U}^{\mathrm{\top }}\in {\mathbf{R}}^{n\times m}\end{array}$$

伪逆可以用于求解最小二乘、最小范数、二次规划以及（Euclid）投影这些问题。

Schur 补

考虑进行以下划分的矩阵 $X\in {\mathbf{S}}^n$

$$\begin{array}{r}X=\left[\begin{array}{cc}A& B\\ B^{\mathrm{\top }}& C\end{array}\right]\end{array}$$

其中 $A\in {\mathbf{S}}^k$。如果 $detA\ne 0$，矩阵

$$\begin{array}{r}S=C-B^{\mathrm{\top }}{A}^{-1}B\end{array}$$

被称为 $A$ 在 $X$ 中的 Schur 补。Schur 补出现于很多重要的公式和定理中，例如

$$\begin{array}{r}detX=detAdetS\end{array}$$

分块矩阵求逆

考虑如下分块矩阵方程：

$$\begin{array}{r}\left[\begin{array}{cc}A& B\\ B^{\mathrm{\top }}& C\end{array}\right]\left[\begin{array}{l}x\\ y\end{array}\right]=\left[\begin{array}{l}u\\ v\end{array}\right]\end{array}$$

假设 $detA\ne 0$。将方程中的 $x$ 消去，解得

$$\begin{array}{r}y=S^{-1}(v-B^{\mathrm{\top }}{A}^{-1}u)\end{array}$$

将 $y$ 代入原方程，解得

$$\begin{array}{r}x=(A^{-1}+A^{-1}B{S}^{-1}{B}^{\mathrm{\top }}{A}^{-1})u-A^{-1}B{S}^{-1}v\end{array}$$

于是我们可以得到分块矩阵的求逆公式：

$$\begin{array}{r}{\left[\begin{array}{cc}A& B\\ B^{\mathrm{\top }}& C\end{array}\right]}^{-1}=\left[\begin{array}{cc}{A}^{-1}+A^{-1}B{S}^{-1}{B}^{\mathrm{\top }}{A}^{-1}& -A^{-1}B{S}^{-1}\\ -S^{-1}{B}^{\mathrm{\top }}{A}^{-1}& S^{-1}\end{array}\right]\end{array}$$