第 33 章 广义逆¶
前置：矩阵基础 (Ch02) · 奇异值分解 (Ch11) · 线性方程组 (Ch01)
本章脉络：逆矩阵的局限性 \(\to\) Moore-Penrose 逆 (\(A^+\)) 的定义（四条 Penrose 条件） \(\to\) \(A^+\) 的存在唯一性定理 \(\to\) 基于 SVD 的闭式计算 \(\to\) 最小二乘解与最小范数解的代数本质 \(\to\) 投影算子 \(AA^+\) \(\to\) Drazin 逆与群逆（处理幂零结构） \(\to\) 统计学应用：Gauss-Markov 定理中的最小二乘估计
延伸：广义逆消除了“方阵且满秩”的求逆枷锁，是处理所有线性不确定性（无解或无穷多解）的终极数学审判；它是现代信号处理中病态反问题求解的核心
在经典矩阵代数中，只有非奇异方阵才有逆。然而，在工程和统计学中，我们经常遇到长方形或亏秩矩阵。广义逆（Generalized Inverse）打破了这一限制，为每一个矩阵都定义了某种意义上的“逆”。其中最著名的 Moore-Penrose 逆，在解的最小化性质方面具有完美的表现。
33.1 Moore-Penrose 广义逆 \(A^+\)¶
定义 33.1 (Penrose 四条件)
对于矩阵 \(A \in M_{m \times n}(\mathbb{C})\)，其 Moore-Penrose 逆 是指满足以下四个条件的唯一矩阵 \(A^+\)： 1. \(AA^+A = A\) （内部一致性） 2. \(A^+AA^+ = A^+\) （外部一致性） 3. \((AA^+)^* = AA^+\) （左对称性） 4. \((A^+A)^* = A^+A\) （右对称性）
定理 33.1 (存在唯一性)
对于任何矩阵 \(A\)，满足上述四个条件的 \(A^+\) 存在且唯一。
33.2 计算与最小二乘性质¶
计算：基于 SVD
若 \(A = U \Sigma V^*\)，则 \(A^+ = V \Sigma^+ U^*\)。 其中 \(\Sigma^+\) 是将 \(\Sigma\) 的非零对角元 \(\sigma_i\) 取倒数 \(1/\sigma_i\) 再转置得到的。
定理 33.2 (最佳逼近性质)
对于线性方程组 \(Ax = b\)： 1. 向量 \(\hat{x} = A^+ b\) 是使得 \(\|Ax - b\|_2\) 达到最小的解（最小二乘解）。 2. 在所有最小二乘解中，\(\hat{x} = A^+ b\) 的范数 \(\|\hat{x}\|_2\) 是最小的。
练习题¶
1. [计算] 求 \(A = \begin{pmatrix} 2 & 0 \\ 0 & 0 \end{pmatrix}\) 的 Moore-Penrose 逆。
参考答案
计算步骤： 1. 这是对角阵。对角元为 2 和 0。 2. 对非零元取倒数：\(2 \to 0.5\)。 3. 对零元保持不变：\(0 \to 0\)。 结论：\(A^+ = \begin{pmatrix} 0.5 & 0 \\ 0 & 0 \end{pmatrix}\)。 验证：\(AA^+ = \operatorname{diag}(1, 0)\)，是对称的且满足 \(AA^+ A = A\)。
2. [全秩] 若 \(A\) 是列满秩的，证明 \(A^+ = (A^* A)^{-1} A^*\)。
参考答案
验证 Penrose 条件： 1. 令 \(G = (A^* A)^{-1} A^*\)。 2. 检查条件 1：\(AGA = A(A^* A)^{-1} A^* A = A(I) = A\)（满足）。 3. 检查条件 4：\(GA = (A^* A)^{-1} A^* A = I\)。由于 \(I\) 是厄米阵，\((GA)^* = GA\)（满足）。 由于 \(A^+\) 唯一且 \(G\) 满足所有条件，结论成立。
3. [性质] 证明 \((A^+)^+ = A\)。
参考答案
证明思路： 1. 观察 Penrose 四条件具有对称性。 2. 若 \(A^+\) 是 \(A\) 的广义逆，那么根据这四个公式，角色互换后 \(A\) 也满足作为 \(A^+\) 的广义逆的全部条件。 3. 由于广义逆是唯一的， \((A^+)^+\) 必须等于 \(A\)。
4. [秩] 证明 \(\operatorname{rank}(A^+) = \operatorname{rank}(A)\)。
参考答案
证明： 1. 由 \(AA^+A=A\) 知，\(\operatorname{rank}(A) \le \operatorname{rank}(A^+)\)（因为秩不随乘法增加）。 2. 由 \(A^+AA^+=A^+\) 知，\(\operatorname{rank}(A^+) \le \operatorname{rank}(A)\)。 3. 综合两式得出相等。 结论：求逆操作不改变算子的维度。
5. [投影] 矩阵 \(AA^+\) 在几何上代表什么？
参考答案
结论： 代表到 \(A\) 的列空间 \(C(A)\) 的正交投影算子。 理由： 1. 它是幂等的：\((AA^+)(AA^+) = A(A^+AA^+) = AA^+\)。 2. 它是对称的：根据 Penrose 第 3 条件。 3. 对任何 \(b\)， \(AA^+b\) 是 \(b\) 在 \(A\) 的值域中最接近的点。
6. [最小二乘] 若 \(Ax=b\) 本身是有解的（相容的），证明 \(x = A^+ b\) 是其中一个解。
参考答案
推导： 1. 若有解，则 \(b\) 位于 \(A\) 的列空间内。 2. 根据投影性质，\(AA^+\) 在列空间上相当于恒等变换。 3. 故 \(A(A^+ b) = (AA^+)b = b\)。 结论：\(A^+ b\) 确实是一个合法的解。
7. [Drazin] 什么是 Drazin 逆？它与 Moore-Penrose 逆的主要区别是什么？
参考答案
对比： - Moore-Penrose 逆：基于范数最小化，适用于任何矩阵。 - Drazin 逆：基于特征子空间的交换性，仅适用于方阵。它满足 \(A^k X A = A^k\) 等幂次条件。 核心区别：Moore-Penrose 逆倾向于几何（正交性），而 Drazin 逆倾向于代数结构（特别是在处理奇异微分方程时）。
8. [奇异值] 若 \(A\) 的非零奇异值为 \(\sigma_1, \ldots, \sigma_r\)，求 \(A^+\) 的奇异值。
参考答案
结论： \(A^+\) 的非零奇异值是 \(1/\sigma_r, \ldots, 1/\sigma_1\)。 理由：由 SVD 构造公式 \(A^+ = V \Sigma^+ U^*\) 可见，奇异值矩阵是对角元取倒数并转置得到的。
9. [不变量] 证明 \((A^*)^+ = (A^+)^*\)。
参考答案
证明： 1. 将 \((A^+)^*\) 代入 \(A^*\) 的 Penrose 四条件。 2. 例如条件 1：\(A^* (A^+)^* A^* = (AA^+A)^* = A^*\)。 3. 条件 3 和 4 的对称性会互换。 结论：共轭转置与求广义逆运算是可交换的。
10. [应用] 为什么在处理测量数据时，最小范数解（即 \(A^+ b\)）是理想的？
参考答案
物理解释： 1. 如果系统有无穷多解（欠定系统），解的范数代表了系统所需的“能量”或“改变量”。 2. 在没有任何先验信息的情况下，选择 \(A^+ b\) 可以保证在满足观测数据的同时，引入的虚假能量最少，从而提高模型的稳健性。