第 15 章 范数与扰动理论¶
前置：矩阵分析 (Ch14) · 矩阵分解 (Ch10) · 奇异值分解 (Ch11)
本章脉络：范数的动机（大小的度量） \(\to\) 向量范数 (\(L_1, L_2, L_\infty, L_p\)) \(\to\) 诱导矩阵范数（算子范数） \(\to\) Frobenius 范数与 Schatten 范数 \(\to\) 范数等价性定理 \(\to\) 条件数 \(\kappa(A)\) 的代数与几何意义 \(\to\) 线性方程组的扰动分析 \(\to\) 特征值扰动与 Bauer-Fike 定理 \(\to\) 典型病态阵（Hilbert 矩阵） \(\to\) 应用：数值稳定性评估、正则化方法
延伸：范数是衡量数学对象“规模”的尺子，而扰动理论则是研究当现实世界的噪声干扰输入时，计算结果如何波动的科学；它是数值线性代数 (Ch22) 的底线
在纯数学中我们谈论精确解，但在数值计算中，每一个输入都带有舍入误差或观测噪声。范数（Norms）量化了这些误差的大小，而条件数（Condition Number）则揭示了系统对误差的放大倍数。本章将确立评估数值计算可靠性的严谨框架，解释为什么有些“理论上可解”的问题在计算机上却是不可解的。
15.1 向量范数与矩阵范数¶
定义 15.1 (常见向量范数)
对于 \(\mathbf{x} \in \mathbb{C}^n\)： 1. 1-范数：\(\|\mathbf{x}\|_1 = \sum_{i=1}^n |x_i|\) 2. 2-范数（欧几里得范数）：\(\|\mathbf{x}\|_2 = \sqrt{\sum_{i=1}^n |x_i|^2}\) 3. \(\infty\)-范数：\(\|\mathbf{x}\|_\infty = \max_{i} |x_i|\)
定义 15.2 (诱导矩阵范数)
由向量范数定义的矩阵范数称为诱导范数：\(\|A\| = \max_{\mathbf{x} \neq \mathbf{0}} \frac{\|A\mathbf{x}\|}{\|\mathbf{x}\|}\)。 - 谱范数：\(\|A\|_2 = \sigma_{\max}(A)\)（最大奇异值）。 - 1-范数：\(\|A\|_1 = \max_{j} \sum_{i} |a_{ij}|\)（最大绝对列和）。 - \(\infty\)-范数：\(\|A\|_\infty = \max_{i} \sum_{j} |a_{ij}|\)（最大绝对行和）。
15.2 条件数与系统稳定性¶
定义 15.3 (条件数 \(\kappa(A)\))
方阵 \(A\) 的条件数定义为： $\(\kappa(A) = \|A\| \|A^{-1}\|\)$ \(\kappa(A) \ge 1\) 始终成立。条件数越大，系统越病态（Ill-conditioned），即微小的输入变化会导致输出发生剧烈波动。
定理 15.1 (线性方程组扰动界限)
考虑 \((A+\Delta A)(x+\Delta x) = b+\Delta b\)。解的相对误差满足： $\(\frac{\|\Delta x\|}{\|x\|} \le \frac{\kappa(A)}{1 - \kappa(A) \frac{\|\Delta A\|}{\|A\|}} \left( \frac{\|\Delta A\|}{\|A\|} + \frac{\|\Delta b\|}{\|b\|} \right)\)$ 这说明条件数是误差传递的放大系数。
15.3 特征值扰动¶
定理 15.2 (Bauer-Fike 定理)
设 \(A = V \Lambda V^{-1}\) 可对角化。若 \(\mu\) 是 \(A+E\) 的一个特征值，则存在 \(A\) 的某个特征值 \(\lambda\) 满足： $\(|\mu - \lambda| \le \kappa_p(V) \|E\|_p\)$ 意义：若对角化矩阵 \(V\) 的条件数很大（即特征向量基接近线性相关），特征值对扰动极度敏感。对于正规矩阵，\(V\) 为酉阵，\(\kappa_2(V)=1\)，特征值非常稳定。
练习题¶
1. [计算] 计算 \(\mathbf{x} = (3, -4)^T\) 的 \(L_1, L_2, L_\infty\) 范数。
参考答案
计算过程： 1. \(\|\mathbf{x}\|_1 = |3| + |-4| = 7\)。 2. \(\|\mathbf{x}\|_2 = \sqrt{3^2 + (-4)^2} = 5\)。 3. \(\|\mathbf{x}\|_\infty = \max(3, 4) = 4\)。 几何直观：不同的范数定义了不同形状的“单位球”（正方形、圆形、菱形）。
2. [矩阵范数] 求 \(A = \begin{pmatrix} 1 & 2 \\ 0 & 3 \end{pmatrix}\) 的 \(\infty\)-范数。
参考答案
计算步骤： 1. 根据定义，\(\infty\)-范数是最大绝对行和。 2. 第一行和：\(|1| + |2| = 3\)。 3. 第二行和：\(|0| + |3| = 3\)。 结论：\(\|A\|_\infty = 3\)。
3. [条件数] 若 \(A = \operatorname{diag}(10, 0.1)\)，计算其关于 2-范数的条件数并评价其稳定性。
参考答案
计算： 1. \(\|A\|_2 = \sigma_{\max} = 10\)。 2. \(A^{-1} = \operatorname{diag}(0.1, 10) \implies \|A^{-1}\|_2 = 10\)。 3. \(\kappa_2(A) = 10 \cdot 10 = 100\)。 评价：条件数为 100 意味着输入误差可能会被放大 100 倍。对于 64 位双精度浮点数（约 16 位精度），这意味着我们会损失约 2 位的精度。
4. [性质] 证明矩阵诱导范数满足次可乘性：\(\|AB\| \le \|A\| \|B\|\)。
参考答案
证明： 1. 根据定义，\(\|AB\| = \max_{\|x\|=1} \|ABx\|\)。 2. 利用向量范数的不等式：\(\|ABx\| \le \|A\| \|Bx\|\)。 3. 再次利用定义：\(\|Bx\| \le \|B\| \|x\|\)。 4. 组合：\(\|ABx\| \le \|A\|\|B\|\|x\|\)。 5. 由于 \(\|x\|=1\)，取最大值后不等式仍成立。
5. [误差分析] 若 \(\kappa(A)=10^4\)，输入 \(b\) 的相对误差为 \(10^{-6}\)，解 \(x\) 的相对误差上限是多少？
参考答案
计算： 根据扰动定理：\(\frac{\|\Delta x\|}{\|x\|} \le \kappa(A) \frac{\|\Delta b\|}{\|b\|}\)。 \(= 10^4 \cdot 10^{-6} = 10^{-2}\)。 意义：虽然输入只有百万分之一的误差，但解可能会有百分之一的偏差。
6. [酉矩阵] 证明正交矩阵的 2-条件数恒为 1。
参考答案
证明： 1. 正交矩阵 \(Q\) 满足 \(Q^T Q = I\)。 2. 所有的奇异值均为 1。故 \(\|Q\|_2 = 1\)。 3. \(Q^{-1} = Q^T\) 也是正交阵，故 \(\|Q^{-1}\|_2 = 1\)。 4. \(\kappa_2(Q) = 1 \cdot 1 = 1\)。 数值结论：正交变换是数值计算中最安全的变换，完全不会放大误差。
7. [Bauer-Fike] 为什么对称矩阵的特征值比高度非正规矩阵稳定？
参考答案
分析： 1. 对称矩阵可被酉矩阵对角化，\(A = Q\Lambda Q^T\)。 2. 在 Bauer-Fike 不等式中，此时 \(V=Q\)，故 \(\kappa_2(V) = 1\)。 3. 误差界限直接等于 \(\|E\|_2\)。 4. 而对于非对称（特别是接近亏损）矩阵，\(V\) 的列接近线性相关，导致 \(\kappa(V)\) 极大，从而极大地放大了特征值的偏移。
8. [Frobenius] 计算 \(\begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}\) 的 Frobenius 范数。
参考答案
公式： \(\|A\|_F = \sqrt{\sum a_{ij}^2} = \sqrt{\operatorname{tr}(A^* A)}\)。 计算： \(\sqrt{1^2 + 1^2 + 1^2 + 1^2} = \sqrt{4} = 2\)。 注意：该矩阵的谱范数 \(\|A\|_2\) 也是 2（特征值为 2, 0）。
9. [病态阵] 举出一个著名的病态矩阵并解释原因。
参考答案
典型例子：Hilbert 矩阵 \(H_{ij} = \frac{1}{i+j-1}\)。 原因：该矩阵的行向量之间极其“接近”（几乎平行）。随着阶数增加，最小奇异值呈指数级减小，导致条件数迅速爆炸（如 \(10 \times 10\) 矩阵 \(\kappa \approx 10^{13}\)）。
10. [应用] 为什么在最优化中要使用范数正则化（如 Ridge 回归）？
参考答案
代数解释： 1. 在最小二乘问题中，若 \(A^T A\) 接近奇异（病态），解会变得极大且对噪声敏感。 2. 加入项 \(\lambda \|x\|_2^2\) 相当于在 \(A^T A\) 对角线上加了一个小正数 \(\lambda\)。 3. 这有效地降低了矩阵的条件数，平滑了输出，防止了过拟合。
本章小结¶
范数与扰动理论是计算数学的“生命线”：
- 大小的相对性：范数将矩阵从抽象算子转化为可比较的数值，为误差评估建立了度量。
- 稳定性指标：条件数是算法可靠性的唯一晴雨表，它划定了数值模拟的边界——并非所有正确定义的数学问题在计算机上都是可解的。
- 对角化的代价：Bauer-Fike 定理揭示了对角化过程本身的稳定性受限于基向量的正交程度，强调了正交基（酉变换）在数值线性代数中的核心地位。