2.3 条件数与病态线性方程组

对应教材 2.3.1–2.3.2、定理 2.6、例 4–5、习题 9–12；对应老师第 3 讲 §一（点到）。 本节回答：数据有微小扰动时，解会坏多少？ 答案由条件数 $\mathrm{cond}(A)$ 决定。

2.3.1 条件数与扰动界

定义：对非奇异矩阵 $A$，称 $$\mathrm{cond}(A)=\lVert A\rVert,\lVert A^{-1}\rVert$$ 为 $A$ 的条件数。常用 $\mathrm{cond}_1,\mathrm{cond}_\infty,\mathrm{cond}_2$；其中 $$\mathrm{cond}_2(A)=\frac{\sigma_{\max}(A)}{\sigma_{\min}(A)} =\sqrt{\frac{\lambda_{\max}(A^{\mathrm T}A)}{\lambda_{\min}(A^{\mathrm T}A)}}.$$

性质：$\mathrm{cond}(A)\ge1$；$\mathrm{cond}(kA)=\mathrm{cond}(A)\ (k\ne0)$；正交矩阵 $\mathrm{cond}_2(Q)=1$；实对称矩阵 $\mathrm{cond}_2(A)=|\lambda_{\max}|/|\lambda_{\min}|$。

定理 2.6（扰动界）：设 $A$ 非奇异，$\boldsymbol x$ 是 $A\boldsymbol x=\boldsymbol b$ 的解，$\boldsymbol b\ne0$。若 $\lVert A^{-1}\rVert\lVert\Delta A\rVert\lt1$，则 $A+\Delta A$ 非奇异，且 $$\frac{\lVert\Delta\boldsymbol x\rVert}{\lVert\boldsymbol x\rVert} \le \frac{\mathrm{cond}(A)}{1-\mathrm{cond}(A)\rho_A} \left(\rho_A+\rho_b\right), \qquad \rho_A=\frac{\lVert\Delta A\rVert}{\lVert A\rVert},\quad \rho_b=\frac{\lVert\Delta\boldsymbol b\rVert}{\lVert\boldsymbol b\rVert}.$$

证明要点：由 $(A+\Delta A)(\boldsymbol x+\Delta\boldsymbol x)=\boldsymbol b+\Delta\boldsymbol b$ 减去 $A\boldsymbol x=\boldsymbol b$，得 $$\Delta\boldsymbol x=A^{-1}\Delta\boldsymbol b-A^{-1}\Delta A,\boldsymbol x-A^{-1}\Delta A,\Delta\boldsymbol x.$$ 取范数，把最后一项移到左边，用 $\lVert\boldsymbol b\rVert\le\lVert A\rVert\lVert\boldsymbol x\rVert$ 放缩，即得。$\blacksquare$

读法：条件数把“输入的相对扰动”放大成“输出的相对扰动”的上界。$\mathrm{cond}(A)$ 大，问题病态；此时换算法救不了，只能换提法（换基、正则化、提高精度）。

例 4（教材 2.3.1）：教材用 $$A=\begin{pmatrix}1&1\1&1.0001\end{pmatrix}$$ 展示右端微小扰动引起解的巨大变化；其 $\mathrm{cond}_\infty(A)\approx4.0\times10^4$，右端 $0.005$ 的扰动可带来约 $50$ 的解误差。

例 5（教材 2.3.1–2.3.2）：系数矩阵元素数量级悬殊时，先做行均衡化（每行除以该行最大元素）再算条件数/求解；否则“病态”可能只是量纲造成的假象。

2.3.2 病态方程组的处置

教材 2.3.2 给出四条常用办法：

1. 提高精度：双精度/多精度能减轻舍入，但不能改变条件数；条件数 $10^{20}$ 时仍然无解。
2. 行（列）均衡化：把每行/列缩放到同一量级，降低人为病态。
3. 残差校正（迭代精化）：用当前解算残差 $\boldsymbol r=\boldsymbol b-A\hat{\boldsymbol x}$，解 $A\Delta\boldsymbol x=\boldsymbol r$，令 $\hat{\boldsymbol x}\leftarrow\hat{\boldsymbol x}+\Delta\boldsymbol x$；在条件数不太大且残差计算足够精确时有效。
4. 换提法：正则化（Tikhonov）、换基（如插值从范德蒙德基换到拉格朗日基）、增广方程等。

关键区分：残差小 $\ne$ 误差小。$\boldsymbol e=A^{-1}\boldsymbol r$，所以 $$\frac{\lVert\boldsymbol e\rVert}{\lVert\boldsymbol x\rVert} \le \mathrm{cond}(A)\frac{\lVert\boldsymbol r\rVert}{\lVert\boldsymbol b\rVert}.$$ 条件数大时，残差可以很小而误差仍然很大。停机判据只能保证“残差小”，不能保证“解准”。

2.3.3 习题（教材习题 9–12）