Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

附录 A · 补充推导

正文里标着「证明从略」「留作习题补充」「证明思路」的地方,完整推导全部收在本附录,按章组织。每条标题括注正文出处,正文对应位置也有反向链接;附录编号 A.1、A.2……自成一体,不与正文的节级编号混用。本附录只用到两个外部结果:Birkhoff 定理(A.2.3 给出证明)与矩阵的 Jordan 标准形(A.2.7 引用)。

A.1 第一章

A.1.1 六个等价公式的误差放大因子(1.1.3 的定量复现)

设 t=2t=\sqrt2,a=1.4a=1.4,则输入误差 e=t−a=0.0142136e=t-a=0.0142136,相对误差 ε=e/t≈1.005%\varepsilon=e/t\approx1.005%。六个公式在 t=2t=\sqrt2 处恒等,依据是三条代数事实(可用二项展开自证):

(2+1)(2−1)=1,(2−1)2=3−22,(2−1)6=99−702.(\sqrt2+1)(\sqrt2-1)=1,\qquad(\sqrt2-1)^2=3-2\sqrt2,\qquad(\sqrt2-1)^6=99-70\sqrt2 .

由 1.2.3 的传播公式:输出绝对误差 ≈∣f′(t)∣e\approx\lvert f'(t)\rvert e,输出相对误差 ≈κ⋅ε\approx\kappa\cdot\varepsilon,其中相对条件数(1.2.6)

κ=∣t f′(t)f(t)∣.\kappa=\left\lvert\frac{t,f'(t)}{f(t)}\right\rvert .

逐个公式算出 f′(t)f'(t) 与 κ\kappa(f(t)=(2−1)6=0.0050506f(t)=(\sqrt2-1)^6=0.0050506):

公式∣f′(t)∣\lvert f'(t)\rvertκ\kappa预测绝对误差 ∣f′∣e\lvert f'\rvert e实测(1.1.3 表)预测相对误差
(t−1)6(t-1)^66(t−1)5=0.073166(t-1)^5=0.073166tt−1≈20.5\dfrac{6t}{t-1}\approx20.51.04×10−31.04\times10^{-3}9.6×10−49.6\times10^{-4}20.6%20.6%
(3−2t)3(3-2t)^36(3−2t)2=0.176626(3-2t)^2=0.176626t3−2t≈49.5\dfrac{6t}{3-2t}\approx49.52.51×10−32.51\times10^{-3}3.0×10−33.0\times10^{-3}49.7%49.7%
99−70t99-70t707070t99−70t≈1.96×104\dfrac{70t}{99-70t}\approx1.96\times10^{4}9.95×10−19.95\times10^{-1}9.9×10−19.9\times10^{-1}197197
1/(t+1)61/(t+1)^66(t+1)7=0.012553\dfrac{6}{(t+1)^7}=0.0125536tt+1≈3.51\dfrac{6t}{t+1}\approx3.511.78×10−41.78\times10^{-4}1.8×10−41.8\times10^{-4}3.53%3.53%
1/(3+2t)31/(3+2t)^36(3+2t)4=0.0051993\dfrac{6}{(3+2t)^4}=0.00519936t3+2t≈1.46\dfrac{6t}{3+2t}\approx1.467.39×10−57.39\times10^{-5}7.5×10−57.5\times10^{-5}1.46%1.46%
1/(99+70t)1/(99+70t)70(99+70t)2=0.0017856\dfrac{70}{(99+70t)^2}=0.001785670t99+70t≈0.500\dfrac{70t}{99+70t}\approx0.5002.54×10−52.54\times10^{-5}2.6×10−52.6\times10^{-5}0.50%0.50%

四条读法:

  1. κ\kappa 从 0.50.5 跨到 1.96×1041.96\times10^{4},近五个数量级——与实测误差之比(2.6×10−52.6\times10^{-5} 对 9.9×10−19.9\times10^{-1})精确对应。一阶传播公式把整张表复现到两位有效数字。
  2. 公式 3 的 κ\kappa 大,是因为分母 f(t)=99−702≈5×10−3f(t)=99-70\sqrt2\approx5\times10^{-3} 极小:9999 与 702≈98.99570\sqrt2\approx98.995 是相近数,相减在输入之前就把信息压没了。相减这一步本身是精确的(Sterbenz 引理,见附录 B.3)——错的不是减法,是被送去相减的数只剩 4 位有效数字(1.2.4 原则 (3))。
  3. 公式 6 的 κ=0.5<1\kappa=0.5\lt1:误差被压缩。取倒数把「小输出」换成「大输出」,条件反而变好。这与「用韦达定理保小根」(原则 (2))是同一个思想:换等价提法,让病态环节落进良态运算。
  4. 公式 2 的预测(49.7%49.7%)与实测(58.4%58.4%)差约五分之一,这是线性化误差:κ\kappa 本身随 tt 在 [a−e, a+e][a-e,\ a+e] 上变化,量级判断不受影响。

A.1.2 有效数字与相对误差的换算界都不可再改进(定理 1.2.1 的补全)

正向界 12a1×101−n\dfrac{1}{2a_1}\times10^{1-n} 取得等号。取 a=5.00a=5.00(规格化 0.500×1010.500\times10^1,a1=5a_1=5,m=1m=1,k=3k=3),x=5.005x=5.005。则 ε(a)=0.005=12×101−3\varepsilon(a)=0.005=\tfrac12\times10^{1-3}(aa 恰有 3 位有效数字),而

εr(a)=0.0055.00=0.001=12a1×101−3=110×10−2,\varepsilon_{\mathrm r}(a)=\frac{0.005}{5.00}=0.001=\frac{1}{2a_1}\times10^{1-3}=\frac{1}{10}\times10^{-2},

等号成立。故常数 12a1\dfrac{1}{2a_1} 不可放宽。

逆向界 12(a1+1)×101−n\dfrac{1}{2(a_1+1)}\times10^{1-n} 也卡在临界上。取 a=9.9a=9.9(0.99×1010.99\times10^1,a1=9a_1=9,m=1m=1),n=2n=2 时界为 12×10×10−1=0.005\dfrac{1}{2\times10}\times10^{-1}=0.005。取 x=9.96x=9.96:

εr(a)=0.069.9≈0.00606 > 0.005,ε(a)=0.06 > 12×101−2=0.05,\varepsilon_{\mathrm r}(a)=\frac{0.06}{9.9}\approx0.00606\ \gt\ 0.005,\qquad\varepsilon(a)=0.06\ \gt\ \tfrac12\times10^{1-2}=0.05,

第 2 位有效数字已经失守。也就是说:相对误差限只要比逆向界再大一点,就可能不足 nn 位——常数 a1+1a_1+1 不可再小。

组合起来读:最坏情形 a1=1a_1=1 时,正向界 12×101−n\tfrac12\times10^{1-n} 与逆向界 140×101−n\tfrac1{40}\times10^{1-n} 相差 2020 倍。「由有效数字推相对误差」(正向)与「由相对误差倒推有效数字」(逆向)必须用各自的常数,不能共用。

A.1.3 递推积分 yny_n 的完整分析:最坏误差界与交错级数(1.2.4 原则 (1) 的补全)

yn=∫01xnx+5 dx,yn=1n−5yn−1 (n≥1),y0=ln⁡65.y_n=\int_0^1\frac{x^n}{x+5},dx,\qquad y_n=\frac1n-5y_{n-1}\ (n\ge1),\qquad y_0=\ln\frac65 .

(一)正向递推的最坏误差界。设第 nn 步的误差为 δn=yn(计算)−yn(真)\delta_n=y_n^{(计算)}-y_n^{(真)}。每步执行 yn=fl(1/n−5yn−1)y_n=\mathrm{fl}(1/n-5y_{n-1}),除真实递推外多出两项误差:旧误差被乘 −5-5 放大,加上本步新的舍入 ρn\rho_n(∣ρn∣≤ρ\lvert\rho_n\rvert\le\rho,ρ\rho 为每步舍入的绝对值上界):

δn=−5 δn−1+ρn.\delta_n=-5,\delta_{n-1}+\rho_n .

对 nn 展开此式(δn=−5δn−1+ρn\delta_n=-5\delta_{n-1}+\rho_n 逐层代入):

∣δn∣ ≤ 5n∣δ0∣+ρ (1+5+⋯+5n−1)=5n∣δ0∥+ρ 5n−14 ≈ 5n(∣δ0∣+ρ4).\lvert\delta_n\rvert\ \le\ 5^n\lvert\delta_0\rvert+\rho,(1+5+\cdots+5^{n-1})=5^n\lvert\delta_0\rVert+\rho,\frac{5^n-1}{4}\ \approx\ 5^n\Bigl(\lvert\delta_0\rvert+\frac{\rho}{4}\Bigr).

取 ∣δ0∣=∣ln⁡(6/5)−0.1823∣=2.16×10−5\lvert\delta_0\rvert=\lvert\ln(6/5)-0.1823\rvert=2.16\times10^{-5}、n=100n=100、5100≈7.9×10695^{100}\approx7.9\times10^{69}:界约 106510^{65}。反向递推的系数 1/51/5 把同一公式变成压缩,起点误差 1.6×10−41.6\times10^{-4} 传到 y0y_0 只剩 1.6×10−4/51001.6\times10^{-4}/5^{100}——机器精度之下。

(二)yny_n 的交错级数(反向递推起点的精确化)。在 [0,1][0,1] 上 ∣x/5∣≤15<1\lvert x/5\rvert\le\tfrac15\lt1,几何级数一致收敛,可逐项积分:

1x+5=15⋅11+x/5=∑j=0∞(−1)jxj5j+1⟹yn=∑j=0∞(−1)j5j+1(n+j+1).\frac{1}{x+5}=\frac15\cdot\frac{1}{1+x/5}=\sum_{j=0}^{\infty}\frac{(-1)^jx^j}{5^{j+1}}\qquad\Longrightarrow\qquad y_n=\sum_{j=0}^{\infty}\frac{(-1)^j}{5^{j+1}(n+j+1)} .

级数各项单调递减趋于零,故截断误差不超过首个舍去项。两个检验:

  • n=0n=0:级数为 ∑j(−1)j(1/5)j+1j+1\sum_j(-1)^j\frac{(1/5)^{j+1}}{j+1},正是 ln⁡(1+z)\ln(1+z) 在 z=1/5z=1/5 处的 Taylor 级数,和为 ln⁡(6/5)=0.182322\ln(6/5)=0.182322 ✓;
  • n=100n=100:逐项求和 y100=1505−12550+112875−165000+⋯≈0.0016528y_{100}=\frac{1}{505}-\frac{1}{2550}+\frac{1}{12875}-\frac{1}{65000}+\cdots\approx0.0016528。

对照正文用的区间估计 16(n+1)<yn<15(n+1)\frac{1}{6(n+1)}\lt y_n\lt\frac{1}{5(n+1)}:n=100n=100 时区间为 [0.0016502, 0.0019802][0.0016502,\ 0.0019802],中点 0.00181520.0018152,真值 0.00165280.0016528 紧贴区间左端——中点估计的误差 1.62×10−41.62\times10^{-4} 几乎用尽了「半宽度 1.65×10−41.65\times10^{-4}」的预算。这个粗糙的界已经做到了它能做到的极限;想要更准的起点,交错级数本身就可以:第 j+1j+1 项约为 5−(j+1)/(n+1)5^{-(j+1)}/(n+1),想要起点误差多小就取多少项——取 77 项达绝对误差 10−710^{-7},取 1212 项(手算量)达 10−1010^{-10},比「区间中点」细六个数量级。

(三)渐近行为。级数首项给出 yn≈15(n+1)∼15ny_n\approx\dfrac{1}{5(n+1)}\sim\dfrac{1}{5n}:被积函数在 x≈1x\approx1 处最大、分母 ≈6\approx6 而非 55,修正项 −125(n+2)-\dfrac{1}{25(n+2)} 正是它。

A.1.4 范数等价常数的可达性,与无穷维的失效(定理 1.3.3 的补全)

(一)显式不等式的每个常数都有向量取等:

不等式取等的向量
∥x∥∞=∥x∥2\lVert\boldsymbol{x}\rVert_\infty=\lVert\boldsymbol{x}\rVert_2x\boldsymbol{x} 只有一个非零分量
∥x∥2=n ∥x∥∞\lVert\boldsymbol{x}\rVert_2=\sqrt n,\lVert\boldsymbol{x}\rVert_\infty∣x1∣=⋯=∣xn∣\lvert x_1\rvert=\cdots=\lvert x_n\rvert(如 1\boldsymbol{1})
∥x∥2=∥x∥1\lVert\boldsymbol{x}\rVert_2=\lVert\boldsymbol{x}\rVert_1单个非零分量
∥x∥1=n ∥x∥2\lVert\boldsymbol{x}\rVert_1=\sqrt n,\lVert\boldsymbol{x}\rVert_2∣x1∣=⋯=∣xn∣\lvert x_1\rvert=\cdots=\lvert x_n\rvert

所以 n\sqrt n、nn 这些因子不是估计的粗糙,而是这组范数的真实距离。

(二)等价性是有限维的专利。在无穷维序列空间取

x=(1, 12, 13, ⋯ ):∥x∥22=∑k≥11k2<∞,∥x∥1=∑k≥11k=∞.\boldsymbol{x}=\Bigl(1,\ \tfrac12,\ \tfrac13,\ \cdots\Bigr):\qquad \lVert\boldsymbol{x}\rVert_2^2=\sum_{k\ge1}\frac{1}{k^2}\lt\infty,\qquad \lVert\boldsymbol{x}\rVert_1=\sum_{k\ge1}\frac1k=\infty .

同一个向量,一种范数有限、另一种无穷大——「换范数不改变收敛」在无穷维失效。数值 PDE 里对微分算子做有限元 / 差分离散,本质是「用 nn 维空间逼近无穷维」:维数 nn 增大时,等价常数(如 n\sqrt n)随之恶化。「收敛结论与范数无关,但界的常数随 nn 增长」——这是离散化误差分析里天天打交道的事实,也是泛函分析选择在无穷维单独建立一套理论的原因。

A.2 补充篇

A.2.1 Jordan–von Neumann 定理:平行四边形恒等式 ⟹ 内积(定理 2.1.2 逆方向的完整证明)

设 ∥⋅∥\lVert\cdot\rVert 是 Rn\mathbb{R}^n 上的范数且满足平行四边形恒等式(2.2)。定义

⟨x,y⟩:=14(∥x+y∥2−∥x−y∥2),\langle\boldsymbol{x},\boldsymbol{y}\rangle:=\frac14\Bigl(\lVert\boldsymbol{x}+\boldsymbol{y}\rVert^2-\lVert\boldsymbol{x}-\boldsymbol{y}\rVert^2\Bigr),

以下验证它满足内积三公理(对称、线性、正定),且诱导范数恰为 ∥⋅∥\lVert\cdot\rVert。

第一步:符号与倍乘的基本事实。

  • ⟨x,x⟩=14∥2x∥2=∥x∥2\langle\boldsymbol{x},\boldsymbol{x}\rangle=\frac14\lVert2\boldsymbol{x}\rVert^2=\lVert\boldsymbol{x}\rVert^2(正定性与「诱导范数还原」一次到位:这里 ∥2x∥2=4∥x∥2\lVert2\boldsymbol{x}\rVert^2=4\lVert\boldsymbol{x}\rVert^2 用了范数齐次性);
  • ⟨y,x⟩=⟨x,y⟩\langle\boldsymbol{y},\boldsymbol{x}\rangle=\langle\boldsymbol{x},\boldsymbol{y}\rangle(交换只对调两个平方项);⟨0,y⟩=0\langle\boldsymbol{0},\boldsymbol{y}\rangle=0;⟨−x,y⟩=−⟨x,y⟩\langle-\boldsymbol{x},\boldsymbol{y}\rangle=-\langle\boldsymbol{x},\boldsymbol{y}\rangle。

第二步(关键恒等式):对任意 x,z,y\boldsymbol{x},\boldsymbol{z},\boldsymbol{y},

⟨x+z,y⟩+⟨x−z,y⟩=14[∥(x+y)+z∥2+∥(x+y)−z∥2−∥(x−y)+z∥2−∥(x−y)−z∥2].\langle\boldsymbol{x}+\boldsymbol{z},\boldsymbol{y}\rangle+\langle\boldsymbol{x}-\boldsymbol{z},\boldsymbol{y}\rangle =\frac14\Bigl[\lVert(\boldsymbol{x}+\boldsymbol{y})+\boldsymbol{z}\rVert^2+\lVert(\boldsymbol{x}+\boldsymbol{y})-\boldsymbol{z}\rVert^2-\lVert(\boldsymbol{x}-\boldsymbol{y})+\boldsymbol{z}\rVert^2-\lVert(\boldsymbol{x}-\boldsymbol{y})-\boldsymbol{z}\rVert^2\Bigr].

对前后两组分别用平行四边形恒等式(∥a+z∥2+∥a−z∥2=2∥a∥2+2∥z∥2\lVert\boldsymbol{a}+\boldsymbol{z}\rVert^2+\lVert\boldsymbol{a}-\boldsymbol{z}\rVert^2=2\lVert\boldsymbol{a}\rVert^2+2\lVert\boldsymbol{z}\rVert^2),∥z∥\lVert\boldsymbol{z}\rVert 项相消:

=14[2∥x+y∥2−2∥x−y∥2]=2⟨x,y⟩.(∗)=\frac14\Bigl[2\lVert\boldsymbol{x}+\boldsymbol{y}\rVert^2-2\lVert\boldsymbol{x}-\boldsymbol{y}\rVert^2\Bigr]=2\langle\boldsymbol{x},\boldsymbol{y}\rangle. \tag{$*$}

第三步(倍 2)。在 (∗)(*) 中取 z=x\boldsymbol{z}=\boldsymbol{x}:⟨2x,y⟩+⟨0,y⟩=2⟨x,y⟩\langle2\boldsymbol{x},\boldsymbol{y}\rangle+\langle\boldsymbol{0},\boldsymbol{y}\rangle=2\langle\boldsymbol{x},\boldsymbol{y}\rangle,故 ⟨2x,y⟩=2⟨x,y⟩\langle2\boldsymbol{x},\boldsymbol{y}\rangle=2\langle\boldsymbol{x},\boldsymbol{y}\rangle。

第四步(加法)。任取 u,v\boldsymbol{u},\boldsymbol{v},令 x=u+v2\boldsymbol{x}=\frac{\boldsymbol{u}+\boldsymbol{v}}2、z=u−v2\boldsymbol{z}=\frac{\boldsymbol{u}-\boldsymbol{v}}2(于是 x+z=u\boldsymbol{x}+\boldsymbol{z}=\boldsymbol{u},x−z=v\boldsymbol{x}-\boldsymbol{z}=\boldsymbol{v})。由 (∗)(*) 与第三步(把 u+v2\frac{\boldsymbol{u}+\boldsymbol{v}}2 看成 12⋅(u+v)\frac12\cdot(\boldsymbol{u}+\boldsymbol{v}),第三步反过来用):

⟨u,y⟩+⟨v,y⟩=2⟨u+v2, y⟩=⟨u+v,y⟩.\langle\boldsymbol{u},\boldsymbol{y}\rangle+\langle\boldsymbol{v},\boldsymbol{y}\rangle=2\Bigl\langle\frac{\boldsymbol{u}+\boldsymbol{v}}2,\ \boldsymbol{y}\Bigr\rangle=\langle\boldsymbol{u}+\boldsymbol{v},\boldsymbol{y}\rangle .

第五步(齐次性)。加法已得,⟨kx,y⟩=k⟨x,y⟩\langle k\boldsymbol{x},\boldsymbol{y}\rangle=k\langle\boldsymbol{x},\boldsymbol{y}\rangle 对正整数 kk 归纳成立;负号由第一步;对有理数 pq\frac pq:q ⟨pqx,y⟩=⟨px,y⟩=p⟨x,y⟩q,\langle\frac pq\boldsymbol{x},\boldsymbol{y}\rangle=\langle p\boldsymbol{x},\boldsymbol{y}\rangle=p\langle\boldsymbol{x},\boldsymbol{y}\rangle,两边除以 qq。对实数 tt:取有理数 rm→tr_m\to t,只需证 w→0\boldsymbol{w}\to\boldsymbol{0} 时 ⟨w,y⟩→0\langle\boldsymbol{w},\boldsymbol{y}\rangle\to0。由定义与三角不等式,

∣⟨w,y⟩∣≤14(∥w+y∥+∥w−y∥)⋅∣∥w+y∥−∥w−y∥∣≤14⋅2(∥w∥+∥y∥)⋅2∥w∥=∥y∥ ∥w∥(∥w∥+∥y∥)→0,\lvert\langle\boldsymbol{w},\boldsymbol{y}\rangle\rvert\le\frac14\bigl(\lVert\boldsymbol{w}+\boldsymbol{y}\rVert+\lVert\boldsymbol{w}-\boldsymbol{y}\rVert\bigr)\cdot\bigl\lvert\lVert\boldsymbol{w}+\boldsymbol{y}\rVert-\lVert\boldsymbol{w}-\boldsymbol{y}\rVert\bigr\lvert\le\frac14\cdot2(\lVert\boldsymbol{w}\rVert+\lVert\boldsymbol{y}\rVert)\cdot2\lVert\boldsymbol{w}\rVert=\lVert\boldsymbol{y}\rVert,\lVert\boldsymbol{w}\rVert(\lVert\boldsymbol{w}\rVert+\lVert\boldsymbol{y}\rVert)\to0 ,

而 ∥(t−rm)x∥=∣t−rm∣ ∥x∥→0\lVert(t-r_m)\boldsymbol{x}\rVert=|t-r_m|,\lVert\boldsymbol{x}\rVert\to0。故 ⟨tx,y⟩=lim⁡mrm⟨x,y⟩=t⟨x,y⟩\langle t\boldsymbol{x},\boldsymbol{y}\rangle=\lim_m r_m\langle\boldsymbol{x},\boldsymbol{y}\rangle=t\langle\boldsymbol{x},\boldsymbol{y}\rangle。∎

评注:第二步的 (∗)(*) 是全证明的心脏——平行四边形恒等式在这里恰好提供了「把 ±z\pm\boldsymbol{z} 的四个平方项两两配对」的结构;11-范数与 ∞\infty-范数(例 2.1.2)正是在这一步失效。

A.2.2 残差与误差的向下界(定理 2.4.4 的补充证明)

命题 A.2 · 残差与误差的向下界

设 AA 非奇异,x^\hat{\boldsymbol{x}} 为近似解,r=b−Ax^\boldsymbol{r}=\boldsymbol{b}-A\hat{\boldsymbol{x}},e=x^−x\boldsymbol{e}=\hat{\boldsymbol{x}}-\boldsymbol{x}。若 ∥e∥<∥x^∥\lVert\boldsymbol{e}\rVert\lt\lVert\hat{\boldsymbol{x}}\rVert,记 α=∥e∥/∥x^∥\alpha=\lVert\boldsymbol{e}\rVert/\lVert\hat{\boldsymbol{x}}\rVert,则

∥r∥∥b∥ ≤ cond(A)⋅α1−α.\frac{\lVert\boldsymbol{r}\rVert}{\lVert\boldsymbol{b}\rVert}\ \le\ \mathrm{cond}(A)\cdot\frac{\alpha}{1-\alpha} .

证明

由 r=−Ae\boldsymbol{r}=-A\boldsymbol{e}(两边取范数)得 ∥r∥≤∥A∥ ∥e∥\lVert\boldsymbol{r}\rVert\le\lVert A\rVert\,\lVert\boldsymbol{e}\rVert。另一方面,反三角不等式给出 ∥x∥≥∥x^∥−∥e∥=∥x^∥(1−α)\lVert\boldsymbol{x}\rVert\ge\lVert\hat{\boldsymbol{x}}\rVert-\lVert\boldsymbol{e}\rVert=\lVert\hat{\boldsymbol{x}}\rVert(1-\alpha),而 b=Ax\boldsymbol{b}=A\boldsymbol{x} 给出下界(这是标准的「右端 = 解经 AA 的像」估计:∥b∥≥∥x∥/∥A−1∥\lVert\boldsymbol{b}\rVert\ge\lVert\boldsymbol{x}\rVert/\lVert A^{-1}\rVert,由 ∥x∥=∥A−1b∥≤∥A−1∥∥b∥\lVert\boldsymbol{x}\rVert=\lVert A^{-1}\boldsymbol{b}\rVert\le\lVert A^{-1}\rVert\lVert\boldsymbol{b}\rVert 移项即得)。两式相除:

∥r∥∥b∥≤∥A∥ ∥e∥∥x∥/∥A−1∥≤∥A∥∥A−1∥⋅α∥x^∥(1−α)∥x^∥=cond(A)⋅α1−α.\frac{\lVert\boldsymbol{r}\rVert}{\lVert\boldsymbol{b}\rVert}\le\frac{\lVert A\rVert\,\lVert\boldsymbol{e}\rVert}{\lVert\boldsymbol{x}\rVert/\lVert A^{-1}\rVert}\le\lVert A\rVert\lVert A^{-1}\rVert\cdot\frac{\alpha\lVert\hat{\boldsymbol{x}}\rVert}{(1-\alpha)\lVert\hat{\boldsymbol{x}}\rVert}=\mathrm{cond}(A)\cdot\frac{\alpha}{1-\alpha}.

∎

两个附注。

  1. 可计算性。α\alpha 用的是 x^\hat{\boldsymbol{x}}(在手上)而非 x\boldsymbol{x}(不可知);充分条件 α<1\alpha\lt1 由 ∥e∥<∥x∥/2\lVert\boldsymbol{e}\rVert\lt\lVert\boldsymbol{x}\rVert/2 保证(此时 ∥x^∥≥∥x∥−∥e∥>∥e∥\lVert\hat{\boldsymbol{x}}\rVert\ge\lVert\boldsymbol{x}\rVert-\lVert\boldsymbol{e}\rVert\gt\lVert\boldsymbol{e}\rVert)——这正是正文定理 2.4.4 括注的来历。
  2. 与上界合起来读。上界(2.23)说「残差被 cond\mathrm{cond} 放大成误差」,本命题说「误差也顶多被 cond\mathrm{cond} 压成残差」:二者互相控制在 cond\mathrm{cond} 因子内。残差小 + 条件数小 ⟺ 误差小——两件事都不可省。

A.2.3 工具箱:重排不等式、Birkhoff 定理与对称迹不等式

A.2.4 与 A.2.5 的两条主定理共用下面三件工具。本节把它们一次备齐。

引理 A.3.1 · 标量重排不等式

设 a1≥⋯≥ana_1\ge\cdots\ge a_n,b1≥⋯≥bnb_1\ge\cdots\ge b_n,π\pi 为任一置换,则 ∑iaibπ(i)≤∑iaibi\sum_i a_ib_{\pi(i)}\le\sum_i a_ib_i。

证明(对换法)

若 π\pi 不是恒等置换,存在 i<ji\lt j 使 π(i)>π(j)\pi(i)\gt\pi(j)。交换 π(i)\pi(i) 与 π(j)\pi(j) 两项,和的改变量为

(aibπ(j)+ajbπ(i))−(aibπ(i)+ajbπ(j))=(ai−aj) (bπ(j)−bπ(i))≥0,(a_ib_{\pi(j)}+a_jb_{\pi(i)})-(a_ib_{\pi(i)}+a_jb_{\pi(j)})=(a_i-a_j)\,\bigl(b_{\pi(j)}-b_{\pi(i)}\bigr)\ge0 ,

即「逆序对换成顺序,和不减」。逆序对个数有限,逐个消除后 π\pi 化为恒等置换,和单调不减到 ∑aibi\sum a_ib_i。

∎
引理 A.3.2 · Birkhoff 定理

n×nn\times n 双随机矩阵(每行、每列元素之和都为 11 的非负矩阵)都是置换矩阵的凸组合:P=∑πwπΠπP=\sum_{\pi}w_\pi\Pi_\pi,wπ≥0w_\pi\ge0,∑wπ=1\sum w_\pi=1。

证明(循环剥离归纳)

对非零元个数归纳。若 的每行恰有一个非零元,则该元必为 11(行和为 11),各列同理, 已是置换矩阵。否则存在某行 i1i_1 含至少两个正元;因行和为 11,其中每个正元 pi1j1<1p_{i_1j_1}\lt1。列 j1j_1 的和也为 11,而 pi1j1<1p_{i_1j_1}\lt1,故列 j1j_1 必含另一个正元 pi2j1p_{i_2j_1}(i2≠i1i_2\neq i_1)。行 i2i_2 若只有 j1j_1 这一个正元,则 pi2j1=1p_{i_2j_1}=1,列 j1j_1 的和将超过 11——矛盾,故行 i2i_2 含另一个正列 j2≠j1j_2\neq j_1。如此「行→列→行」交替行走,行只有有限多个,必有某行第二次被踏访,截出回路:得到互异的 i1,…,ipi_1,\dots,i_p 与互异的 j1,…,jpj_1,\dots,j_p,使

pikjk>0且pik+1jk>0(k=1,…,p, ip+1:=i1).p_{i_kj_k}\gt0\quad\text{且}\quad p_{i_{k+1}j_k}\gt0\qquad(k=1,\dots,p,\ i_{p+1}:=i_1).

令 θ=min⁡{pik+1jk}∈(0,1]\theta=\min\{p_{i_{k+1}j_k}\}\in(0,1](若 θ=1\theta=1,环上这些位置全为 11, 在这些行列上已是置换块,剩余行列仍双随机,化为更小规模)。设 Π\Pi 为环上「移位」置换:Πik+1jk=1\Pi_{i_{k+1}j_k}=1。则

P=θ Π+(1−θ) Q,Q=P−θΠ1−θP=\theta\,\Pi+(1-\theta)\,Q,\qquad Q=\frac{P-\theta\Pi}{1-\theta}

  • Q≥0Q\ge0:Π\Pi 的非零元全落在环上 pik+1jk≥θp_{i_{k+1}j_k}\ge\theta 的位置,减法不出现负元;
  • QQ 双随机:环上的行(列)减掉 θ\theta 后和为 1−θ1-\theta,除以 1−θ1-\theta 恰为 11;环外的行(列)不动;
  • 至少一个环上元素被减到零,故 QQ 的非零元严格减少。

归纳终止于置换矩阵,回代即得凸组合表示。

∎
引理 A.3.3 · 对称迹不等式

设 S,T∈Rn×nS,T\in\mathbb{R}^{n\times n} 对称,特征值降序排列 λ1≥⋯≥λn\lambda_1\ge\cdots\ge\lambda_n、μ1≥⋯≥μn\mu_1\ge\cdots\ge\mu_n,则

tr⁡(ST) ≤ ∑i=1nλiμi.\operatorname{tr}(ST)\ \le\ \sum_{i=1}^n\lambda_i\mu_i .

证明

取标准正交特征基 S=∑iλiuiuiTS=\sum_i\lambda_i\boldsymbol{u}_i\boldsymbol{u}_i^{\mathrm T}、T=∑jμjvjvjTT=\sum_j\mu_j\boldsymbol{v}_j\boldsymbol{v}_j^{\mathrm T},则

tr⁡(ST)=∑i,jλiμj (uiTvj)2.\operatorname{tr}(ST)=\sum_{i,j}\lambda_i\mu_j\,(\boldsymbol{u}_i^{\mathrm T}\boldsymbol{v}_j)^2 .

矩阵 C=(cij)C=(c_{ij}),cij=(uiTvj)2c_{ij}=(\boldsymbol{u}_i^{\mathrm T}\boldsymbol{v}_j)^2,行和 ∑jcij=∥ui∥2=1\sum_jc_{ij}=\lVert\boldsymbol{u}_i\rVert^2=1({vj}\{\boldsymbol{v}_j\} 是标准正交基,Parseval 恒等式 定理 2.1.4),列和同理为 11——CC 双随机。由引理 A.3.2,C=∑πwπΠπC=\sum_\pi w_\pi\Pi_\pi,于是

tr⁡(ST)=∑πwπ∑iλiμπ(i) ≤A.3.1 ∑πwπ∑iλiμi=∑iλiμi.\operatorname{tr}(ST)=\sum_\pi w_\pi\sum_i\lambda_i\mu_{\pi(i)}\ \overset{\text{A.3.1}}{\le}\ \sum_\pi w_\pi\sum_i\lambda_i\mu_i=\sum_i\lambda_i\mu_i.

(取等条件:S,TS,T 有共同特征基且降序对齐——正是「同向对角」的情形。)

∎
推论 A.3.4 · Hoffman–Wielandt 不等式(对称阵)

在引理 A.3.3 的记号下,

∥S−T∥F2 ≥ min⁡π ∑i=1n(λi−μπ(i))2,\lVert S-T\rVert_F^2\ \ge\ \min_{\pi}\ \sum_{i=1}^n\bigl(\lambda_i-\mu_{\pi(i)}\bigr)^2 ,

且右端最优配对就是「降序对降序」。

证明

∥S−T∥F2=tr⁡(S−T)2=∑iλi2+∑iμi2−2tr⁡(ST)\lVert S-T\rVert_F^2=\operatorname{tr}(S-T)^2=\sum_i\lambda_i^2+\sum_i\mu_i^2-2\operatorname{tr}(ST)。用引理 A.3.3 压掉交叉项,再用引理 A.3.1(max⁡π∑λiμπ(i)=∑λiμi\max_\pi\sum\lambda_i\mu_{\pi(i)}=\sum\lambda_i\mu_i,即逆序使 ∑λiμπ(i)\sum\lambda_i\mu_{\pi(i)} 最大):

∥S−T∥F2 ≥ ∑iλi2+∑iμi2−2∑iλiμi=∑i(λi−μi)2,\lVert S-T\rVert_F^2\ \ge\ \sum_i\lambda_i^2+\sum_i\mu_i^2-2\sum_i\lambda_i\mu_i=\sum_i(\lambda_i-\mu_i)^2,

而 (λi−μπ(i))2(\lambda_i-\mu_{\pi(i)})^2 展开后交叉项 −2λiμπ(i)-2\lambda_i\mu_{\pi(i)} 由重排不等式知降序配对最小。

∎

A.2.4 von Neumann 迹不等式:完整证明(例 2.6.4 的补全)

定理 A.4 · von Neumann 迹不等式

对任意 A,B∈Rm×nA,B\in\mathbb{R}^{m\times n},∣tr⁡(ATB)∣≤∑i=1min⁡(m,n)σi(A)σi(B)\lvert\operatorname{tr}(A^{\mathrm T}B)\rvert\le\sum_{i=1}^{\min(m,n)}\sigma_i(A)\sigma_i(B)(奇异值均降序)。

证明

一步「对称化膨胀」(symmetric dilation)把矩形问题化为 A.2.3 的对称情形。设 m≥nm\ge n(否则转置),令

S=(OAATO),T=(OBBTO)∈R(m+n)×(m+n).S=\begin{pmatrix}O&amp;A\\A^{\mathrm T}&amp;O\end{pmatrix},\qquad T=\begin{pmatrix}O&amp;B\\B^{\mathrm T}&amp;O\end{pmatrix}\in\mathbb{R}^{(m+n)\times(m+n)} .

(一)SS 对称,且特征值恰为 ±σi(A)\pm\sigma_i(A)。取 Avi=σiuiA\boldsymbol{v}_i=\sigma_i\boldsymbol{u}_i(SVD 的配对关系,定理 2.6.1),则

S(viui)=(AuiATvi)=σi(viui),S(vi−ui)=−σi(vi−ui)S\begin{pmatrix}\boldsymbol{v}_i\\ \boldsymbol{u}_i\end{pmatrix}=\begin{pmatrix}A\boldsymbol{u}_i\\ A^{\mathrm T}\boldsymbol{v}_i\end{pmatrix}=\sigma_i\begin{pmatrix}\boldsymbol{v}_i\\ \boldsymbol{u}_i\end{pmatrix},\qquad S\begin{pmatrix}\boldsymbol{v}_i\\ -\boldsymbol{u}_i\end{pmatrix}=-\sigma_i\begin{pmatrix}\boldsymbol{v}_i\\ -\boldsymbol{u}_i\end{pmatrix}

(其中用到配对的第二式 ATui=σiviA^{\mathrm T}\boldsymbol{u}_i=\sigma_i\boldsymbol{v}_i)。这 2n2n 个向量标准正交,再补上零空间方向(特征值 00),共 m+nm+n 个——特征值恰为 σ1,…,σn,−σn,…,−σ1\sigma_1,\dots,\sigma_n,-\sigma_n,\dots,-\sigma_1 再补 m−nm-n 个 00,降序排列为 σ1≥⋯≥σn≥0≥−σn≥⋯≥−σ1\sigma_1\ge\cdots\ge\sigma_n\ge0\ge-\sigma_n\ge\cdots\ge-\sigma_1(插入的 00 与 σn=0\sigma_n=0 或 −σn=0-\sigma_n=0 合并即可,不影响下文求和)。

(二)套用对称迹不等式。tr⁡(ST)=2tr⁡(ATB)\operatorname{tr}(ST)=2\operatorname{tr}(A^{\mathrm T}B)(分块直接展开),S,TS,T 的特征值降序逐项相乘:

tr⁡(ST) ≤A.3.3 ∑i≤nσi(A)σi(B)+∑i≤n(−σn−i+1(A))(−σn−i+1(B))=2∑i=1nσi(A)σi(B),\operatorname{tr}(ST)\ \overset{\text{A.3.3}}{\le}\ \sum_{i\le n}\sigma_i(A)\sigma_i(B)+\sum_{i\le n}\bigl(-\sigma_{n-i+1}(A)\bigr)\bigl(-\sigma_{n-i+1}(B)\bigr)=2\sum_{i=1}^{n}\sigma_i(A)\sigma_i(B),

两边除以 22 即得 tr⁡(ATB)≤∑σi(A)σi(B)\operatorname{tr}(A^{\mathrm T}B)\le\sum\sigma_i(A)\sigma_i(B)。对 −B-B 再用一次得绝对值版本。

∎

取等条件(正文实验的观察):A,BA,B 的左右奇异子空间两两重合(W=UATUBW=U_A^{\mathrm T}U_B 与 Z=VBTVAZ=V_B^{\mathrm T}V_A 同时为恒等)。特例 B=ATB=A^{\mathrm T}:tr⁡(ATA)=∥A∥F2=∑σi2\operatorname{tr}(A^{\mathrm T}A)=\lVert A\rVert_F^2=\sum\sigma_i^2 取等。

A.2.5 Eckart–Young–Mirsky:Frobenius 情形完整证明(定理 2.6.4 的补全)

定理 A.5 · Eckart–Young–Mirsky(Frobenius 情形)

min⁡rank⁡B≤k∥A−B∥F=σk+12+⋯+σr2\min_{\operatorname{rank}B\le k}\lVert A-B\rVert_F=\sqrt{\sigma_{k+1}^2+\cdots+\sigma_r^2},由截断 SVD(2.33)取到。

证明

上界方向(B=AkB=A_k 达到)正文已算:A−AkA-A_k 的奇异值恰为 σk+1,…,σr\sigma_{k+1},\dots,\sigma_r,Frobenius 范数平方 =∑i>kσi2=\sum_{i\gt k}\sigma_i^2。只证下界:任何 rank⁡B≤k\operatorname{rank}B\le k 都不更优。

取 A.2.4 的膨胀 S,TS,T(A↦SA\mapsto S,B↦TB\mapsto T)。TT 的特征值:τ1≥⋯≥τk>0=τk+1=⋯\tau_1\ge\cdots\ge\tau_k\gt0=\tau_{k+1}=\cdots(BB 至多 kk 个非零奇异值),降序排列为 τ1,…,τn\tau_1,\dots,\tau_n(τi=0, i>k\tau_i=0,\ i\gt k)接 −τn,…,−τ1-\tau_n,\dots,-\tau_1。由推论 A.3.4 与「降序配降序」:

2∥A−B∥F2=∥S−T∥F2 ≥ min⁡π∑i(λi(S)−λπ(i)(T))2=∑i(λi(S)−λi(T))2.2\lVert A-B\rVert_F^2=\lVert S-T\rVert_F^2\ \ge\ \min_{\pi}\sum_i\bigl(\lambda_i(S)-\lambda_{\pi(i)}(T)\bigr)^2=\sum_i\bigl(\lambda_i(S)-\lambda_i(T)\bigr)^2 .

(右端等号处用了与 A.3.4 相同的重排论证:∑(λi(S)−μπ(i)(T))2\sum(\lambda_i(S)-\mu_{\pi(i)}(T))^2 在同序配对时最小。)把两个降序谱逐项相减:

∑i(λi(S)−λi(T))2=∑j≤n(σj−τj)2+∑j≤n(σn−j+1−τn−j+1)2=2∑j=1n(σj−τj)2 ≥ 2∑j>kσj2,\sum_i\bigl(\lambda_i(S)-\lambda_i(T)\bigr)^2=\sum_{j\le n}\bigl(\sigma_j-\tau_j\bigr)^2+\sum_{j\le n}\bigl(\sigma_{n-j+1}-\tau_{n-j+1}\bigr)^2=2\sum_{j=1}^{n}\bigl(\sigma_j-\tau_j\bigr)^2\ \ge\ 2\sum_{j\gt k}\sigma_j^2,

最后一步因 j>kj\gt k 时 τj=0\tau_j=0,(σj−τj)2=σj2(\sigma_j-\tau_j)^2=\sigma_j^2。合并:

∥A−B∥F2 ≥ ∑j>kσj2.\lVert A-B\rVert_F^2\ \ge\ \sum_{j\gt k}\sigma_j^2 .

∎

评注。同一套「Birkhoff + 重排 + 膨胀」顺带产出了 von Neumann 迹不等式(A.2.4)与 Hoffman–Wielandt(A.3.4)——三个「最优配对」型定理是一家人。2-范数情形(正文)用的是 Courant–Fischer 维数计数,走的是另一条路,但结论同样精确。

A.2.6 Weyl 不等式的严格证明(定理 2.5.6(一)的补全)

命题 A.6 · Weyl 扰动界

A,EA,E 对称,特征值升序 λ1≤⋯≤λn\lambda_1\le\cdots\le\lambda_n,μ1≤⋯≤μn\mu_1\le\cdots\le\mu_n(μ\mu 为 A+EA+E 的),则 ∣λi−μi∣≤∥E∥2\lvert\lambda_i-\mu_i\rvert\le\lVert E\rVert_2。

证明

只证 μi≤λi+∥E∥2\mu_i\le\lambda_i+\lVert E\rVert_2(另一半对 −E-E 同理)。由 Courant–Fischer(定理 2.5.5 的 max-min 形式,对升序特征值写开):

μi=min⁡dim⁡S=n−i+1 max⁡0≠x∈SxT(A+E)xxTx.\mu_i=\min_{\dim\mathcal{S}=n-i+1}\ \max_{\boldsymbol{0}\neq\boldsymbol{x}\in\mathcal{S}}\frac{\boldsymbol{x}^{\mathrm T}(A+E)\boldsymbol{x}}{\boldsymbol{x}^{\mathrm T}\boldsymbol{x}} .

关键是把 min⁡\min 换成取等子空间 S0\mathcal{S}_0 的代入:取 S0=span⁡{ui,ui+1,…,un}\mathcal{S}_0=\operatorname{span}\{\boldsymbol{u}_i,\boldsymbol{u}_{i+1},\dots,\boldsymbol{u}_n\}(AA 的第 ii 到第 nn 个特征向量,dim⁡=n−i+1\dim=n-i+1),则

μi ≤ max⁡x∈S0RA+E(x) = max⁡x∈S0(RA(x)+xTExxTx) ≤ max⁡x∈S0RA(x)+∥E∥2=λi+∥E∥2,\mu_i\ \le\ \max_{\boldsymbol{x}\in\mathcal{S}_0}R_{A+E}(\boldsymbol{x})\ =\ \max_{\boldsymbol{x}\in\mathcal{S}_0}\Bigl(R_A(\boldsymbol{x})+\frac{\boldsymbol{x}^{\mathrm T}E\boldsymbol{x}}{\boldsymbol{x}^{\mathrm T}\boldsymbol{x}}\Bigr)\ \le\ \max_{\boldsymbol{x}\in\mathcal{S}_0}R_A(\boldsymbol{x})+\lVert E\rVert_2=\lambda_i+\lVert E\rVert_2 ,

最后一步:S0\mathcal{S}_0 上 RAR_A 的最大值是 λi\lambda_i(权只落在 λi,…,λn\lambda_i,\dots,\lambda_n 上,且 x=ui\boldsymbol{x}=\boldsymbol{u}_i 达到);扰动项的上界 sup⁡x≠0∣xTEx∣/xTx=max⁡(λmax⁡(E),−λmin⁡(E))≤∥E∥2\sup_{\boldsymbol{x}\neq0}\lvert\boldsymbol{x}^{\mathrm T}E\boldsymbol{x}\rvert/\boldsymbol{x}^{\mathrm T}\boldsymbol{x}=\max(\lambda_{\max}(E),-\lambda_{\min}(E))\le\lVert E\rVert_2。反向:λi=λi((A+E)+(−E))≤μi+∥E∥2\lambda_i=\lambda_i((A+E)+(-E))\le\mu_i+\lVert E\rVert_2。

∎

两个附注。① 一般形式的 Weyl 不等式 λi+j−1(A+B)≤λi(A)+λj(B)\lambda_{i+j-1}(A+B)\le\lambda_i(A)+\lambda_j(B)(i+j−1≤ni+j-1\le n)用同一论证(S0\mathcal{S}_0 取 AA 的前 i−1i-1 大与 BB 的前 j−1j-1 大的补空间交集,维数计数同 定理 2.6.4 的证明)。② 证明里「把 min 换成特定子空间」这一步在正文被一笔带过,正是它使放缩合法:min⁡\min 的下标换成任何一个允许的 S\mathcal{S},都不改变「≤\le」方向。

A.2.7 Gelfand 公式与瞬态增长(例 2.5.6 的定量补全)

定理 A.7 · Gelfand 公式

对任意相容矩阵范数,lim⁡k→∞∥Ak∥1/k=ρ(A)\displaystyle\lim_{k\to\infty}\lVert A^k\rVert^{1/k}=\rho(A)。

证明

「≥\ge」:ρ(A)k=ρ(Ak)≤∥Ak∥\rho(A)^k=\rho(A^k)\le\lVert A^k\rVert(2.5.1 后的注),故 ρ(A)≤lim inf⁡k∥Ak∥1/k\rho(A)\le\liminf_k\lVert A^k\rVert^{1/k}。

「≤\le」:取 AA 的 Jordan 标准形 A=PJP−1A=PJP^{-1}。任给 s>ρ(A)s\gt\rho(A),取 D=diag⁡(1, s−1, s−2,…,s−(n−1))D=\operatorname{diag}(1,\ s^{-1},\ s^{-2},\dots,s^{-(n-1)}),则 Js=D−1JDJ_s=D^{-1}JD 与 JJ 相似,且非对角元被压缩:(Js)ij=s i−jJij(J_s)_{ij}=s^{\,i-j}J_{ij},约当块的每个上移位元乘上 s−1s^{-1}。再取 s~\tilde s 使 ρ(A)<s~<s\rho(A)\lt\tilde s\lt s,估计 JskJ_s^k 的元素:二项展开 (Λ+s−1N)k(\Lambda+s^{-1}N)^k 的每一项是 kk 个因子的乘积,每个因子或为对角元 λi\lambda_i(模 ≤ρ(A)≤s~\le\rho(A)\le\tilde s),或为上移位元 s−1s^{-1}(与 kk 无关的常数)。非零乘积中移位因子至多 n−1n-1 个(NN 的幂零性),组合数 (kq)≤k n−1\binom{k}{q}\le k^{\,n-1},移位因子与 s~−(n−1)\tilde s^{-(n-1)} 一并并入与 kk 无关的常数 CC,得

∣(Jsk)ij∣ ≤ C k n−1 s~ k.\lvert(J_s^k)_{ij}\rvert\ \le\ C\,k^{\,n-1}\,\tilde s^{\,k} .

故

∥Ak∥≤∥PD∥ ∥Jsk∥ ∥D−1P−1∥≤C′ k n−1s k,∥Ak∥1/k≤C′1/k k(n−1)/k s →k→∞ s.\lVert A^k\rVert\le\lVert P D\rVert\,\lVert J_s^k\rVert\,\lVert D^{-1}P^{-1}\rVert\le C&#x27;\,k^{\,n-1}s^{\,k},\qquad \lVert A^k\rVert^{1/k}\le C&#x27;^{1/k}\,k^{(n-1)/k}\,s\ \xrightarrow{k\to\infty}\ s .

令 s↓ρ(A)s\downarrow\rho(A) 即得。

∎

(二)对角化情形的瞬态增长界。B=VΛV−1B=V\Lambda V^{-1},则对一切 kk:

ρ(B)kcond⁡(V) ≤ ∥Bk∥ ≤ cond⁡(V) ρ(B)k\frac{\rho(B)^k}{\operatorname{cond}(V)}\ \le\ \lVert B^k\rVert\ \le\ \operatorname{cond}(V),\rho(B)^k

(右端:∥VΛkV−1∥≤∥V∥∥Λk∥∥V−1∥\lVert V\Lambda^kV^{-1}\rVert\le\lVert V\rVert\lVert\Lambda^k\rVert\lVert V^{-1}\rVert;左端:把 ρk=∥Λk∥=∥V−1BkV∥\rho^k=\lVert\Lambda^k\rVert=\lVert V^{-1}B^kV\rVert 反向放缩)。非正规性(cond⁡(V)\operatorname{cond}(V) 大)正是瞬态增长的上限来源。

(三)2×22\times2 的精确算例。B=(λM0λ)B=\begin{pmatrix}\lambda&amp;M\0&amp;\lambda\end{pmatrix}(∣λ∣<1\lvert\lambda\rvert\lt1):

Bk=(λkMkλk−10λk),∥Bk∥2 ≥ Mk∣λ∣k−1,B^k=\begin{pmatrix}\lambda^k&amp;Mk\lambda^{k-1}\0&amp;\lambda^k\end{pmatrix},\qquad \lVert B^k\rVert_2\ \ge\ Mk\lvert\lambda\rvert^{k-1},

右端在 k∗≈−1/ln⁡∣λ∣k^*\approx-1/\ln\lvert\lambda\rvert 处达峰,峰值 ≈Me ∣ln⁡∣λ∣∣\approx\dfrac{M}{e,\lvert\ln\lvert\lambda\rvert\rvert}——随 MM 线性增长。取 λ=0.99\lambda=0.99、M=1000M=1000:峰值 ≈1000e×0.0101≈3.7×104\approx\dfrac{1000}{e\times0.0101}\approx3.7\times10^{4},出现在 k∗≈99k^*\approx99 步——迭代先放大三万七千倍,再开始收敛。「ρ<1\rho\lt1 ⟹ 收敛」没有说谎,但前一百步的灾难它一个字都没提;这就是 例 2.5.6 结论「实用判据取 ∥H∥<1\lVert H\rVert\lt1」的定量版。

A.2.8 Kantorovich 不等式与最速下降的收敛率(2.4 的延伸)

定理 A.8 · Kantorovich 不等式

AA 对称正定,特征值 0<m≤⋯≤M0\lt m\le\cdots\le M,则对任意 x≠0\boldsymbol{x}\neq\boldsymbol{0}:

(xTAx)2(xTx)(xTA2x) ≥ 4mM(m+M)2.\frac{(\boldsymbol{x}^{\mathrm T}A\boldsymbol{x})^2}{(\boldsymbol{x}^{\mathrm T}\boldsymbol{x})(\boldsymbol{x}^{\mathrm T}A^2\boldsymbol{x})}\ \ge\ \frac{4mM}{(m+M)^2} .

证明

在特征基下对角化 A=diag⁡(λi)A=\operatorname{diag}(\lambda_i),写 x=∑kiui\boldsymbol{x}=\sum k_i\boldsymbol{u}_i,取权 wi=ki2/∑jkj2w_i=k_i^2/\sum_jk_j^2,则命题变为 (∑wiλi)2∑wiλi2≥4mM(m+M)2\dfrac{(\sum w_i\lambda_i)^2}{\sum w_i\lambda_i^2}\ge\dfrac{4mM}{(m+M)^2}(两边同除 (∑kj2)2(\sum k_j^2)^2)。由 m≤λi≤Mm\le\lambda_i\le M:(λi−m)(λi−M)≤0(\lambda_i-m)(\lambda_i-M)\le0,即

λi2 ≤ (m+M)λi−mM.\lambda_i^2\ \le\ (m+M)\lambda_i-mM .

乘以 wiw_i 求和(记 u=∑wiλi∈[m,M]u=\sum w_i\lambda_i\in[m,M],v=∑wiλi2v=\sum w_i\lambda_i^2):v≤(m+M)u−mMv\le(m+M)u-mM。于是

u2v ≥ u2(m+M)u−mM ≥ min⁡u∈[m,M]u2(m+M)u−mM.\frac{u^2}{v}\ \ge\ \frac{u^2}{(m+M)u-mM}\ \ge\ \min_{u\in[m,M]}\frac{u^2}{(m+M)u-mM} .

对 uu 求导,极小点 u∗=2mMm+M∈[m,M]u^*=\dfrac{2mM}{m+M}\in[m,M],代入得 u∗22mM−mM=4mM(m+M)2\dfrac{u^{*2}}{2mM-mM}=\dfrac{4mM}{(m+M)^2}。

∎

应用:最速下降解 Ax=bA\boldsymbol{x}=\boldsymbol{b} 的收敛率。迭代 xk+1=xk+αkrk\boldsymbol{x}_{k+1}=\boldsymbol{x}_k+\alpha_k\boldsymbol{r}_k(rk=b−Axk=−Aek\boldsymbol{r}_k=\boldsymbol{b}-A\boldsymbol{x}_k=-A\boldsymbol{e}_k),精确线搜索 αk=rkTrkrkTArk\alpha_k=\dfrac{\boldsymbol{r}_k^{\mathrm T}\boldsymbol{r}_k}{\boldsymbol{r}_k^{\mathrm T}A\boldsymbol{r}_k}。令 e~=A1/2ek\tilde{\boldsymbol{e}}=A^{1/2}\boldsymbol{e}_k(∥ek∥A=∥e~k∥2\lVert\boldsymbol{e}_k\rVert_A=\lVert\tilde{\boldsymbol{e}}_k\rVert_2,rk=A1/2e~k\boldsymbol{r}_k=A^{1/2}\tilde{\boldsymbol{e}}_k),展开:

∥ek+1∥A2=∥ek∥A2−2αkrkTrk+αk2rkTArk ∣α=αk=∥ek∥A2−(rkTrk)2rkTArk,\lVert\boldsymbol{e}_{k+1}\rVert_A^2=\lVert\boldsymbol{e}_k\rVert_A^2-2\alpha_k\boldsymbol{r}_k^{\mathrm T}\boldsymbol{r}_k+\alpha_k^2\boldsymbol{r}_k^{\mathrm T}A\boldsymbol{r}_k\ \Big|_{\alpha=\alpha_k}=\lVert\boldsymbol{e}_k\rVert_A^2-\frac{(\boldsymbol{r}_k^{\mathrm T}\boldsymbol{r}_k)^2}{\boldsymbol{r}_k^{\mathrm T}A\boldsymbol{r}_k},

∥ek+1∥A2∥ek∥A2=1−(e~kTAe~k)2(e~kTe~k)(e~kTA2e~k) ≤A.8 1−4mM(m+M)2=(M−mM+m)2=(κ−1κ+1)2.\frac{\lVert\boldsymbol{e}_{k+1}\rVert_A^2}{\lVert\boldsymbol{e}_k\rVert_A^2}=1-\frac{(\tilde{\boldsymbol{e}}_k^{\mathrm T}A\tilde{\boldsymbol{e}}_k)^2}{(\tilde{\boldsymbol{e}}_k^{\mathrm T}\tilde{\boldsymbol{e}}_k)(\tilde{\boldsymbol{e}}_k^{\mathrm T}A^2\tilde{\boldsymbol{e}}_k)}\ \overset{\text{A.8}}{\le}\ 1-\frac{4mM}{(m+M)^2}=\Bigl(\frac{M-m}{M+m}\Bigr)^2=\Bigl(\frac{\kappa-1}{\kappa+1}\Bigr)^2 .

(中间一步用了 rkTrk=e~kTAe~k\boldsymbol{r}_k^{\mathrm T}\boldsymbol{r}_k=\tilde{\boldsymbol{e}}_k^{\mathrm T}A\tilde{\boldsymbol{e}}_k、rkTArk=e~kTA2e~k\boldsymbol{r}_k^{\mathrm T}A\boldsymbol{r}_k=\tilde{\boldsymbol{e}}_k^{\mathrm T}A^2\tilde{\boldsymbol{e}}_k、∥ek∥A2=e~kTe~k\lVert\boldsymbol{e}_k\rVert_A^2=\tilde{\boldsymbol{e}}_k^{\mathrm T}\tilde{\boldsymbol{e}}_k。)每步误差压缩因子 ≤(κ−1κ+1)2\le\bigl(\frac{\kappa-1}{\kappa+1}\bigr)^2:κ=10\kappa=10 时 ≈0.67\approx0.67(尚可),κ=104\kappa=10^4 时 ≈0.9996\approx0.9996——三万步才压两个数量级。条件数不仅决定结果准不准(2.4),也决定迭代快不快;降低 κ\kappa 的手段(预条件、行均衡化 2.4.5)由此获得双重回报。与定步长梯度下降(附录 C.2.1)及共轭梯度法((κ−1κ+1)k\bigl(\frac{\sqrt\kappa-1}{\sqrt\kappa+1}\bigr)^k,见附录 C.6.1)的完整对照放在附录 C。

本附录引用的外部结果

除 Birkhoff 定理(A.2.3 自证)与 Jordan 标准形(A.2.7 引用,见任何高等代数教材)外,全部推导自含。进一步的系统展开见延伸阅读里的 Horn & Johnson《Matrix Analysis》(迹不等式与特征值扰动)、Higham《Accuracy and Stability of Numerical Algorithms》(Chapter 4:求和与浮点)与 Golub & Van Loan《Matrix Computations》(2.3–2.6 节:正交化与 SVD)。