正文里标着「证明从略」「留作习题补充」「证明思路」的地方,完整推导全部收在本附录,按章组织。每条标题括注正文出处,正文对应位置也有反向链接;附录编号 A.1、A.2……自成一体,不与正文的节级编号混用。本附录只用到两个外部结果:Birkhoff 定理 (A.2.3 给出证明)与矩阵的 Jordan 标准形 (A.2.7 引用)。
设 t = 2 t=\sqrt2 t = 2 ,a = 1.4 a=1.4 a = 1.4 ,则输入误差 e = t − a = 0.0142136 e=t-a=0.0142136 e = t − a = 0.0142136 ,相对误差 ε = e / t ≈ 1.005 % \varepsilon=e/t\approx1.005% ε = e / t ≈ 1.005% 。六个公式在 t = 2 t=\sqrt2 t = 2 处恒等,依据是三条代数事实(可用二项展开自证):
( 2 + 1 ) ( 2 − 1 ) = 1 , ( 2 − 1 ) 2 = 3 − 2 2 , ( 2 − 1 ) 6 = 99 − 70 2 . (\sqrt2+1)(\sqrt2-1)=1,\qquad(\sqrt2-1)^2=3-2\sqrt2,\qquad(\sqrt2-1)^6=99-70\sqrt2 . ( 2 + 1 ) ( 2 − 1 ) = 1 , ( 2 − 1 ) 2 = 3 − 2 2 , ( 2 − 1 ) 6 = 99 − 70 2 .
由 1.2.3 的传播公式:输出绝对误差 ≈ ∣ f ′ ( t ) ∣ e \approx\lvert f'(t)\rvert e ≈ ∣ f ′ ( t )∣ e ,输出相对误差 ≈ κ ⋅ ε \approx\kappa\cdot\varepsilon ≈ κ ⋅ ε ,其中相对条件数(1.2.6 )
κ = ∣ t f ′ ( t ) f ( t ) ∣ . \kappa=\left\lvert\frac{t,f'(t)}{f(t)}\right\rvert . κ = f ( t ) t f ′ ( t ) .
逐个公式算出 f ′ ( t ) f'(t) f ′ ( t ) 与 κ \kappa κ (f ( t ) = ( 2 − 1 ) 6 = 0.0050506 f(t)=(\sqrt2-1)^6=0.0050506 f ( t ) = ( 2 − 1 ) 6 = 0.0050506 ):
公式 ∣ f ′ ( t ) ∣ \lvert f'(t)\rvert ∣ f ′ ( t )∣ κ \kappa κ 预测绝对误差 ∣ f ′ ∣ e \lvert f'\rvert e ∣ f ′ ∣ e 实测(1.1.3 表) 预测相对误差
( t − 1 ) 6 (t-1)^6 ( t − 1 ) 6 6 ( t − 1 ) 5 = 0.07316 6(t-1)^5=0.07316 6 ( t − 1 ) 5 = 0.07316 6 t t − 1 ≈ 20.5 \dfrac{6t}{t-1}\approx20.5 t − 1 6 t ≈ 20.5 1.04 × 1 0 − 3 1.04\times10^{-3} 1.04 × 1 0 − 3 9.6 × 1 0 − 4 9.6\times10^{-4} 9.6 × 1 0 − 4 20.6 % 20.6% 20.6%
( 3 − 2 t ) 3 (3-2t)^3 ( 3 − 2 t ) 3 6 ( 3 − 2 t ) 2 = 0.17662 6(3-2t)^2=0.17662 6 ( 3 − 2 t ) 2 = 0.17662 6 t 3 − 2 t ≈ 49.5 \dfrac{6t}{3-2t}\approx49.5 3 − 2 t 6 t ≈ 49.5 2.51 × 1 0 − 3 2.51\times10^{-3} 2.51 × 1 0 − 3 3.0 × 1 0 − 3 3.0\times10^{-3} 3.0 × 1 0 − 3 49.7 % 49.7% 49.7%
99 − 70 t 99-70t 99 − 70 t 70 70 70 70 t 99 − 70 t ≈ 1.96 × 1 0 4 \dfrac{70t}{99-70t}\approx1.96\times10^{4} 99 − 70 t 70 t ≈ 1.96 × 1 0 4 9.95 × 1 0 − 1 9.95\times10^{-1} 9.95 × 1 0 − 1 9.9 × 1 0 − 1 9.9\times10^{-1} 9.9 × 1 0 − 1 197 197 197
1 / ( t + 1 ) 6 1/(t+1)^6 1/ ( t + 1 ) 6 6 ( t + 1 ) 7 = 0.012553 \dfrac{6}{(t+1)^7}=0.012553 ( t + 1 ) 7 6 = 0.012553 6 t t + 1 ≈ 3.51 \dfrac{6t}{t+1}\approx3.51 t + 1 6 t ≈ 3.51 1.78 × 1 0 − 4 1.78\times10^{-4} 1.78 × 1 0 − 4 1.8 × 1 0 − 4 1.8\times10^{-4} 1.8 × 1 0 − 4 3.53 % 3.53% 3.53%
1 / ( 3 + 2 t ) 3 1/(3+2t)^3 1/ ( 3 + 2 t ) 3 6 ( 3 + 2 t ) 4 = 0.0051993 \dfrac{6}{(3+2t)^4}=0.0051993 ( 3 + 2 t ) 4 6 = 0.0051993 6 t 3 + 2 t ≈ 1.46 \dfrac{6t}{3+2t}\approx1.46 3 + 2 t 6 t ≈ 1.46 7.39 × 1 0 − 5 7.39\times10^{-5} 7.39 × 1 0 − 5 7.5 × 1 0 − 5 7.5\times10^{-5} 7.5 × 1 0 − 5 1.46 % 1.46% 1.46%
1 / ( 99 + 70 t ) 1/(99+70t) 1/ ( 99 + 70 t ) 70 ( 99 + 70 t ) 2 = 0.0017856 \dfrac{70}{(99+70t)^2}=0.0017856 ( 99 + 70 t ) 2 70 = 0.0017856 70 t 99 + 70 t ≈ 0.500 \dfrac{70t}{99+70t}\approx0.500 99 + 70 t 70 t ≈ 0.500 2.54 × 1 0 − 5 2.54\times10^{-5} 2.54 × 1 0 − 5 2.6 × 1 0 − 5 2.6\times10^{-5} 2.6 × 1 0 − 5 0.50 % 0.50% 0.50%
四条读法:
κ \kappa κ 从 0.5 0.5 0.5 跨到 1.96 × 1 0 4 1.96\times10^{4} 1.96 × 1 0 4 ,近五个数量级 ——与实测误差之比(2.6 × 1 0 − 5 2.6\times10^{-5} 2.6 × 1 0 − 5 对 9.9 × 1 0 − 1 9.9\times10^{-1} 9.9 × 1 0 − 1 )精确对应。一阶传播公式把整张表复现到两位有效数字。
公式 3 的 κ \kappa κ 大,是因为分母 f ( t ) = 99 − 70 2 ≈ 5 × 1 0 − 3 f(t)=99-70\sqrt2\approx5\times10^{-3} f ( t ) = 99 − 70 2 ≈ 5 × 1 0 − 3 极小 :99 99 99 与 70 2 ≈ 98.995 70\sqrt2\approx98.995 70 2 ≈ 98.995 是相近数,相减在输入之前 就把信息压没了。相减这一步本身是精确的(Sterbenz 引理,见附录 B.3 )——错的不是减法,是被送去相减的数只剩 4 位有效数字(1.2.4 原则 (3))。
公式 6 的 κ = 0.5 < 1 \kappa=0.5\lt1 κ = 0.5 < 1 :误差被压缩 。取倒数把「小输出」换成「大输出」,条件反而变好。这与「用韦达定理保小根」(原则 (2))是同一个思想:换等价提法,让病态环节落进良态运算 。
公式 2 的预测(49.7 % 49.7% 49.7% )与实测(58.4 % 58.4% 58.4% )差约五分之一,这是线性化误差:κ \kappa κ 本身随 t t t 在 [ a − e , a + e ] [a-e,\ a+e] [ a − e , a + e ] 上变化,量级判断不受影响。
正向界 1 2 a 1 × 1 0 1 − n \dfrac{1}{2a_1}\times10^{1-n} 2 a 1 1 × 1 0 1 − n 取得等号。 取 a = 5.00 a=5.00 a = 5.00 (规格化 0.500 × 1 0 1 0.500\times10^1 0.500 × 1 0 1 ,a 1 = 5 a_1=5 a 1 = 5 ,m = 1 m=1 m = 1 ,k = 3 k=3 k = 3 ),x = 5.005 x=5.005 x = 5.005 。则 ε ( a ) = 0.005 = 1 2 × 1 0 1 − 3 \varepsilon(a)=0.005=\tfrac12\times10^{1-3} ε ( a ) = 0.005 = 2 1 × 1 0 1 − 3 (a a a 恰有 3 位有效数字),而
ε r ( a ) = 0.005 5.00 = 0.001 = 1 2 a 1 × 1 0 1 − 3 = 1 10 × 1 0 − 2 , \varepsilon_{\mathrm r}(a)=\frac{0.005}{5.00}=0.001=\frac{1}{2a_1}\times10^{1-3}=\frac{1}{10}\times10^{-2}, ε r ( a ) = 5.00 0.005 = 0.001 = 2 a 1 1 × 1 0 1 − 3 = 10 1 × 1 0 − 2 ,
等号成立。故常数 1 2 a 1 \dfrac{1}{2a_1} 2 a 1 1 不可放宽。
逆向界 1 2 ( a 1 + 1 ) × 1 0 1 − n \dfrac{1}{2(a_1+1)}\times10^{1-n} 2 ( a 1 + 1 ) 1 × 1 0 1 − n 也卡在临界上。 取 a = 9.9 a=9.9 a = 9.9 (0.99 × 1 0 1 0.99\times10^1 0.99 × 1 0 1 ,a 1 = 9 a_1=9 a 1 = 9 ,m = 1 m=1 m = 1 ),n = 2 n=2 n = 2 时界为 1 2 × 10 × 1 0 − 1 = 0.005 \dfrac{1}{2\times10}\times10^{-1}=0.005 2 × 10 1 × 1 0 − 1 = 0.005 。取 x = 9.96 x=9.96 x = 9.96 :
ε r ( a ) = 0.06 9.9 ≈ 0.00606 > 0.005 , ε ( a ) = 0.06 > 1 2 × 1 0 1 − 2 = 0.05 , \varepsilon_{\mathrm r}(a)=\frac{0.06}{9.9}\approx0.00606\ \gt\ 0.005,\qquad\varepsilon(a)=0.06\ \gt\ \tfrac12\times10^{1-2}=0.05, ε r ( a ) = 9.9 0.06 ≈ 0.00606 > 0.005 , ε ( a ) = 0.06 > 2 1 × 1 0 1 − 2 = 0.05 ,
第 2 位有效数字已经失守。也就是说:相对误差限只要比逆向界再大一点 ,就可能不足 n n n 位——常数 a 1 + 1 a_1+1 a 1 + 1 不可再小。
组合起来读: 最坏情形 a 1 = 1 a_1=1 a 1 = 1 时,正向界 1 2 × 1 0 1 − n \tfrac12\times10^{1-n} 2 1 × 1 0 1 − n 与逆向界 1 40 × 1 0 1 − n \tfrac1{40}\times10^{1-n} 40 1 × 1 0 1 − n 相差 20 20 20 倍。「由有效数字推相对误差」(正向)与「由相对误差倒推有效数字」(逆向)必须用各自的常数,不能共用。
1.2.4 原则 (1) 的补全)
y n = ∫ 0 1 x n x + 5 d x , y n = 1 n − 5 y n − 1 ( n ≥ 1 ) , y 0 = ln 6 5 . y_n=\int_0^1\frac{x^n}{x+5},dx,\qquad y_n=\frac1n-5y_{n-1}\ (n\ge1),\qquad y_0=\ln\frac65 . y n = ∫ 0 1 x + 5 x n d x , y n = n 1 − 5 y n − 1 ( n ≥ 1 ) , y 0 = ln 5 6 .
(一)正向递推的最坏误差界。 设第 n n n 步的误差为 δ n = y n ( 计算 ) − y n ( 真 ) \delta_n=y_n^{(计算)}-y_n^{(真)} δ n = y n ( 计算 ) − y n ( 真 ) 。每步执行 y n = f l ( 1 / n − 5 y n − 1 ) y_n=\mathrm{fl}(1/n-5y_{n-1}) y n = fl ( 1/ n − 5 y n − 1 ) ,除真实递推外多出两项误差:旧误差被乘 − 5 -5 − 5 放大,加上本步新的舍入 ρ n \rho_n ρ n (∣ ρ n ∣ ≤ ρ \lvert\rho_n\rvert\le\rho ∣ ρ n ∣ ≤ ρ ,ρ \rho ρ 为每步舍入的绝对值上界):
δ n = − 5 δ n − 1 + ρ n . \delta_n=-5,\delta_{n-1}+\rho_n . δ n = − 5 δ n − 1 + ρ n .
对 n n n 展开此式(δ n = − 5 δ n − 1 + ρ n \delta_n=-5\delta_{n-1}+\rho_n δ n = − 5 δ n − 1 + ρ n 逐层代入):
∣ δ n ∣ ≤ 5 n ∣ δ 0 ∣ + ρ ( 1 + 5 + ⋯ + 5 n − 1 ) = 5 n ∣ δ 0 ∥ + ρ 5 n − 1 4 ≈ 5 n ( ∣ δ 0 ∣ + ρ 4 ) . \lvert\delta_n\rvert\ \le\ 5^n\lvert\delta_0\rvert+\rho,(1+5+\cdots+5^{n-1})=5^n\lvert\delta_0\rVert+\rho,\frac{5^n-1}{4}\ \approx\ 5^n\Bigl(\lvert\delta_0\rvert+\frac{\rho}{4}\Bigr). ∣ δ n ∣ ≤ 5 n ∣ δ 0 ∣ + ρ ( 1 + 5 + ⋯ + 5 n − 1 ) = 5 n ∣ δ 0 ∥ + ρ 4 5 n − 1 ≈ 5 n ( ∣ δ 0 ∣ + 4 ρ ) .
取 ∣ δ 0 ∣ = ∣ ln ( 6 / 5 ) − 0.1823 ∣ = 2.16 × 1 0 − 5 \lvert\delta_0\rvert=\lvert\ln(6/5)-0.1823\rvert=2.16\times10^{-5} ∣ δ 0 ∣ = ∣ ln ( 6/5 ) − 0.1823 ∣ = 2.16 × 1 0 − 5 、n = 100 n=100 n = 100 、5 100 ≈ 7.9 × 1 0 69 5^{100}\approx7.9\times10^{69} 5 100 ≈ 7.9 × 1 0 69 :界约 1 0 65 10^{65} 1 0 65 。反向递推的系数 1 / 5 1/5 1/5 把同一公式变成压缩 ,起点误差 1.6 × 1 0 − 4 1.6\times10^{-4} 1.6 × 1 0 − 4 传到 y 0 y_0 y 0 只剩 1.6 × 1 0 − 4 / 5 100 1.6\times10^{-4}/5^{100} 1.6 × 1 0 − 4 / 5 100 ——机器精度之下。
(二)y n y_n y n 的交错级数(反向递推起点的精确化)。 在 [ 0 , 1 ] [0,1] [ 0 , 1 ] 上 ∣ x / 5 ∣ ≤ 1 5 < 1 \lvert x/5\rvert\le\tfrac15\lt1 ∣ x /5 ∣ ≤ 5 1 < 1 ,几何级数一致收敛,可逐项积分:
1 x + 5 = 1 5 ⋅ 1 1 + x / 5 = ∑ j = 0 ∞ ( − 1 ) j x j 5 j + 1 ⟹ y n = ∑ j = 0 ∞ ( − 1 ) j 5 j + 1 ( n + j + 1 ) . \frac{1}{x+5}=\frac15\cdot\frac{1}{1+x/5}=\sum_{j=0}^{\infty}\frac{(-1)^jx^j}{5^{j+1}}\qquad\Longrightarrow\qquad y_n=\sum_{j=0}^{\infty}\frac{(-1)^j}{5^{j+1}(n+j+1)} . x + 5 1 = 5 1 ⋅ 1 + x /5 1 = j = 0 ∑ ∞ 5 j + 1 ( − 1 ) j x j ⟹ y n = j = 0 ∑ ∞ 5 j + 1 ( n + j + 1 ) ( − 1 ) j .
级数各项单调递减趋于零,故截断误差不超过首个舍去项 。两个检验:
n = 0 n=0 n = 0 :级数为 ∑ j ( − 1 ) j ( 1 / 5 ) j + 1 j + 1 \sum_j(-1)^j\frac{(1/5)^{j+1}}{j+1} ∑ j ( − 1 ) j j + 1 ( 1/5 ) j + 1 ,正是 ln ( 1 + z ) \ln(1+z) ln ( 1 + z ) 在 z = 1 / 5 z=1/5 z = 1/5 处的 Taylor 级数,和为 ln ( 6 / 5 ) = 0.182322 \ln(6/5)=0.182322 ln ( 6/5 ) = 0.182322 ✓;
n = 100 n=100 n = 100 :逐项求和 y 100 = 1 505 − 1 2550 + 1 12875 − 1 65000 + ⋯ ≈ 0.0016528 y_{100}=\frac{1}{505}-\frac{1}{2550}+\frac{1}{12875}-\frac{1}{65000}+\cdots\approx0.0016528 y 100 = 505 1 − 2550 1 + 12875 1 − 65000 1 + ⋯ ≈ 0.0016528 。
对照正文用的区间估计 1 6 ( n + 1 ) < y n < 1 5 ( n + 1 ) \frac{1}{6(n+1)}\lt y_n\lt\frac{1}{5(n+1)} 6 ( n + 1 ) 1 < y n < 5 ( n + 1 ) 1 :n = 100 n=100 n = 100 时区间为 [ 0.0016502 , 0.0019802 ] [0.0016502,\ 0.0019802] [ 0.0016502 , 0.0019802 ] ,中点 0.0018152 0.0018152 0.0018152 ,真值 0.0016528 0.0016528 0.0016528 紧贴区间左端 ——中点估计的误差 1.62 × 1 0 − 4 1.62\times10^{-4} 1.62 × 1 0 − 4 几乎用尽了「半宽度 1.65 × 1 0 − 4 1.65\times10^{-4} 1.65 × 1 0 − 4 」的预算。这个粗糙的界已经做到了它能做到的极限;想要更准的起点,交错级数本身就可以:第 j + 1 j+1 j + 1 项约为 5 − ( j + 1 ) / ( n + 1 ) 5^{-(j+1)}/(n+1) 5 − ( j + 1 ) / ( n + 1 ) ,想要起点误差多小就取多少项 ——取 7 7 7 项达绝对误差 1 0 − 7 10^{-7} 1 0 − 7 ,取 12 12 12 项(手算量)达 1 0 − 10 10^{-10} 1 0 − 10 ,比「区间中点」细六个数量级。
(三)渐近行为。 级数首项给出 y n ≈ 1 5 ( n + 1 ) ∼ 1 5 n y_n\approx\dfrac{1}{5(n+1)}\sim\dfrac{1}{5n} y n ≈ 5 ( n + 1 ) 1 ∼ 5 n 1 :被积函数在 x ≈ 1 x\approx1 x ≈ 1 处最大、分母 ≈ 6 \approx6 ≈ 6 而非 5 5 5 ,修正项 − 1 25 ( n + 2 ) -\dfrac{1}{25(n+2)} − 25 ( n + 2 ) 1 正是它。
(一)显式不等式的每个常数都有向量取等:
不等式 取等的向量
∥ x ∥ ∞ = ∥ x ∥ 2 \lVert\boldsymbol{x}\rVert_\infty=\lVert\boldsymbol{x}\rVert_2 ∥ x ∥ ∞ = ∥ x ∥ 2 x \boldsymbol{x} x 只有一个非零分量
∥ x ∥ 2 = n ∥ x ∥ ∞ \lVert\boldsymbol{x}\rVert_2=\sqrt n,\lVert\boldsymbol{x}\rVert_\infty ∥ x ∥ 2 = n ∥ x ∥ ∞ ∣ x 1 ∣ = ⋯ = ∣ x n ∣ \lvert x_1\rvert=\cdots=\lvert x_n\rvert ∣ x 1 ∣ = ⋯ = ∣ x n ∣ (如 1 \boldsymbol{1} 1 )
∥ x ∥ 2 = ∥ x ∥ 1 \lVert\boldsymbol{x}\rVert_2=\lVert\boldsymbol{x}\rVert_1 ∥ x ∥ 2 = ∥ x ∥ 1 单个非零分量
∥ x ∥ 1 = n ∥ x ∥ 2 \lVert\boldsymbol{x}\rVert_1=\sqrt n,\lVert\boldsymbol{x}\rVert_2 ∥ x ∥ 1 = n ∥ x ∥ 2 ∣ x 1 ∣ = ⋯ = ∣ x n ∣ \lvert x_1\rvert=\cdots=\lvert x_n\rvert ∣ x 1 ∣ = ⋯ = ∣ x n ∣
所以 n \sqrt n n 、n n n 这些因子不是估计的粗糙,而是这组范数的真实距离 。
(二)等价性是有限维的专利。 在无穷维序列空间取
x = ( 1 , 1 2 , 1 3 , ⋯ ) : ∥ x ∥ 2 2 = ∑ k ≥ 1 1 k 2 < ∞ , ∥ x ∥ 1 = ∑ k ≥ 1 1 k = ∞ . \boldsymbol{x}=\Bigl(1,\ \tfrac12,\ \tfrac13,\ \cdots\Bigr):\qquad \lVert\boldsymbol{x}\rVert_2^2=\sum_{k\ge1}\frac{1}{k^2}\lt\infty,\qquad \lVert\boldsymbol{x}\rVert_1=\sum_{k\ge1}\frac1k=\infty . x = ( 1 , 2 1 , 3 1 , ⋯ ) : ∥ x ∥ 2 2 = k ≥ 1 ∑ k 2 1 < ∞ , ∥ x ∥ 1 = k ≥ 1 ∑ k 1 = ∞.
同一个向量,一种范数有限、另一种无穷大——「换范数不改变收敛」在无穷维失效 。数值 PDE 里对微分算子做有限元 / 差分离散,本质是「用 n n n 维空间逼近无穷维」:维数 n n n 增大时,等价常数(如 n \sqrt n n )随之恶化。「收敛结论与范数无关,但界的常数随 n n n 增长」——这是离散化误差分析里天天打交道的事实,也是泛函分析选择在无穷维单独建立一套理论的原因。
设 ∥ ⋅ ∥ \lVert\cdot\rVert ∥ ⋅ ∥ 是 R n \mathbb{R}^n R n 上的范数且满足平行四边形恒等式(2.2)。定义
⟨ x , y ⟩ : = 1 4 ( ∥ x + y ∥ 2 − ∥ x − y ∥ 2 ) , \langle\boldsymbol{x},\boldsymbol{y}\rangle:=\frac14\Bigl(\lVert\boldsymbol{x}+\boldsymbol{y}\rVert^2-\lVert\boldsymbol{x}-\boldsymbol{y}\rVert^2\Bigr), ⟨ x , y ⟩ := 4 1 ( ∥ x + y ∥ 2 − ∥ x − y ∥ 2 ) ,
以下验证它满足内积三公理(对称、线性、正定),且诱导范数恰为 ∥ ⋅ ∥ \lVert\cdot\rVert ∥ ⋅ ∥ 。
第一步:符号与倍乘的基本事实。
⟨ x , x ⟩ = 1 4 ∥ 2 x ∥ 2 = ∥ x ∥ 2 \langle\boldsymbol{x},\boldsymbol{x}\rangle=\frac14\lVert2\boldsymbol{x}\rVert^2=\lVert\boldsymbol{x}\rVert^2 ⟨ x , x ⟩ = 4 1 ∥ 2 x ∥ 2 = ∥ x ∥ 2 (正定性与「诱导范数还原」一次到位:这里 ∥ 2 x ∥ 2 = 4 ∥ x ∥ 2 \lVert2\boldsymbol{x}\rVert^2=4\lVert\boldsymbol{x}\rVert^2 ∥ 2 x ∥ 2 = 4 ∥ x ∥ 2 用了范数齐次性);
⟨ y , x ⟩ = ⟨ x , y ⟩ \langle\boldsymbol{y},\boldsymbol{x}\rangle=\langle\boldsymbol{x},\boldsymbol{y}\rangle ⟨ y , x ⟩ = ⟨ x , y ⟩ (交换只对调两个平方项);⟨ 0 , y ⟩ = 0 \langle\boldsymbol{0},\boldsymbol{y}\rangle=0 ⟨ 0 , y ⟩ = 0 ;⟨ − x , y ⟩ = − ⟨ x , y ⟩ \langle-\boldsymbol{x},\boldsymbol{y}\rangle=-\langle\boldsymbol{x},\boldsymbol{y}\rangle ⟨ − x , y ⟩ = − ⟨ x , y ⟩ 。
第二步(关键恒等式): 对任意 x , z , y \boldsymbol{x},\boldsymbol{z},\boldsymbol{y} x , z , y ,
⟨ x + z , y ⟩ + ⟨ x − z , y ⟩ = 1 4 [ ∥ ( x + y ) + z ∥ 2 + ∥ ( x + y ) − z ∥ 2 − ∥ ( x − y ) + z ∥ 2 − ∥ ( x − y ) − z ∥ 2 ] . \langle\boldsymbol{x}+\boldsymbol{z},\boldsymbol{y}\rangle+\langle\boldsymbol{x}-\boldsymbol{z},\boldsymbol{y}\rangle =\frac14\Bigl[\lVert(\boldsymbol{x}+\boldsymbol{y})+\boldsymbol{z}\rVert^2+\lVert(\boldsymbol{x}+\boldsymbol{y})-\boldsymbol{z}\rVert^2-\lVert(\boldsymbol{x}-\boldsymbol{y})+\boldsymbol{z}\rVert^2-\lVert(\boldsymbol{x}-\boldsymbol{y})-\boldsymbol{z}\rVert^2\Bigr]. ⟨ x + z , y ⟩ + ⟨ x − z , y ⟩ = 4 1 [ ∥( x + y ) + z ∥ 2 + ∥( x + y ) − z ∥ 2 − ∥( x − y ) + z ∥ 2 − ∥( x − y ) − z ∥ 2 ] .
对前后两组分别用平行四边形恒等式(∥ a + z ∥ 2 + ∥ a − z ∥ 2 = 2 ∥ a ∥ 2 + 2 ∥ z ∥ 2 \lVert\boldsymbol{a}+\boldsymbol{z}\rVert^2+\lVert\boldsymbol{a}-\boldsymbol{z}\rVert^2=2\lVert\boldsymbol{a}\rVert^2+2\lVert\boldsymbol{z}\rVert^2 ∥ a + z ∥ 2 + ∥ a − z ∥ 2 = 2 ∥ a ∥ 2 + 2 ∥ z ∥ 2 ),∥ z ∥ \lVert\boldsymbol{z}\rVert ∥ z ∥ 项相消:
= 1 4 [ 2 ∥ x + y ∥ 2 − 2 ∥ x − y ∥ 2 ] = 2 ⟨ x , y ⟩ . ( ∗ ) =\frac14\Bigl[2\lVert\boldsymbol{x}+\boldsymbol{y}\rVert^2-2\lVert\boldsymbol{x}-\boldsymbol{y}\rVert^2\Bigr]=2\langle\boldsymbol{x},\boldsymbol{y}\rangle. \tag{$*$} = 4 1 [ 2 ∥ x + y ∥ 2 − 2 ∥ x − y ∥ 2 ] = 2 ⟨ x , y ⟩ . ( ∗ )
第三步(倍 2)。 在 ( ∗ ) (*) ( ∗ ) 中取 z = x \boldsymbol{z}=\boldsymbol{x} z = x :⟨ 2 x , y ⟩ + ⟨ 0 , y ⟩ = 2 ⟨ x , y ⟩ \langle2\boldsymbol{x},\boldsymbol{y}\rangle+\langle\boldsymbol{0},\boldsymbol{y}\rangle=2\langle\boldsymbol{x},\boldsymbol{y}\rangle ⟨ 2 x , y ⟩ + ⟨ 0 , y ⟩ = 2 ⟨ x , y ⟩ ,故 ⟨ 2 x , y ⟩ = 2 ⟨ x , y ⟩ \langle2\boldsymbol{x},\boldsymbol{y}\rangle=2\langle\boldsymbol{x},\boldsymbol{y}\rangle ⟨ 2 x , y ⟩ = 2 ⟨ x , y ⟩ 。
第四步(加法)。 任取 u , v \boldsymbol{u},\boldsymbol{v} u , v ,令 x = u + v 2 \boldsymbol{x}=\frac{\boldsymbol{u}+\boldsymbol{v}}2 x = 2 u + v 、z = u − v 2 \boldsymbol{z}=\frac{\boldsymbol{u}-\boldsymbol{v}}2 z = 2 u − v (于是 x + z = u \boldsymbol{x}+\boldsymbol{z}=\boldsymbol{u} x + z = u ,x − z = v \boldsymbol{x}-\boldsymbol{z}=\boldsymbol{v} x − z = v )。由 ( ∗ ) (*) ( ∗ ) 与第三步(把 u + v 2 \frac{\boldsymbol{u}+\boldsymbol{v}}2 2 u + v 看成 1 2 ⋅ ( u + v ) \frac12\cdot(\boldsymbol{u}+\boldsymbol{v}) 2 1 ⋅ ( u + v ) ,第三步反过来用):
⟨ u , y ⟩ + ⟨ v , y ⟩ = 2 ⟨ u + v 2 , y ⟩ = ⟨ u + v , y ⟩ . \langle\boldsymbol{u},\boldsymbol{y}\rangle+\langle\boldsymbol{v},\boldsymbol{y}\rangle=2\Bigl\langle\frac{\boldsymbol{u}+\boldsymbol{v}}2,\ \boldsymbol{y}\Bigr\rangle=\langle\boldsymbol{u}+\boldsymbol{v},\boldsymbol{y}\rangle . ⟨ u , y ⟩ + ⟨ v , y ⟩ = 2 ⟨ 2 u + v , y ⟩ = ⟨ u + v , y ⟩ .
第五步(齐次性)。 加法已得,⟨ k x , y ⟩ = k ⟨ x , y ⟩ \langle k\boldsymbol{x},\boldsymbol{y}\rangle=k\langle\boldsymbol{x},\boldsymbol{y}\rangle ⟨ k x , y ⟩ = k ⟨ x , y ⟩ 对正整数 k k k 归纳成立;负号由第一步;对有理数 p q \frac pq q p :q ⟨ p q x , y ⟩ = ⟨ p x , y ⟩ = p ⟨ x , y ⟩ q,\langle\frac pq\boldsymbol{x},\boldsymbol{y}\rangle=\langle p\boldsymbol{x},\boldsymbol{y}\rangle=p\langle\boldsymbol{x},\boldsymbol{y}\rangle q ⟨ q p x , y ⟩ = ⟨ p x , y ⟩ = p ⟨ x , y ⟩ ,两边除以 q q q 。对实数 t t t :取有理数 r m → t r_m\to t r m → t ,只需证 w → 0 \boldsymbol{w}\to\boldsymbol{0} w → 0 时 ⟨ w , y ⟩ → 0 \langle\boldsymbol{w},\boldsymbol{y}\rangle\to0 ⟨ w , y ⟩ → 0 。由定义与三角不等式,
∣ ⟨ w , y ⟩ ∣ ≤ 1 4 ( ∥ w + y ∥ + ∥ w − y ∥ ) ⋅ ∣ ∥ w + y ∥ − ∥ w − y ∥ ∣ ≤ 1 4 ⋅ 2 ( ∥ w ∥ + ∥ y ∥ ) ⋅ 2 ∥ w ∥ = ∥ y ∥ ∥ w ∥ ( ∥ w ∥ + ∥ y ∥ ) → 0 , \lvert\langle\boldsymbol{w},\boldsymbol{y}\rangle\rvert\le\frac14\bigl(\lVert\boldsymbol{w}+\boldsymbol{y}\rVert+\lVert\boldsymbol{w}-\boldsymbol{y}\rVert\bigr)\cdot\bigl\lvert\lVert\boldsymbol{w}+\boldsymbol{y}\rVert-\lVert\boldsymbol{w}-\boldsymbol{y}\rVert\bigr\lvert\le\frac14\cdot2(\lVert\boldsymbol{w}\rVert+\lVert\boldsymbol{y}\rVert)\cdot2\lVert\boldsymbol{w}\rVert=\lVert\boldsymbol{y}\rVert,\lVert\boldsymbol{w}\rVert(\lVert\boldsymbol{w}\rVert+\lVert\boldsymbol{y}\rVert)\to0 , ∣⟨ w , y ⟩∣ ≤ 4 1 ( ∥ w + y ∥ + ∥ w − y ∥ ) ⋅ ∥ w + y ∥ − ∥ w − y ∥ ≤ 4 1 ⋅ 2 (∥ w ∥ + ∥ y ∥) ⋅ 2 ∥ w ∥ = ∥ y ∥ ∥ w ∥ (∥ w ∥ + ∥ y ∥) → 0 ,
而 ∥ ( t − r m ) x ∥ = ∣ t − r m ∣ ∥ x ∥ → 0 \lVert(t-r_m)\boldsymbol{x}\rVert=|t-r_m|,\lVert\boldsymbol{x}\rVert\to0 ∥( t − r m ) x ∥ = ∣ t − r m ∣ ∥ x ∥ → 0 。故 ⟨ t x , y ⟩ = lim m r m ⟨ x , y ⟩ = t ⟨ x , y ⟩ \langle t\boldsymbol{x},\boldsymbol{y}\rangle=\lim_m r_m\langle\boldsymbol{x},\boldsymbol{y}\rangle=t\langle\boldsymbol{x},\boldsymbol{y}\rangle ⟨ t x , y ⟩ = lim m r m ⟨ x , y ⟩ = t ⟨ x , y ⟩ 。∎
评注: 第二步的 ( ∗ ) (*) ( ∗ ) 是全证明的心脏——平行四边形恒等式在这里恰好提供了「把 ± z \pm\boldsymbol{z} ± z 的四个平方项两两配对」的结构;1 1 1 -范数与 ∞ \infty ∞ -范数(例 2.1.2 )正是在这一步失效。
命题 A.2 · 残差与误差的向下界
设 A A A 非奇异,x ^ \hat{\boldsymbol{x}} x ^ 为近似解,r = b − A x ^ \boldsymbol{r}=\boldsymbol{b}-A\hat{\boldsymbol{x}} r = b − A x ^ ,e = x ^ − x \boldsymbol{e}=\hat{\boldsymbol{x}}-\boldsymbol{x} e = x ^ − x 。若 ∥ e ∥ < ∥ x ^ ∥ \lVert\boldsymbol{e}\rVert\lt\lVert\hat{\boldsymbol{x}}\rVert ∥ e ∥ < ∥ x ^ ∥ ,记 α = ∥ e ∥ / ∥ x ^ ∥ \alpha=\lVert\boldsymbol{e}\rVert/\lVert\hat{\boldsymbol{x}}\rVert α = ∥ e ∥ / ∥ x ^ ∥ ,则
∥ r ∥ ∥ b ∥ ≤ c o n d ( A ) ⋅ α 1 − α . \frac{\lVert\boldsymbol{r}\rVert}{\lVert\boldsymbol{b}\rVert}\ \le\ \mathrm{cond}(A)\cdot\frac{\alpha}{1-\alpha} . ∥ b ∥ ∥ r ∥ ≤ cond ( A ) ⋅ 1 − α α .
证明
由 r = − A e \boldsymbol{r}=-A\boldsymbol{e} r = − A e (两边取范数)得 ∥ r ∥ ≤ ∥ A ∥ ∥ e ∥ \lVert\boldsymbol{r}\rVert\le\lVert A\rVert\,\lVert\boldsymbol{e}\rVert ∥ r ∥ ≤ ∥ A ∥ ∥ e ∥ 。另一方面,反三角不等式给出 ∥ x ∥ ≥ ∥ x ^ ∥ − ∥ e ∥ = ∥ x ^ ∥ ( 1 − α ) \lVert\boldsymbol{x}\rVert\ge\lVert\hat{\boldsymbol{x}}\rVert-\lVert\boldsymbol{e}\rVert=\lVert\hat{\boldsymbol{x}}\rVert(1-\alpha) ∥ x ∥ ≥ ∥ x ^ ∥ − ∥ e ∥ = ∥ x ^ ∥ ( 1 − α ) ,而 b = A x \boldsymbol{b}=A\boldsymbol{x} b = A x 给出下界(这是标准的「右端 = 解经 A A A 的像」估计:∥ b ∥ ≥ ∥ x ∥ / ∥ A − 1 ∥ \lVert\boldsymbol{b}\rVert\ge\lVert\boldsymbol{x}\rVert/\lVert A^{-1}\rVert ∥ b ∥ ≥ ∥ x ∥ / ∥ A − 1 ∥ ,由 ∥ x ∥ = ∥ A − 1 b ∥ ≤ ∥ A − 1 ∥ ∥ b ∥ \lVert\boldsymbol{x}\rVert=\lVert A^{-1}\boldsymbol{b}\rVert\le\lVert A^{-1}\rVert\lVert\boldsymbol{b}\rVert ∥ x ∥ = ∥ A − 1 b ∥ ≤ ∥ A − 1 ∥ ∥ b ∥ 移项即得)。两式相除:
∥ r ∥ ∥ b ∥ ≤ ∥ A ∥ ∥ e ∥ ∥ x ∥ / ∥ A − 1 ∥ ≤ ∥ A ∥ ∥ A − 1 ∥ ⋅ α ∥ x ^ ∥ ( 1 − α ) ∥ x ^ ∥ = c o n d ( A ) ⋅ α 1 − α . \frac{\lVert\boldsymbol{r}\rVert}{\lVert\boldsymbol{b}\rVert}\le\frac{\lVert A\rVert\,\lVert\boldsymbol{e}\rVert}{\lVert\boldsymbol{x}\rVert/\lVert A^{-1}\rVert}\le\lVert A\rVert\lVert A^{-1}\rVert\cdot\frac{\alpha\lVert\hat{\boldsymbol{x}}\rVert}{(1-\alpha)\lVert\hat{\boldsymbol{x}}\rVert}=\mathrm{cond}(A)\cdot\frac{\alpha}{1-\alpha}. ∥ b ∥ ∥ r ∥ ≤ ∥ x ∥ / ∥ A − 1 ∥ ∥ A ∥ ∥ e ∥ ≤ ∥ A ∥ ∥ A − 1 ∥ ⋅ ( 1 − α ) ∥ x ^ ∥ α ∥ x ^ ∥ = cond ( A ) ⋅ 1 − α α .
∎
两个附注。
可计算性。 α \alpha α 用的是 x ^ \hat{\boldsymbol{x}} x ^ (在手上)而非 x \boldsymbol{x} x (不可知);充分条件 α < 1 \alpha\lt1 α < 1 由 ∥ e ∥ < ∥ x ∥ / 2 \lVert\boldsymbol{e}\rVert\lt\lVert\boldsymbol{x}\rVert/2 ∥ e ∥ < ∥ x ∥ /2 保证(此时 ∥ x ^ ∥ ≥ ∥ x ∥ − ∥ e ∥ > ∥ e ∥ \lVert\hat{\boldsymbol{x}}\rVert\ge\lVert\boldsymbol{x}\rVert-\lVert\boldsymbol{e}\rVert\gt\lVert\boldsymbol{e}\rVert ∥ x ^ ∥ ≥ ∥ x ∥ − ∥ e ∥ > ∥ e ∥ )——这正是正文定理 2.4.4 括注的来历。
与上界合起来读。 上界(2.23)说「残差被 c o n d \mathrm{cond} cond 放大成误差」,本命题说「误差也顶多被 c o n d \mathrm{cond} cond 压成残差」:二者互相控制在 c o n d \mathrm{cond} cond 因子内。残差小 + 条件数小 ⟺ 误差小 ——两件事都不可省。
A.2.4 与 A.2.5 的两条主定理共用下面三件工具。本节把它们一次备齐。
引理 A.3.1 · 标量重排不等式
设 a 1 ≥ ⋯ ≥ a n a_1\ge\cdots\ge a_n a 1 ≥ ⋯ ≥ a n ,b 1 ≥ ⋯ ≥ b n b_1\ge\cdots\ge b_n b 1 ≥ ⋯ ≥ b n ,π \pi π 为任一置换,则 ∑ i a i b π ( i ) ≤ ∑ i a i b i \sum_i a_ib_{\pi(i)}\le\sum_i a_ib_i ∑ i a i b π ( i ) ≤ ∑ i a i b i 。
证明(对换法)
若 π \pi π 不是恒等置换,存在 i < j i\lt j i < j 使 π ( i ) > π ( j ) \pi(i)\gt\pi(j) π ( i ) > π ( j ) 。交换 π ( i ) \pi(i) π ( i ) 与 π ( j ) \pi(j) π ( j ) 两项,和的改变量为
( a i b π ( j ) + a j b π ( i ) ) − ( a i b π ( i ) + a j b π ( j ) ) = ( a i − a j ) ( b π ( j ) − b π ( i ) ) ≥ 0 , (a_ib_{\pi(j)}+a_jb_{\pi(i)})-(a_ib_{\pi(i)}+a_jb_{\pi(j)})=(a_i-a_j)\,\bigl(b_{\pi(j)}-b_{\pi(i)}\bigr)\ge0 , ( a i b π ( j ) + a j b π ( i ) ) − ( a i b π ( i ) + a j b π ( j ) ) = ( a i − a j ) ( b π ( j ) − b π ( i ) ) ≥ 0 ,
即「逆序对换成顺序,和不减」。逆序对个数有限,逐个消除后 π \pi π 化为恒等置换,和单调不减到 ∑ a i b i \sum a_ib_i ∑ a i b i 。
∎
引理 A.3.2 · Birkhoff 定理
n × n n\times n n × n 双随机矩阵 (每行、每列元素之和都为 1 1 1 的非负矩阵)都是置换矩阵的凸组合:P = ∑ π w π Π π P=\sum_{\pi}w_\pi\Pi_\pi P = ∑ π w π Π π ,w π ≥ 0 w_\pi\ge0 w π ≥ 0 ,∑ w π = 1 \sum w_\pi=1 ∑ w π = 1 。
证明(循环剥离归纳)
对非零元个数归纳。若
的每行恰有一个非零元,则该元必为 1 1 1 (行和为 1 1 1 ),各列同理,
已是置换矩阵。否则存在某行 i 1 i_1 i 1 含至少两个正元;因行和为 1 1 1 ,其中每个正元 p i 1 j 1 < 1 p_{i_1j_1}\lt1 p i 1 j 1 < 1 。列 j 1 j_1 j 1 的和也为 1 1 1 ,而 p i 1 j 1 < 1 p_{i_1j_1}\lt1 p i 1 j 1 < 1 ,故列 j 1 j_1 j 1 必含另一个正元 p i 2 j 1 p_{i_2j_1} p i 2 j 1 (i 2 ≠ i 1 i_2\neq i_1 i 2 = i 1 )。行 i 2 i_2 i 2 若只有 j 1 j_1 j 1 这一个正元,则 p i 2 j 1 = 1 p_{i_2j_1}=1 p i 2 j 1 = 1 ,列 j 1 j_1 j 1 的和将超过 1 1 1 ——矛盾,故行 i 2 i_2 i 2 含另一个正列 j 2 ≠ j 1 j_2\neq j_1 j 2 = j 1 。如此「行→列→行」交替行走,行只有有限多个,必有某行第二次被踏访,截出回路:得到互异的 i 1 , … , i p i_1,\dots,i_p i 1 , … , i p 与互异的 j 1 , … , j p j_1,\dots,j_p j 1 , … , j p ,使
p i k j k > 0 且 p i k + 1 j k > 0 ( k = 1 , … , p , i p + 1 : = i 1 ) . p_{i_kj_k}\gt0\quad\text{且}\quad p_{i_{k+1}j_k}\gt0\qquad(k=1,\dots,p,\ i_{p+1}:=i_1). p i k j k > 0 且 p i k + 1 j k > 0 ( k = 1 , … , p , i p + 1 := i 1 ) .
令 θ = min { p i k + 1 j k } ∈ ( 0 , 1 ] \theta=\min\{p_{i_{k+1}j_k}\}\in(0,1] θ = min { p i k + 1 j k } ∈ ( 0 , 1 ] (若 θ = 1 \theta=1 θ = 1 ,环上这些位置全为 1 1 1 ,
在这些行列上已是置换块,剩余行列仍双随机,化为更小规模)。设 Π \Pi Π 为环上「移位」置换:Π i k + 1 j k = 1 \Pi_{i_{k+1}j_k}=1 Π i k + 1 j k = 1 。则
P = θ Π + ( 1 − θ ) Q , Q = P − θ Π 1 − θ P=\theta\,\Pi+(1-\theta)\,Q,\qquad Q=\frac{P-\theta\Pi}{1-\theta} P = θ Π + ( 1 − θ ) Q , Q = 1 − θ P − θ Π
Q ≥ 0 Q\ge0 Q ≥ 0 :Π \Pi Π 的非零元全落在环上 p i k + 1 j k ≥ θ p_{i_{k+1}j_k}\ge\theta p i k + 1 j k ≥ θ 的位置,减法不出现负元;
Q Q Q 双随机:环上的行(列)减掉 θ \theta θ 后和为 1 − θ 1-\theta 1 − θ ,除以 1 − θ 1-\theta 1 − θ 恰为 1 1 1 ;环外的行(列)不动;
至少一个环上元素被减到零,故 Q Q Q 的非零元严格减少。
归纳终止于置换矩阵,回代即得凸组合表示。
∎
引理 A.3.3 · 对称迹不等式
设 S , T ∈ R n × n S,T\in\mathbb{R}^{n\times n} S , T ∈ R n × n 对称,特征值降序排列 λ 1 ≥ ⋯ ≥ λ n \lambda_1\ge\cdots\ge\lambda_n λ 1 ≥ ⋯ ≥ λ n 、μ 1 ≥ ⋯ ≥ μ n \mu_1\ge\cdots\ge\mu_n μ 1 ≥ ⋯ ≥ μ n ,则
tr ( S T ) ≤ ∑ i = 1 n λ i μ i . \operatorname{tr}(ST)\ \le\ \sum_{i=1}^n\lambda_i\mu_i . tr ( ST ) ≤ i = 1 ∑ n λ i μ i .
证明
取标准正交特征基 S = ∑ i λ i u i u i T S=\sum_i\lambda_i\boldsymbol{u}_i\boldsymbol{u}_i^{\mathrm T} S = ∑ i λ i u i u i T 、T = ∑ j μ j v j v j T T=\sum_j\mu_j\boldsymbol{v}_j\boldsymbol{v}_j^{\mathrm T} T = ∑ j μ j v j v j T ,则
tr ( S T ) = ∑ i , j λ i μ j ( u i T v j ) 2 . \operatorname{tr}(ST)=\sum_{i,j}\lambda_i\mu_j\,(\boldsymbol{u}_i^{\mathrm T}\boldsymbol{v}_j)^2 . tr ( ST ) = i , j ∑ λ i μ j ( u i T v j ) 2 .
矩阵 C = ( c i j ) C=(c_{ij}) C = ( c ij ) ,c i j = ( u i T v j ) 2 c_{ij}=(\boldsymbol{u}_i^{\mathrm T}\boldsymbol{v}_j)^2 c ij = ( u i T v j ) 2 ,行和 ∑ j c i j = ∥ u i ∥ 2 = 1 \sum_jc_{ij}=\lVert\boldsymbol{u}_i\rVert^2=1 ∑ j c ij = ∥ u i ∥ 2 = 1 ({ v j } \{\boldsymbol{v}_j\} { v j } 是标准正交基,Parseval 恒等式 定理 2.1.4 ),列和同理为 1 1 1 ——C C C 双随机。由引理 A.3.2,C = ∑ π w π Π π C=\sum_\pi w_\pi\Pi_\pi C = ∑ π w π Π π ,于是
tr ( S T ) = ∑ π w π ∑ i λ i μ π ( i ) ≤ A.3.1 ∑ π w π ∑ i λ i μ i = ∑ i λ i μ i . \operatorname{tr}(ST)=\sum_\pi w_\pi\sum_i\lambda_i\mu_{\pi(i)}\ \overset{\text{A.3.1}}{\le}\ \sum_\pi w_\pi\sum_i\lambda_i\mu_i=\sum_i\lambda_i\mu_i. tr ( ST ) = π ∑ w π i ∑ λ i μ π ( i ) ≤ A.3.1 π ∑ w π i ∑ λ i μ i = i ∑ λ i μ i .
(取等条件:S , T S,T S , T 有共同特征基且降序对齐——正是「同向对角」的情形。)
∎
推论 A.3.4 · Hoffman–Wielandt 不等式(对称阵)
在引理 A.3.3 的记号下,
∥ S − T ∥ F 2 ≥ min π ∑ i = 1 n ( λ i − μ π ( i ) ) 2 , \lVert S-T\rVert_F^2\ \ge\ \min_{\pi}\ \sum_{i=1}^n\bigl(\lambda_i-\mu_{\pi(i)}\bigr)^2 , ∥ S − T ∥ F 2 ≥ π min i = 1 ∑ n ( λ i − μ π ( i ) ) 2 ,
且右端最优配对就是「降序对降序」。
证明
∥ S − T ∥ F 2 = tr ( S − T ) 2 = ∑ i λ i 2 + ∑ i μ i 2 − 2 tr ( S T ) \lVert S-T\rVert_F^2=\operatorname{tr}(S-T)^2=\sum_i\lambda_i^2+\sum_i\mu_i^2-2\operatorname{tr}(ST) ∥ S − T ∥ F 2 = tr ( S − T ) 2 = ∑ i λ i 2 + ∑ i μ i 2 − 2 tr ( ST ) 。用引理 A.3.3 压掉交叉项,再用引理 A.3.1(max π ∑ λ i μ π ( i ) = ∑ λ i μ i \max_\pi\sum\lambda_i\mu_{\pi(i)}=\sum\lambda_i\mu_i max π ∑ λ i μ π ( i ) = ∑ λ i μ i ,即逆序使 ∑ λ i μ π ( i ) \sum\lambda_i\mu_{\pi(i)} ∑ λ i μ π ( i ) 最大):
∥ S − T ∥ F 2 ≥ ∑ i λ i 2 + ∑ i μ i 2 − 2 ∑ i λ i μ i = ∑ i ( λ i − μ i ) 2 , \lVert S-T\rVert_F^2\ \ge\ \sum_i\lambda_i^2+\sum_i\mu_i^2-2\sum_i\lambda_i\mu_i=\sum_i(\lambda_i-\mu_i)^2, ∥ S − T ∥ F 2 ≥ i ∑ λ i 2 + i ∑ μ i 2 − 2 i ∑ λ i μ i = i ∑ ( λ i − μ i ) 2 ,
而 ( λ i − μ π ( i ) ) 2 (\lambda_i-\mu_{\pi(i)})^2 ( λ i − μ π ( i ) ) 2 展开后交叉项 − 2 λ i μ π ( i ) -2\lambda_i\mu_{\pi(i)} − 2 λ i μ π ( i ) 由重排不等式知降序配对最小。
∎
定理 A.4 · von Neumann 迹不等式
对任意 A , B ∈ R m × n A,B\in\mathbb{R}^{m\times n} A , B ∈ R m × n ,∣ tr ( A T B ) ∣ ≤ ∑ i = 1 min ( m , n ) σ i ( A ) σ i ( B ) \lvert\operatorname{tr}(A^{\mathrm T}B)\rvert\le\sum_{i=1}^{\min(m,n)}\sigma_i(A)\sigma_i(B) ∣ tr ( A T B )∣ ≤ ∑ i = 1 m i n ( m , n ) σ i ( A ) σ i ( B ) (奇异值均降序)。
证明
一步「对称化膨胀」(symmetric dilation)把矩形问题化为 A.2.3 的对称情形。设 m ≥ n m\ge n m ≥ n (否则转置),令
S = ( O A A T O ) , T = ( O B B T O ) ∈ R ( m + n ) × ( m + n ) . S=\begin{pmatrix}O&A\\A^{\mathrm T}&O\end{pmatrix},\qquad T=\begin{pmatrix}O&B\\B^{\mathrm T}&O\end{pmatrix}\in\mathbb{R}^{(m+n)\times(m+n)} . S = ( O A T A O ) , T = ( O B T B O ) ∈ R ( m + n ) × ( m + n ) .
(一)S S S 对称,且特征值恰为 ± σ i ( A ) \pm\sigma_i(A) ± σ i ( A ) 。 取 A v i = σ i u i A\boldsymbol{v}_i=\sigma_i\boldsymbol{u}_i A v i = σ i u i (SVD 的配对关系,定理 2.6.1 ),则
S ( v i u i ) = ( A u i A T v i ) = σ i ( v i u i ) , S ( v i − u i ) = − σ i ( v i − u i ) S\begin{pmatrix}\boldsymbol{v}_i\\ \boldsymbol{u}_i\end{pmatrix}=\begin{pmatrix}A\boldsymbol{u}_i\\ A^{\mathrm T}\boldsymbol{v}_i\end{pmatrix}=\sigma_i\begin{pmatrix}\boldsymbol{v}_i\\ \boldsymbol{u}_i\end{pmatrix},\qquad S\begin{pmatrix}\boldsymbol{v}_i\\ -\boldsymbol{u}_i\end{pmatrix}=-\sigma_i\begin{pmatrix}\boldsymbol{v}_i\\ -\boldsymbol{u}_i\end{pmatrix} S ( v i u i ) = ( A u i A T v i ) = σ i ( v i u i ) , S ( v i − u i ) = − σ i ( v i − u i )
(其中用到配对的第二式 A T u i = σ i v i A^{\mathrm T}\boldsymbol{u}_i=\sigma_i\boldsymbol{v}_i A T u i = σ i v i )。这 2 n 2n 2 n 个向量标准正交,再补上零空间方向(特征值 0 0 0 ),共 m + n m+n m + n 个——特征值恰为 σ 1 , … , σ n , − σ n , … , − σ 1 \sigma_1,\dots,\sigma_n,-\sigma_n,\dots,-\sigma_1 σ 1 , … , σ n , − σ n , … , − σ 1 再补 m − n m-n m − n 个 0 0 0 ,降序排列为 σ 1 ≥ ⋯ ≥ σ n ≥ 0 ≥ − σ n ≥ ⋯ ≥ − σ 1 \sigma_1\ge\cdots\ge\sigma_n\ge0\ge-\sigma_n\ge\cdots\ge-\sigma_1 σ 1 ≥ ⋯ ≥ σ n ≥ 0 ≥ − σ n ≥ ⋯ ≥ − σ 1 (插入的 0 0 0 与 σ n = 0 \sigma_n=0 σ n = 0 或 − σ n = 0 -\sigma_n=0 − σ n = 0 合并即可,不影响下文求和)。
(二)套用对称迹不等式。 tr ( S T ) = 2 tr ( A T B ) \operatorname{tr}(ST)=2\operatorname{tr}(A^{\mathrm T}B) tr ( ST ) = 2 tr ( A T B ) (分块直接展开),S , T S,T S , T 的特征值降序逐项相乘:
tr ( S T ) ≤ A.3.3 ∑ i ≤ n σ i ( A ) σ i ( B ) + ∑ i ≤ n ( − σ n − i + 1 ( A ) ) ( − σ n − i + 1 ( B ) ) = 2 ∑ i = 1 n σ i ( A ) σ i ( B ) , \operatorname{tr}(ST)\ \overset{\text{A.3.3}}{\le}\ \sum_{i\le n}\sigma_i(A)\sigma_i(B)+\sum_{i\le n}\bigl(-\sigma_{n-i+1}(A)\bigr)\bigl(-\sigma_{n-i+1}(B)\bigr)=2\sum_{i=1}^{n}\sigma_i(A)\sigma_i(B), tr ( ST ) ≤ A.3.3 i ≤ n ∑ σ i ( A ) σ i ( B ) + i ≤ n ∑ ( − σ n − i + 1 ( A ) ) ( − σ n − i + 1 ( B ) ) = 2 i = 1 ∑ n σ i ( A ) σ i ( B ) ,
两边除以 2 2 2 即得 tr ( A T B ) ≤ ∑ σ i ( A ) σ i ( B ) \operatorname{tr}(A^{\mathrm T}B)\le\sum\sigma_i(A)\sigma_i(B) tr ( A T B ) ≤ ∑ σ i ( A ) σ i ( B ) 。对 − B -B − B 再用一次得绝对值版本。
∎
取等条件 (正文实验的观察):A , B A,B A , B 的左右奇异子空间两两重合(W = U A T U B W=U_A^{\mathrm T}U_B W = U A T U B 与 Z = V B T V A Z=V_B^{\mathrm T}V_A Z = V B T V A 同时为恒等)。特例 B = A T B=A^{\mathrm T} B = A T :tr ( A T A ) = ∥ A ∥ F 2 = ∑ σ i 2 \operatorname{tr}(A^{\mathrm T}A)=\lVert A\rVert_F^2=\sum\sigma_i^2 tr ( A T A ) = ∥ A ∥ F 2 = ∑ σ i 2 取等。
定理 A.5 · Eckart–Young–Mirsky(Frobenius 情形)
min rank B ≤ k ∥ A − B ∥ F = σ k + 1 2 + ⋯ + σ r 2 \min_{\operatorname{rank}B\le k}\lVert A-B\rVert_F=\sqrt{\sigma_{k+1}^2+\cdots+\sigma_r^2} min rank B ≤ k ∥ A − B ∥ F = σ k + 1 2 + ⋯ + σ r 2 ,由截断 SVD(2.33)取到。
证明
上界方向(B = A k B=A_k B = A k 达到)正文已算:A − A k A-A_k A − A k 的奇异值恰为 σ k + 1 , … , σ r \sigma_{k+1},\dots,\sigma_r σ k + 1 , … , σ r ,Frobenius 范数平方 = ∑ i > k σ i 2 =\sum_{i\gt k}\sigma_i^2 = ∑ i > k σ i 2 。只证下界 :任何 rank B ≤ k \operatorname{rank}B\le k rank B ≤ k 都不更优。
取 A.2.4 的膨胀 S , T S,T S , T (A ↦ S A\mapsto S A ↦ S ,B ↦ T B\mapsto T B ↦ T )。T T T 的特征值:τ 1 ≥ ⋯ ≥ τ k > 0 = τ k + 1 = ⋯ \tau_1\ge\cdots\ge\tau_k\gt0=\tau_{k+1}=\cdots τ 1 ≥ ⋯ ≥ τ k > 0 = τ k + 1 = ⋯ (B B B 至多 k k k 个非零奇异值),降序排列为 τ 1 , … , τ n \tau_1,\dots,\tau_n τ 1 , … , τ n (τ i = 0 , i > k \tau_i=0,\ i\gt k τ i = 0 , i > k )接 − τ n , … , − τ 1 -\tau_n,\dots,-\tau_1 − τ n , … , − τ 1 。由推论 A.3.4 与「降序配降序」:
2 ∥ A − B ∥ F 2 = ∥ S − T ∥ F 2 ≥ min π ∑ i ( λ i ( S ) − λ π ( i ) ( T ) ) 2 = ∑ i ( λ i ( S ) − λ i ( T ) ) 2 . 2\lVert A-B\rVert_F^2=\lVert S-T\rVert_F^2\ \ge\ \min_{\pi}\sum_i\bigl(\lambda_i(S)-\lambda_{\pi(i)}(T)\bigr)^2=\sum_i\bigl(\lambda_i(S)-\lambda_i(T)\bigr)^2 . 2 ∥ A − B ∥ F 2 = ∥ S − T ∥ F 2 ≥ π min i ∑ ( λ i ( S ) − λ π ( i ) ( T ) ) 2 = i ∑ ( λ i ( S ) − λ i ( T ) ) 2 .
(右端等号处用了与 A.3.4 相同的重排论证:∑ ( λ i ( S ) − μ π ( i ) ( T ) ) 2 \sum(\lambda_i(S)-\mu_{\pi(i)}(T))^2 ∑ ( λ i ( S ) − μ π ( i ) ( T ) ) 2 在同序配对时最小。)把两个降序谱逐项相减:
∑ i ( λ i ( S ) − λ i ( T ) ) 2 = ∑ j ≤ n ( σ j − τ j ) 2 + ∑ j ≤ n ( σ n − j + 1 − τ n − j + 1 ) 2 = 2 ∑ j = 1 n ( σ j − τ j ) 2 ≥ 2 ∑ j > k σ j 2 , \sum_i\bigl(\lambda_i(S)-\lambda_i(T)\bigr)^2=\sum_{j\le n}\bigl(\sigma_j-\tau_j\bigr)^2+\sum_{j\le n}\bigl(\sigma_{n-j+1}-\tau_{n-j+1}\bigr)^2=2\sum_{j=1}^{n}\bigl(\sigma_j-\tau_j\bigr)^2\ \ge\ 2\sum_{j\gt k}\sigma_j^2, i ∑ ( λ i ( S ) − λ i ( T ) ) 2 = j ≤ n ∑ ( σ j − τ j ) 2 + j ≤ n ∑ ( σ n − j + 1 − τ n − j + 1 ) 2 = 2 j = 1 ∑ n ( σ j − τ j ) 2 ≥ 2 j > k ∑ σ j 2 ,
最后一步因 j > k j\gt k j > k 时 τ j = 0 \tau_j=0 τ j = 0 ,( σ j − τ j ) 2 = σ j 2 (\sigma_j-\tau_j)^2=\sigma_j^2 ( σ j − τ j ) 2 = σ j 2 。合并:
∥ A − B ∥ F 2 ≥ ∑ j > k σ j 2 . \lVert A-B\rVert_F^2\ \ge\ \sum_{j\gt k}\sigma_j^2 . ∥ A − B ∥ F 2 ≥ j > k ∑ σ j 2 .
∎
评注。 同一套「Birkhoff + 重排 + 膨胀」顺带产出了 von Neumann 迹不等式(A.2.4)与 Hoffman–Wielandt(A.3.4)——三个「最优配对」型定理是一家人。2-范数情形(正文)用的是 Courant–Fischer 维数计数,走的是另一条路,但结论同样精确。
命题 A.6 · Weyl 扰动界
A , E A,E A , E 对称,特征值升序 λ 1 ≤ ⋯ ≤ λ n \lambda_1\le\cdots\le\lambda_n λ 1 ≤ ⋯ ≤ λ n ,μ 1 ≤ ⋯ ≤ μ n \mu_1\le\cdots\le\mu_n μ 1 ≤ ⋯ ≤ μ n (μ \mu μ 为 A + E A+E A + E 的),则 ∣ λ i − μ i ∣ ≤ ∥ E ∥ 2 \lvert\lambda_i-\mu_i\rvert\le\lVert E\rVert_2 ∣ λ i − μ i ∣ ≤ ∥ E ∥ 2 。
证明
只证 μ i ≤ λ i + ∥ E ∥ 2 \mu_i\le\lambda_i+\lVert E\rVert_2 μ i ≤ λ i + ∥ E ∥ 2 (另一半对 − E -E − E 同理)。由 Courant–Fischer(定理 2.5.5 的 max-min 形式,对升序特征值写开):
μ i = min dim S = n − i + 1 max 0 ≠ x ∈ S x T ( A + E ) x x T x . \mu_i=\min_{\dim\mathcal{S}=n-i+1}\ \max_{\boldsymbol{0}\neq\boldsymbol{x}\in\mathcal{S}}\frac{\boldsymbol{x}^{\mathrm T}(A+E)\boldsymbol{x}}{\boldsymbol{x}^{\mathrm T}\boldsymbol{x}} . μ i = d i m S = n − i + 1 min 0 = x ∈ S max x T x x T ( A + E ) x .
关键是把 min \min min 换成取等子空间 S 0 \mathcal{S}_0 S 0 的代入: 取 S 0 = span { u i , u i + 1 , … , u n } \mathcal{S}_0=\operatorname{span}\{\boldsymbol{u}_i,\boldsymbol{u}_{i+1},\dots,\boldsymbol{u}_n\} S 0 = span { u i , u i + 1 , … , u n } (A A A 的第 i i i 到第 n n n 个特征向量,dim = n − i + 1 \dim=n-i+1 dim = n − i + 1 ),则
μ i ≤ max x ∈ S 0 R A + E ( x ) = max x ∈ S 0 ( R A ( x ) + x T E x x T x ) ≤ max x ∈ S 0 R A ( x ) + ∥ E ∥ 2 = λ i + ∥ E ∥ 2 , \mu_i\ \le\ \max_{\boldsymbol{x}\in\mathcal{S}_0}R_{A+E}(\boldsymbol{x})\ =\ \max_{\boldsymbol{x}\in\mathcal{S}_0}\Bigl(R_A(\boldsymbol{x})+\frac{\boldsymbol{x}^{\mathrm T}E\boldsymbol{x}}{\boldsymbol{x}^{\mathrm T}\boldsymbol{x}}\Bigr)\ \le\ \max_{\boldsymbol{x}\in\mathcal{S}_0}R_A(\boldsymbol{x})+\lVert E\rVert_2=\lambda_i+\lVert E\rVert_2 , μ i ≤ x ∈ S 0 max R A + E ( x ) = x ∈ S 0 max ( R A ( x ) + x T x x T E x ) ≤ x ∈ S 0 max R A ( x ) + ∥ E ∥ 2 = λ i + ∥ E ∥ 2 ,
最后一步:S 0 \mathcal{S}_0 S 0 上 R A R_A R A 的最大值是 λ i \lambda_i λ i (权只落在 λ i , … , λ n \lambda_i,\dots,\lambda_n λ i , … , λ n 上,且 x = u i \boldsymbol{x}=\boldsymbol{u}_i x = u i 达到);扰动项的上界 sup x ≠ 0 ∣ x T E x ∣ / x T x = max ( λ max ( E ) , − λ min ( E ) ) ≤ ∥ E ∥ 2 \sup_{\boldsymbol{x}\neq0}\lvert\boldsymbol{x}^{\mathrm T}E\boldsymbol{x}\rvert/\boldsymbol{x}^{\mathrm T}\boldsymbol{x}=\max(\lambda_{\max}(E),-\lambda_{\min}(E))\le\lVert E\rVert_2 sup x = 0 ∣ x T E x ∣ / x T x = max ( λ m a x ( E ) , − λ m i n ( E )) ≤ ∥ E ∥ 2 。反向:λ i = λ i ( ( A + E ) + ( − E ) ) ≤ μ i + ∥ E ∥ 2 \lambda_i=\lambda_i((A+E)+(-E))\le\mu_i+\lVert E\rVert_2 λ i = λ i (( A + E ) + ( − E )) ≤ μ i + ∥ E ∥ 2 。
∎
两个附注。 ① 一般形式的 Weyl 不等式 λ i + j − 1 ( A + B ) ≤ λ i ( A ) + λ j ( B ) \lambda_{i+j-1}(A+B)\le\lambda_i(A)+\lambda_j(B) λ i + j − 1 ( A + B ) ≤ λ i ( A ) + λ j ( B ) (i + j − 1 ≤ n i+j-1\le n i + j − 1 ≤ n )用同一论证(S 0 \mathcal{S}_0 S 0 取 A A A 的前 i − 1 i-1 i − 1 大与 B B B 的前 j − 1 j-1 j − 1 大的补空间交集,维数计数同 定理 2.6.4 的证明)。② 证明里「把 min 换成特定子空间」这一步在正文被一笔带过,正是它使放缩合法:min \min min 的下标换成任何一个允许的 S \mathcal{S} S ,都不改变「≤ \le ≤ 」方向。
定理 A.7 · Gelfand 公式
对任意相容矩阵范数,lim k → ∞ ∥ A k ∥ 1 / k = ρ ( A ) \displaystyle\lim_{k\to\infty}\lVert A^k\rVert^{1/k}=\rho(A) k → ∞ lim ∥ A k ∥ 1/ k = ρ ( A ) 。
证明
「≥ \ge ≥ 」:ρ ( A ) k = ρ ( A k ) ≤ ∥ A k ∥ \rho(A)^k=\rho(A^k)\le\lVert A^k\rVert ρ ( A ) k = ρ ( A k ) ≤ ∥ A k ∥ (2.5.1 后的注),故 ρ ( A ) ≤ lim inf k ∥ A k ∥ 1 / k \rho(A)\le\liminf_k\lVert A^k\rVert^{1/k} ρ ( A ) ≤ lim inf k ∥ A k ∥ 1/ k 。
「≤ \le ≤ 」:取 A A A 的 Jordan 标准形 A = P J P − 1 A=PJP^{-1} A = P J P − 1 。任给 s > ρ ( A ) s\gt\rho(A) s > ρ ( A ) ,取 D = diag ( 1 , s − 1 , s − 2 , … , s − ( n − 1 ) ) D=\operatorname{diag}(1,\ s^{-1},\ s^{-2},\dots,s^{-(n-1)}) D = diag ( 1 , s − 1 , s − 2 , … , s − ( n − 1 ) ) ,则 J s = D − 1 J D J_s=D^{-1}JD J s = D − 1 J D 与 J J J 相似,且非对角元被压缩 :( J s ) i j = s i − j J i j (J_s)_{ij}=s^{\,i-j}J_{ij} ( J s ) ij = s i − j J ij ,约当块的每个上移位元乘上 s − 1 s^{-1} s − 1 。再取 s ~ \tilde s s ~ 使 ρ ( A ) < s ~ < s \rho(A)\lt\tilde s\lt s ρ ( A ) < s ~ < s ,估计 J s k J_s^k J s k 的元素:二项展开 ( Λ + s − 1 N ) k (\Lambda+s^{-1}N)^k ( Λ + s − 1 N ) k 的每一项是 k k k 个因子的乘积,每个因子或为对角元 λ i \lambda_i λ i (模 ≤ ρ ( A ) ≤ s ~ \le\rho(A)\le\tilde s ≤ ρ ( A ) ≤ s ~ ),或为上移位元 s − 1 s^{-1} s − 1 (与 k k k 无关的常数)。非零乘积中移位因子至多 n − 1 n-1 n − 1 个(N N N 的幂零性),组合数 ( k q ) ≤ k n − 1 \binom{k}{q}\le k^{\,n-1} ( q k ) ≤ k n − 1 ,移位因子与 s ~ − ( n − 1 ) \tilde s^{-(n-1)} s ~ − ( n − 1 ) 一并并入与 k k k 无关的常数 C C C ,得
∣ ( J s k ) i j ∣ ≤ C k n − 1 s ~ k . \lvert(J_s^k)_{ij}\rvert\ \le\ C\,k^{\,n-1}\,\tilde s^{\,k} . ∣( J s k ) ij ∣ ≤ C k n − 1 s ~ k .
故
∥ A k ∥ ≤ ∥ P D ∥ ∥ J s k ∥ ∥ D − 1 P − 1 ∥ ≤ C ′ k n − 1 s k , ∥ A k ∥ 1 / k ≤ C ′ 1 / k k ( n − 1 ) / k s → k → ∞ s . \lVert A^k\rVert\le\lVert P D\rVert\,\lVert J_s^k\rVert\,\lVert D^{-1}P^{-1}\rVert\le C'\,k^{\,n-1}s^{\,k},\qquad \lVert A^k\rVert^{1/k}\le C'^{1/k}\,k^{(n-1)/k}\,s\ \xrightarrow{k\to\infty}\ s . ∥ A k ∥ ≤ ∥ P D ∥ ∥ J s k ∥ ∥ D − 1 P − 1 ∥ ≤ C ′ k n − 1 s k , ∥ A k ∥ 1/ k ≤ C ′ 1/ k k ( n − 1 ) / k s k → ∞ s .
令 s ↓ ρ ( A ) s\downarrow\rho(A) s ↓ ρ ( A ) 即得。
∎
(二)对角化情形的瞬态增长界。 B = V Λ V − 1 B=V\Lambda V^{-1} B = V Λ V − 1 ,则对一切 k k k :
ρ ( B ) k cond ( V ) ≤ ∥ B k ∥ ≤ cond ( V ) ρ ( B ) k \frac{\rho(B)^k}{\operatorname{cond}(V)}\ \le\ \lVert B^k\rVert\ \le\ \operatorname{cond}(V),\rho(B)^k cond ( V ) ρ ( B ) k ≤ ∥ B k ∥ ≤ cond ( V ) ρ ( B ) k
(右端:∥ V Λ k V − 1 ∥ ≤ ∥ V ∥ ∥ Λ k ∥ ∥ V − 1 ∥ \lVert V\Lambda^kV^{-1}\rVert\le\lVert V\rVert\lVert\Lambda^k\rVert\lVert V^{-1}\rVert ∥ V Λ k V − 1 ∥ ≤ ∥ V ∥ ∥ Λ k ∥ ∥ V − 1 ∥ ;左端:把 ρ k = ∥ Λ k ∥ = ∥ V − 1 B k V ∥ \rho^k=\lVert\Lambda^k\rVert=\lVert V^{-1}B^kV\rVert ρ k = ∥ Λ k ∥ = ∥ V − 1 B k V ∥ 反向放缩)。非正规性(cond ( V ) \operatorname{cond}(V) cond ( V ) 大)正是瞬态增长的上限来源 。
(三)2 × 2 2\times2 2 × 2 的精确算例。 B = ( λ M 0 λ ) B=\begin{pmatrix}\lambda&M\0&\lambda\end{pmatrix} B = ( λ 0 M λ ) (∣ λ ∣ < 1 \lvert\lambda\rvert\lt1 ∣ λ ∣ < 1 ):
B k = ( λ k M k λ k − 1 0 λ k ) , ∥ B k ∥ 2 ≥ M k ∣ λ ∣ k − 1 , B^k=\begin{pmatrix}\lambda^k&Mk\lambda^{k-1}\0&\lambda^k\end{pmatrix},\qquad \lVert B^k\rVert_2\ \ge\ Mk\lvert\lambda\rvert^{k-1}, B k = ( λ k 0 M k λ k − 1 λ k ) , ∥ B k ∥ 2 ≥ M k ∣ λ ∣ k − 1 ,
右端在 k ∗ ≈ − 1 / ln ∣ λ ∣ k^*\approx-1/\ln\lvert\lambda\rvert k ∗ ≈ − 1/ ln ∣ λ ∣ 处达峰,峰值 ≈ M e ∣ ln ∣ λ ∣ ∣ \approx\dfrac{M}{e,\lvert\ln\lvert\lambda\rvert\rvert} ≈ e ∣ ln ∣ λ ∣∣ M ——随 M M M 线性增长 。取 λ = 0.99 \lambda=0.99 λ = 0.99 、M = 1000 M=1000 M = 1000 :峰值 ≈ 1000 e × 0.0101 ≈ 3.7 × 1 0 4 \approx\dfrac{1000}{e\times0.0101}\approx3.7\times10^{4} ≈ e × 0.0101 1000 ≈ 3.7 × 1 0 4 ,出现在 k ∗ ≈ 99 k^*\approx99 k ∗ ≈ 99 步——迭代先放大三万七千倍,再开始收敛。「ρ < 1 \rho\lt1 ρ < 1 ⟹ 收敛」没有说谎,但前一百步的灾难它一个字都没提 ;这就是 例 2.5.6 结论「实用判据取 ∥ H ∥ < 1 \lVert H\rVert\lt1 ∥ H ∥ < 1 」的定量版。
定理 A.8 · Kantorovich 不等式
A A A 对称正定,特征值 0 < m ≤ ⋯ ≤ M 0\lt m\le\cdots\le M 0 < m ≤ ⋯ ≤ M ,则对任意 x ≠ 0 \boldsymbol{x}\neq\boldsymbol{0} x = 0 :
( x T A x ) 2 ( x T x ) ( x T A 2 x ) ≥ 4 m M ( m + M ) 2 . \frac{(\boldsymbol{x}^{\mathrm T}A\boldsymbol{x})^2}{(\boldsymbol{x}^{\mathrm T}\boldsymbol{x})(\boldsymbol{x}^{\mathrm T}A^2\boldsymbol{x})}\ \ge\ \frac{4mM}{(m+M)^2} . ( x T x ) ( x T A 2 x ) ( x T A x ) 2 ≥ ( m + M ) 2 4 m M .
证明
在特征基下对角化 A = diag ( λ i ) A=\operatorname{diag}(\lambda_i) A = diag ( λ i ) ,写 x = ∑ k i u i \boldsymbol{x}=\sum k_i\boldsymbol{u}_i x = ∑ k i u i ,取权 w i = k i 2 / ∑ j k j 2 w_i=k_i^2/\sum_jk_j^2 w i = k i 2 / ∑ j k j 2 ,则命题变为 ( ∑ w i λ i ) 2 ∑ w i λ i 2 ≥ 4 m M ( m + M ) 2 \dfrac{(\sum w_i\lambda_i)^2}{\sum w_i\lambda_i^2}\ge\dfrac{4mM}{(m+M)^2} ∑ w i λ i 2 ( ∑ w i λ i ) 2 ≥ ( m + M ) 2 4 m M (两边同除 ( ∑ k j 2 ) 2 (\sum k_j^2)^2 ( ∑ k j 2 ) 2 )。由 m ≤ λ i ≤ M m\le\lambda_i\le M m ≤ λ i ≤ M :( λ i − m ) ( λ i − M ) ≤ 0 (\lambda_i-m)(\lambda_i-M)\le0 ( λ i − m ) ( λ i − M ) ≤ 0 ,即
λ i 2 ≤ ( m + M ) λ i − m M . \lambda_i^2\ \le\ (m+M)\lambda_i-mM . λ i 2 ≤ ( m + M ) λ i − m M .
乘以 w i w_i w i 求和(记 u = ∑ w i λ i ∈ [ m , M ] u=\sum w_i\lambda_i\in[m,M] u = ∑ w i λ i ∈ [ m , M ] ,v = ∑ w i λ i 2 v=\sum w_i\lambda_i^2 v = ∑ w i λ i 2 ):v ≤ ( m + M ) u − m M v\le(m+M)u-mM v ≤ ( m + M ) u − m M 。于是
u 2 v ≥ u 2 ( m + M ) u − m M ≥ min u ∈ [ m , M ] u 2 ( m + M ) u − m M . \frac{u^2}{v}\ \ge\ \frac{u^2}{(m+M)u-mM}\ \ge\ \min_{u\in[m,M]}\frac{u^2}{(m+M)u-mM} . v u 2 ≥ ( m + M ) u − m M u 2 ≥ u ∈ [ m , M ] min ( m + M ) u − m M u 2 .
对 u u u 求导,极小点 u ∗ = 2 m M m + M ∈ [ m , M ] u^*=\dfrac{2mM}{m+M}\in[m,M] u ∗ = m + M 2 m M ∈ [ m , M ] ,代入得 u ∗ 2 2 m M − m M = 4 m M ( m + M ) 2 \dfrac{u^{*2}}{2mM-mM}=\dfrac{4mM}{(m+M)^2} 2 m M − m M u ∗ 2 = ( m + M ) 2 4 m M 。
∎
应用:最速下降解 A x = b A\boldsymbol{x}=\boldsymbol{b} A x = b 的收敛率。 迭代 x k + 1 = x k + α k r k \boldsymbol{x}_{k+1}=\boldsymbol{x}_k+\alpha_k\boldsymbol{r}_k x k + 1 = x k + α k r k (r k = b − A x k = − A e k \boldsymbol{r}_k=\boldsymbol{b}-A\boldsymbol{x}_k=-A\boldsymbol{e}_k r k = b − A x k = − A e k ),精确线搜索 α k = r k T r k r k T A r k \alpha_k=\dfrac{\boldsymbol{r}_k^{\mathrm T}\boldsymbol{r}_k}{\boldsymbol{r}_k^{\mathrm T}A\boldsymbol{r}_k} α k = r k T A r k r k T r k 。令 e ~ = A 1 / 2 e k \tilde{\boldsymbol{e}}=A^{1/2}\boldsymbol{e}_k e ~ = A 1/2 e k (∥ e k ∥ A = ∥ e ~ k ∥ 2 \lVert\boldsymbol{e}_k\rVert_A=\lVert\tilde{\boldsymbol{e}}_k\rVert_2 ∥ e k ∥ A = ∥ e ~ k ∥ 2 ,r k = A 1 / 2 e ~ k \boldsymbol{r}_k=A^{1/2}\tilde{\boldsymbol{e}}_k r k = A 1/2 e ~ k ),展开:
∥ e k + 1 ∥ A 2 = ∥ e k ∥ A 2 − 2 α k r k T r k + α k 2 r k T A r k ∣ α = α k = ∥ e k ∥ A 2 − ( r k T r k ) 2 r k T A r k , \lVert\boldsymbol{e}_{k+1}\rVert_A^2=\lVert\boldsymbol{e}_k\rVert_A^2-2\alpha_k\boldsymbol{r}_k^{\mathrm T}\boldsymbol{r}_k+\alpha_k^2\boldsymbol{r}_k^{\mathrm T}A\boldsymbol{r}_k\ \Big|_{\alpha=\alpha_k}=\lVert\boldsymbol{e}_k\rVert_A^2-\frac{(\boldsymbol{r}_k^{\mathrm T}\boldsymbol{r}_k)^2}{\boldsymbol{r}_k^{\mathrm T}A\boldsymbol{r}_k}, ∥ e k + 1 ∥ A 2 = ∥ e k ∥ A 2 − 2 α k r k T r k + α k 2 r k T A r k α = α k = ∥ e k ∥ A 2 − r k T A r k ( r k T r k ) 2 ,
∥ e k + 1 ∥ A 2 ∥ e k ∥ A 2 = 1 − ( e ~ k T A e ~ k ) 2 ( e ~ k T e ~ k ) ( e ~ k T A 2 e ~ k ) ≤ A.8 1 − 4 m M ( m + M ) 2 = ( M − m M + m ) 2 = ( κ − 1 κ + 1 ) 2 . \frac{\lVert\boldsymbol{e}_{k+1}\rVert_A^2}{\lVert\boldsymbol{e}_k\rVert_A^2}=1-\frac{(\tilde{\boldsymbol{e}}_k^{\mathrm T}A\tilde{\boldsymbol{e}}_k)^2}{(\tilde{\boldsymbol{e}}_k^{\mathrm T}\tilde{\boldsymbol{e}}_k)(\tilde{\boldsymbol{e}}_k^{\mathrm T}A^2\tilde{\boldsymbol{e}}_k)}\ \overset{\text{A.8}}{\le}\ 1-\frac{4mM}{(m+M)^2}=\Bigl(\frac{M-m}{M+m}\Bigr)^2=\Bigl(\frac{\kappa-1}{\kappa+1}\Bigr)^2 . ∥ e k ∥ A 2 ∥ e k + 1 ∥ A 2 = 1 − ( e ~ k T e ~ k ) ( e ~ k T A 2 e ~ k ) ( e ~ k T A e ~ k ) 2 ≤ A.8 1 − ( m + M ) 2 4 m M = ( M + m M − m ) 2 = ( κ + 1 κ − 1 ) 2 .
(中间一步用了 r k T r k = e ~ k T A e ~ k \boldsymbol{r}_k^{\mathrm T}\boldsymbol{r}_k=\tilde{\boldsymbol{e}}_k^{\mathrm T}A\tilde{\boldsymbol{e}}_k r k T r k = e ~ k T A e ~ k 、r k T A r k = e ~ k T A 2 e ~ k \boldsymbol{r}_k^{\mathrm T}A\boldsymbol{r}_k=\tilde{\boldsymbol{e}}_k^{\mathrm T}A^2\tilde{\boldsymbol{e}}_k r k T A r k = e ~ k T A 2 e ~ k 、∥ e k ∥ A 2 = e ~ k T e ~ k \lVert\boldsymbol{e}_k\rVert_A^2=\tilde{\boldsymbol{e}}_k^{\mathrm T}\tilde{\boldsymbol{e}}_k ∥ e k ∥ A 2 = e ~ k T e ~ k 。)每步误差压缩因子 ≤ ( κ − 1 κ + 1 ) 2 \le\bigl(\frac{\kappa-1}{\kappa+1}\bigr)^2 ≤ ( κ + 1 κ − 1 ) 2 :κ = 10 \kappa=10 κ = 10 时 ≈ 0.67 \approx0.67 ≈ 0.67 (尚可),κ = 1 0 4 \kappa=10^4 κ = 1 0 4 时 ≈ 0.9996 \approx0.9996 ≈ 0.9996 ——三万步才压两个数量级。条件数不仅决定结果准不准 (2.4 ),也决定迭代快不快 ;降低 κ \kappa κ 的手段(预条件、行均衡化 2.4.5)由此获得双重回报。与定步长梯度下降(附录 C.2.1 )及共轭梯度法(( κ − 1 κ + 1 ) k \bigl(\frac{\sqrt\kappa-1}{\sqrt\kappa+1}\bigr)^k ( κ + 1 κ − 1 ) k ,见附录 C.6.1 )的完整对照放在附录 C。
本附录引用的外部结果
除 Birkhoff 定理(A.2.3 自证)与 Jordan 标准形(A.2.7 引用,见任何高等代数教材)外,全部推导自含。进一步的系统展开见延伸阅读里的 Horn & Johnson《Matrix Analysis》(迹不等式与特征值扰动)、Higham《Accuracy and Stability of Numerical Algorithms》(Chapter 4:求和与浮点)与 Golub & Van Loan《Matrix Computations》(2.3–2.6 节:正交化与 SVD)。