Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

一页速览 · 公式与结论卡

这一页把第一章 + 补充篇(数值线性代数工具箱)的必记公式与结论压成一页,按主题排列,每条都链到正文权威版本(推导与例子在那里)。老师主线第 2–5 章以讲座页为准;本页只收与主线交叉的公式。用途有二:考前一小时过一遍、做题时忘了公式就跳过来。

怎么用这一页
  • 不是替代正文:只有结论,没有推导与适用条件。第一次学别从这一页开始。
  • 配合「只看核心」:正文页点「只看核心」,可跳层内容(证明、预告、拓展思考)折叠,留下的即本页展开版。
  • 自检法:遮住右列,只看左列概念,能默写公式就打勾;默不出的点链接回读。
  • 正文各节末有完整速查表(本节公式速查),本页是它们的去重汇总 + 跨节合并。
  • 正文是唯一权威版本:改公式先改正文,再同步本页——漏同步会被 make check 拦下(每条定义 / 定理的锚点都必须在本页或术语索引里出现)。

一 · 误差度量(1.2)

概念公式 / 结论出处
绝对误差 / 误差限e=x−ae=x-a;∣e∣≤ε\lvert e\rvert\le\varepsilon,记作 x=a±εx=a\pm\varepsilon定义 1.2.5
相对误差 / 相对误差限er=x−ax≈x−aae_{\mathrm r}=\dfrac{x-a}{x}\approx\dfrac{x-a}{a};εr(a)=ε(a)∣a∣\varepsilon_{\mathrm r}(a)=\dfrac{\varepsilon(a)}{\lvert a\rvert}定义 1.2.6
有效数字a=±0.a1a2⋯ak×10ma=\pm0.a_1a_2\cdots a_k\times10^m,若 ε(a)=12×10m−n\varepsilon(a)=\tfrac12\times10^{m-n}(n≤kn\le k)则有 nn 位定义 1.2.7
四舍五入的误差限末位半个单位:ε=12×10−d\varepsilon=\tfrac12\times10^{-d}(舍入到小数点后 dd 位)例 1.2.2
有效数字 → 相对误差εr≤12a1×101−n≤12×101−n\varepsilon_{\mathrm r}\le\dfrac{1}{2a_1}\times10^{1-n}\le\tfrac12\times10^{1-n};每多一位,相对误差小十倍定理 1.2.1
四类误差模型 / 观测(不可控)· 截断 / 舍入(数值分析管这两类)定义 1.2.1

最常错的一条:有效数字 ≠ 小数位数。3.14163.1416 对 π\pi 是 5 位有效数字、4 位小数(例 1.2.4)。

二 · 误差传播(1.2.3)

概念公式
一元函数e(u~)≈f′(a) e(a)e(\tilde u)\approx f'(a),e(a),ε(u~)≈∣f′(a)∣ε(a)\varepsilon(\tilde u)\approx\lvert f'(a)\rvert\varepsilon(a)(定理 1.2.2)
高阶零点若 f′(a)=⋯=f(k−1)(a)=0f'(a)=\cdots=f^{(k-1)}(a)=0:ε(u~)≈∣f(k)(a)∣k![ε(a)]k\varepsilon(\tilde u)\approx\dfrac{\lvert f^{(k)}(a)\rvert}{k!}[\varepsilon(a)]^k
多元函数ε(u~)≈∑i∣∂f∂xi∣ε(ai)\varepsilon(\tilde u)\approx\sum_i\left\lvert\dfrac{\partial f}{\partial x_i}\right\rvert\varepsilon(a_i)(式 1.1)
加减法ε(a±b)=ε(a)+ε(b)\varepsilon(a\pm b)=\varepsilon(a)+\varepsilon(b);绝对误差限相加
乘除法εr(ab)≈εr(a)+εr(b)\varepsilon_{\mathrm r}(ab)\approx\varepsilon_{\mathrm r}(a)+\varepsilon_{\mathrm r}(b);相对误差限相加
减法(危险)εr(a−b)=ε(a)+ε(b)∣a−b∣\varepsilon_{\mathrm r}(a-b)=\dfrac{\varepsilon(a)+\varepsilon(b)}{\lvert a-b\rvert}——分母趋零即爆炸
除法(危险)ε(a/b)≈∣a∣ε(b)+∣b∣ε(a)∣b∣2\varepsilon(a/b)\approx\dfrac{\lvert a\rvert\varepsilon(b)+\lvert b\rvert\varepsilon(a)}{\lvert b\rvert^2}——小除数二次放大

一句话记法:加减看绝对、乘除看相对;事故全出在两个分母——∣a−b∣\lvert a-b\rvert(减法)与 ∣b∣2\lvert b\rvert^2(除法)。

三 · 算法设计四原则(1.2.4)

#原则判据 / 处方
1数值稳定性递推 yn=αn+βyn−1y_n=\alpha_n+\beta y_{n-1} 的误差 δn=βnδ0\delta_n=\beta^n\delta_0:∣β∣>1\lvert\beta\rvert\gt1 的方向倒过来走,用估计式定住远端初值(定义 1.2.9)
2防吞噬大小悬殊的两数相加,小数整位丢失——先把小数加在一起再与大数相加
3防相消相近数相减先改写:有理化 / 因式分解 / 和差化积 / 中值定理
4防小除数∣b∣≪∣a∣\lvert b\rvert\ll\lvert a\rvert 时 ε(a/b)\varepsilon(a/b) 被 ∣b∣2\lvert b\rvert^2 放大——换尺度或并式化简

相减本身没错(Sterbenz 引理:y/2≤x≤2yy/2\le x\le2y 时 fl⁡(x−y)\operatorname{fl}(x-y) 精确,引理 1.2.1);错在把有效数字已不多的中间结果送去相减。

秦九韶(Horner):p(x)=a0+x(a1+x(a2+⋯ ))p(x)=a_0+x(a_1+x(a_2+\cdots)),乘法 nn 次,O(n)O(n)(逐项求和则为 O(n2)O(n^2))。

四 · 浮点与条件数(1.2.5 · 1.2.6)

概念公式 / 结论
浮点集与精度eps=β1−t\mathrm{eps}=\beta^{1-t},u=12β1−tu=\tfrac12\beta^{1-t};双精度 u=2−53≈1.1×10−16u=2^{-53}\approx1.1\times10^{-16}(定义 1.2.10)
浮点公理fl⁡(x op y)=(x op y)(1+δ)\operatorname{fl}(x\ \mathrm{op}\ y)=(x\ \mathrm{op}\ y)(1+\delta),∣δ∣≤u\lvert\delta\rvert\le u——全部现代误差分析的出发点
nn 步运算相对误差 ≲nu\lesssim nu:双精度算一万步仍可靠,算一亿步要留神
向前 / 向后误差向前 = 离真值多远;向后 = 是不是某个邻近问题的精确答案(定义 1.2.11)
函数条件数cond(f,x)=∣xf′(x)f(x)∣\mathrm{cond}(f,x)=\left\lvert\dfrac{xf'(x)}{f(x)}\right\rvert
两条分开谈病态是问题的属性,不稳定是算法的属性——二者独立,处方不同

五 · 向量范数(1.3.1–1.3.2)

概念公式
三公理正定 · 齐次 · 三角不等式(定义 1.3.1)
三个常用范数∥x∥1=∑∣xi∣\lVert\boldsymbol{x}\rVert_1=\sum\lvert x_i\rvert;∥x∥2=(∑xi2)1/2\lVert\boldsymbol{x}\rVert_2=\bigl(\sum x_i^2\bigr)^{1/2};∥x∥∞=max⁡i∣xi∣\lVert\boldsymbol{x}\rVert_\infty=\max_i\lvert x_i\rvert(定理 1.3.1)
pp-范数与极限∥x∥p=(∑∣xi∣p)1/p\lVert\boldsymbol{x}\rVert_p=\bigl(\sum\lvert x_i\rvert^p\bigr)^{1/p};lim⁡p→∞∥x∥p=∥x∥∞\lim_{p\to\infty}\lVert\boldsymbol{x}\rVert_p=\lVert\boldsymbol{x}\rVert_\infty(定理 1.3.2)
等价定理任意两种范数存在 0<m<M0\lt m\lt M 使 m∥x∥β≤∥x∥α≤M∥x∥βm\lVert\boldsymbol{x}\rVert_\beta\le\lVert\boldsymbol{x}\rVert_\alpha\le M\lVert\boldsymbol{x}\rVert_\beta——收敛结论与范数选择无关(定理 1.3.3)
显式不等式∥x∥∞≤∥x∥2≤∥x∥1≤n∥x∥∞\lVert\boldsymbol{x}\rVert_\infty\le\lVert\boldsymbol{x}\rVert_2\le\lVert\boldsymbol{x}\rVert_1\le n\lVert\boldsymbol{x}\rVert_\infty;∥x∥2≤n∥x∥∞\lVert\boldsymbol{x}\rVert_2\le\sqrt n\lVert\boldsymbol{x}\rVert_\infty
Cauchy–Schwarz∣xTy∣≤∥x∥2∥y∥2\lvert\boldsymbol{x}^{\mathrm T}\boldsymbol{y}\rvert\le\lVert\boldsymbol{x}\rVert_2\lVert\boldsymbol{y}\rVert_2,等号当且仅当两向量线性相关——2-范数三角不等式的全部依据(引理 1.3.1)
反三角不等式∣∥x∥−∥y∥∣≤∥x−y∥\bigl\lvert\lVert\boldsymbol{x}\rVert-\lVert\boldsymbol{y}\rVert\bigr\rvert\le\lVert\boldsymbol{x}-\boldsymbol{y}\rVert

六 · 矩阵范数(1.3.3–1.3.4)

概念公式 / 结论记忆法
四公理正定 · 齐次 · 三角不等式 · 次可乘 ∥AB∥≤∥A∥∥B∥\lVert AB\rVert\le\lVert A\rVert\lVert B\rVert(定义 1.3.2)第 4 条是矩阵特有
从属(算子)范数∥A∥=max⁡∥x∥=1∥Ax∥\lVert A\rVert=\max_{\lVert\boldsymbol{x}\rVert=1}\lVert A\boldsymbol{x}\rVert——最大拉伸倍数(定理 1.3.4)相容性近乎同义反复
相容性∥Ax∥≤∥A∥∥x∥\lVert A\boldsymbol{x}\rVert\le\lVert A\rVert\lVert\boldsymbol{x}\rVert(定义 1.3.3)放缩链条的通行证
∥A∥1\lVert A\rVert_1max⁡j∑i∣aij∣\max_j\sum_i\lvert a_{ij}\rvert列和取大(「1 竖着像一根列」)
∥A∥∞\lVert A\rVert_\inftymax⁡i∑j∣aij∣\max_i\sum_j\lvert a_{ij}\rvert行和取大
∥A∥2\lVert A\rVert_2λmax⁡(ATA)=σmax⁡(A)\sqrt{\lambda_{\max}(A^{\mathrm T}A)}=\sigma_{\max}(A)(定理 1.3.5)算 ATAA^{\mathrm T}A → 最大特征值 → 开方
∥A∥F\lVert A\rVert_F(∑i,jaij2)1/2\bigl(\sum_{i,j}a_{ij}^2\bigr)^{1/2}(定义 1.3.4)相容但不从属(∥I∥F=n\lVert I\rVert_F=\sqrt n)
单位矩阵任何算子范数下 ∥I∥=1\lVert I\rVert=1F-范数不是算子范数的判据

七 · 可逆性与 Neumann(1.3.5)

概念公式
Neumann 界∥A∥<1⇒I±A\lVert A\rVert\lt1\Rightarrow I\pm A 非奇异,且 ∥(I±A)−1∥≤11−∥A∥\bigl\lVert(I\pm A)^{-1}\bigr\rVert\le\dfrac{1}{1-\lVert A\rVert}(定理 1.3.6)
Neumann 级数∥A∥<1⇒∑k≥0Ak=(I−A)−1\lVert A\rVert\lt1\Rightarrow\sum_{k\ge0}A^k=(I-A)^{-1},余项 ≤∥A∥N+11−∥A∥\le\dfrac{\lVert A\rVert^{N+1}}{1-\lVert A\rVert}(定理 1.3.7)
条件数(矩阵版)cond(A)=∥A∥∥A−1∥≥1\mathrm{cond}(A)=\lVert A\rVert\lVert A^{-1}\rVert\ge1;∥δx∥∥x∥≤cond(A)∥δb∥∥b∥\dfrac{\lVert\delta\boldsymbol{x}\rVert}{\lVert\boldsymbol{x}\rVert}\le\mathrm{cond}(A)\dfrac{\lVert\delta\boldsymbol{b}\rVert}{\lVert\boldsymbol{b}\rVert}

中学类比的矩阵版:∥A∥<1\lVert A\rVert\lt1 即 ∣r∣<1\lvert r\rvert\lt1,I−AI-A 即 1−r1-r,(I−A)−1=∑Ak(I-A)^{-1}=\sum A^k 即 11−r\dfrac{1}{1-r}——迭代法收敛性全靠这一套。

八 · 内积与正交(补充篇 2.1)

概念公式 / 结论
内积公理对称 · 对第一变元线性 · 正定(定义 2.1.1)
诱导范数∥x∥=⟨x,x⟩\lVert\boldsymbol{x}\rVert=\sqrt{\langle\boldsymbol{x},\boldsymbol{x}\rangle};Cauchy–Schwarz ∣⟨x,y⟩∣≤∥x∥∥y∥\lvert\langle\boldsymbol{x},\boldsymbol{y}\rangle\rvert\le\lVert\boldsymbol{x}\rVert\lVert\boldsymbol{y}\rVert
是否来自内积平行四边形恒等式 ∥x+y∥2+∥x−y∥2=2∥x∥2+2∥y∥2\lVert\boldsymbol{x}+\boldsymbol{y}\rVert^2+\lVert\boldsymbol{x}-\boldsymbol{y}\rVert^2=2\lVert\boldsymbol{x}\rVert^2+2\lVert\boldsymbol{y}\rVert^2(定理 2.1.2)——只有 2-范数满足
正交组两两内积为 00 的非零向量组必线性无关(定理 2.1.3)
标准正交基坐标x=∑i⟨x,qi⟩qi\boldsymbol{x}=\sum_i\langle\boldsymbol{x},\boldsymbol{q}_i\rangle\boldsymbol{q}_i;Parseval ∥x∥2=∑i∣⟨x,qi⟩∣2\lVert\boldsymbol{x}\rVert^2=\sum_i\lvert\langle\boldsymbol{x},\boldsymbol{q}_i\rangle\rvert^2(定理 2.1.4)
正交矩阵QTQ=IQ^{\mathrm T}Q=I、Q−1=QTQ^{-1}=Q^{\mathrm T}、∣det⁡Q∣=1\lvert\det Q\rvert=1、cond2(Q)=1\mathrm{cond}_2(Q)=1、保内积保范数(定义 2.1.3、定理 2.1.5)
正交不变性∥QA∥2=∥A∥2\lVert QA\rVert_2=\lVert A\rVert_2,∥QA∥F=∥A∥F\lVert QA\rVert_F=\lVert A\rVert_F(定理 2.1.6)——数值算法偏爱正交变换的全部理由

九 · 四个子空间与投影(补充篇 2.2)

概念公式
四个子空间C(A)⊆RmC(A)\subseteq\mathbb{R}^m、N(A)⊆RnN(A)\subseteq\mathbb{R}^n、C(AT)⊆RnC(A^{\mathrm T})\subseteq\mathbb{R}^n、N(AT)⊆RmN(A^{\mathrm T})\subseteq\mathbb{R}^m(定义 2.2.1)
维数(秩定理)dim⁡C(A)=dim⁡C(AT)=r\dim C(A)=\dim C(A^{\mathrm T})=r;dim⁡N(A)=n−r\dim N(A)=n-r;dim⁡N(AT)=m−r\dim N(A^{\mathrm T})=m-r(定理 2.2.1)
两对正交补C(AT)=N(A)⊥C(A^{\mathrm T})=N(A)^{\perp};C(A)=N(AT)⊥C(A)=N(A^{\mathrm T})^{\perp}(定理 2.2.2)
正交分解Rm=C(A)⊕N(AT)\mathbb{R}^m=C(A)\oplus N(A^{\mathrm T}),b=p+e\boldsymbol{b}=\boldsymbol{p}+\boldsymbol{e},p⊥e\boldsymbol{p}\perp\boldsymbol{e}(定理 2.2.3)
投影是最近点投影 p\boldsymbol{p} 是子空间中离 x\boldsymbol{x} 最近的点(定理 2.2.4)
投影矩阵P=A(ATA)−1ATP=A(A^{\mathrm T}A)^{-1}A^{\mathrm T};PT=PP^{\mathrm T}=P、P2=PP^2=P、tr⁡P=r\operatorname{tr}P=r、∥P∥2=1\lVert P\rVert_2=1(定理 2.2.5)
判投影对称 + 幂等即可,不必回到定义式;只幂等不对称的是斜投影
最小二乘正态方程 ATAx=ATbA^{\mathrm T}A\boldsymbol{x}=A^{\mathrm T}\boldsymbol{b};列满秩时 x^=(ATA)−1ATb\hat{\boldsymbol{x}}=(A^{\mathrm T}A)^{-1}A^{\mathrm T}\boldsymbol{b}(定理 2.2.6)
残差自检ATr=0A^{\mathrm T}\boldsymbol{r}=\boldsymbol{0}(残差落在左零空间)——算完顺手验一下
加权版x^=(ATWA)−1ATWb\hat{\boldsymbol{x}}=(A^{\mathrm T}WA)^{-1}A^{\mathrm T}W\boldsymbol{b}(定理 2.2.7)

十 · 正交化与 QR(补充篇 2.3)

概念公式 / 结论
CGS 系数rij=qiTajr_{ij}=\boldsymbol{q}_i^{\mathrm T}\boldsymbol{a}_j(原始列)——正交性损失 cond2u\mathrm{cond}^2u,勿用于生产
MGS 系数rij=qiTvr_{ij}=\boldsymbol{q}_i^{\mathrm T}\boldsymbol{v}(当前列)——损失 cond u\mathrm{cond},u,一行之差
QR 分解A=QRA=QR,QTQ=IQ^{\mathrm T}Q=I,RR 上三角;RR 对角元为正时唯一(定理 2.3.1、定理 2.3.2)
分层张成span⁡{q1,…,qk}=span⁡{a1,…,ak}\operatorname{span}{\boldsymbol{q}_1,\dots,\boldsymbol{q}_k}=\operatorname{span}{\boldsymbol{a}_1,\dots,\boldsymbol{a}_k}——QR 区别于 SVD 的关键
HouseholderH=I−2vvTvTvH=I-2\dfrac{\boldsymbol{v}\boldsymbol{v}^{\mathrm T}}{\boldsymbol{v}^{\mathrm T}\boldsymbol{v}}:对称、正交、H2=IH^2=I、det⁡H=−1\det H=-1(定义 2.3.1、定理 2.3.3)
消元向量v=x+sgn⁡(x1)∥x∥2e1\boldsymbol{v}=\boldsymbol{x}+\operatorname{sgn}(x_1)\lVert\boldsymbol{x}\rVert_2\boldsymbol{e}_1,α=−sgn⁡(x1)∥x∥2\alpha=-\operatorname{sgn}(x_1)\lVert\boldsymbol{x}\rVert_2——取反号是为了避免相近数相减
Givensc=x1/rc=x_1/r,s=x2/rs=x_2/r,r=hypot(x1,x2)r=\texttt{hypot}(x_1,x_2);det⁡G=+1\det G=+1(定义 2.3.2、定理 2.3.4)
正交性损失CGS cond2u\mathrm{cond}^2u / MGS cond u\mathrm{cond},u / Householder & Givens uu
复杂度GS 2mn22mn^2;Householder 2mn2−23n32mn^2-\frac23n^3;Givens ≈6mn2\approx6mn^2
选型口诀稠密用 Householder,稀疏用 Givens;MGS 在条件数温和且需要显式 QQ 时可用
QR 解最小二乘Rx^=(QTb)1:nR\hat{\boldsymbol{x}}=(Q^{\mathrm T}\boldsymbol{b})_{1:n},∥r∥2=∥d∥2\lVert\boldsymbol{r}\rVert_2=\lVert\boldsymbol{d}\rVert_2;误差 ∼cond(A)u\sim\mathrm{cond}(A)u vs 正态方程 ∼cond(A)2u\sim\mathrm{cond}(A)^2u(定理 2.3.5)

十一 · 条件数与扰动(补充篇 2.4)

概念公式 / 结论
条件数cond(A)=∥A∥∥A−1∥\mathrm{cond}(A)=\lVert A\rVert\lVert A^{-1}\rVert;cond2=σmax⁡/σmin⁡\mathrm{cond}_2=\sigma_{\max}/\sigma_{\min}(定义 2.4.1)
基本性质≥1\ge1;cond(A−1)=cond(A)\mathrm{cond}(A^{-1})=\mathrm{cond}(A);cond(cA)=cond(A)\mathrm{cond}(cA)=\mathrm{cond}(A);cond2(Q)=1\mathrm{cond}_2(Q)=1(定理 2.4.1)
右端扰动∥δx∥∥x∥≤cond(A)∥δb∥∥b∥\dfrac{\lVert\delta\boldsymbol{x}\rVert}{\lVert\boldsymbol{x}\rVert}\le\mathrm{cond}(A)\dfrac{\lVert\delta\boldsymbol{b}\rVert}{\lVert\boldsymbol{b}\rVert}(定理 2.4.2)
系数扰动∥δx∥∥x∥≤cond(A)1−cond(A)ρA(ρA+ρb)\dfrac{\lVert\delta\boldsymbol{x}\rVert}{\lVert\boldsymbol{x}\rVert}\le\dfrac{\mathrm{cond}(A)}{1-\mathrm{cond}(A)\rho_A}(\rho_A+\rho_b),需 cond⋅ρA<1\mathrm{cond}\cdot\rho_A\lt1(定理 2.4.3)
有效数字损失k≈log⁡10cond(A)k\approx\log_{10}\mathrm{cond}(A)——能保住几位的定量答案
残差 ≠ 误差e=A−1r\boldsymbol{e}=A^{-1}\boldsymbol{r},∥e∥∥x∥≤cond(A)∥r∥∥b∥\dfrac{\lVert\boldsymbol{e}\rVert}{\lVert\boldsymbol{x}\rVert}\le\mathrm{cond}(A)\dfrac{\lVert\boldsymbol{r}\rVert}{\lVert\boldsymbol{b}\rVert}(定理 2.4.4)
两个阈值cond≳108≈u−1/2\mathrm{cond}\gtrsim10^{8}\approx u^{-1/2}:弃正态方程;cond≳1016≈u−1\mathrm{cond}\gtrsim10^{16}\approx u^{-1}:双精度无解

十二 · 谱理论(补充篇 2.5)

概念公式 / 结论
特征值与不变量Av=λvA\boldsymbol{v}=\lambda\boldsymbol{v};tr⁡A=∑λi\operatorname{tr}A=\sum\lambda_i,det⁡A=∏λi\det A=\prod\lambda_i(定义 2.5.1)
谱半径ρ(A)=max⁡i∣λi∣\rho(A)=\max_i\lvert\lambda_i\rvert;ρ(A)≤∥A∥\rho(A)\le\lVert A\rVert(任一相容范数),反向一般不成立(定理 2.5.1)
Gerschgorin∣λ−aii∣≤∑j≠i∣aij∣\lvert\lambda-a_{ii}\rvert\le\sum_{j\neq i}\lvert a_{ij}\rvert;连通并集含同样多个特征值(定理 2.5.2)
对角占优∣aii∣>∑j≠i∣aij∣ ∀i⇒A\lvert a_{ii}\rvert\gt\sum_{j\ne i}\lvert a_{ij}\rvert\ \forall i\Rightarrow A 非奇异
Rayleigh 商R(x)=xTAxxTxR(\boldsymbol{x})=\dfrac{\boldsymbol{x}^{\mathrm T}A\boldsymbol{x}}{\boldsymbol{x}^{\mathrm T}\boldsymbol{x}};λmin⁡=min⁡R≤R(x)≤max⁡R=λmax⁡\lambda_{\min}=\min R\le R(\boldsymbol{x})\le\max R=\lambda_{\max}(定义 2.5.2、定理 2.5.4)
Courant–Fischerλk=max⁡dim⁡S=kmin⁡0≠x∈SR(x)\lambda_k=\max_{\dim S=k}\min_{\boldsymbol{0}\ne\boldsymbol{x}\in S}R(\boldsymbol{x})——全部中间特征值的变分刻画(定理 2.5.5)
幂法收敛向量 O(∣λ2/λ1∣k)O(\lvert\lambda_2/\lambda_1\rvert^k);Rayleigh 商 O(∣λ2/λ1∣2k)O(\lvert\lambda_2/\lambda_1\rvert^{2k})(定理 2.5.3)
对称扰动∣λi(A+E)−λi(A)∣≤∥E∥2\lvert\lambda_i(A+E)-\lambda_i(A)\rvert\le\lVert E\rVert_2(Weyl,定理 2.5.6)
一般扰动≤cond2(V)∥E∥2\le\mathrm{cond}_2(V)\lVert E\rVert_2(Bauer–Fike)
重特征值非正规 kk 重根:移动 O(∥E∥1/k)O(\lVert E\rVert^{1/k})——固有病态,换算法无效

十三 · SVD 与低秩逼近(补充篇 2.6)

概念公式 / 结论
SVDA=UΣVTA=U\Sigma V^{\mathrm T},σ1≥⋯≥σr>0\sigma_1\ge\cdots\ge\sigma_r\gt0;Avi=σiuiA\boldsymbol{v}_i=\sigma_i\boldsymbol{u}_i,ATui=σiviA^{\mathrm T}\boldsymbol{u}_i=\sigma_i\boldsymbol{v}_i(定理 2.6.1)
与特征值ATAvi=σi2viA^{\mathrm T}A\boldsymbol{v}_i=\sigma_i^2\boldsymbol{v}_i;AATui=σi2uiAA^{\mathrm T}\boldsymbol{u}_i=\sigma_i^2\boldsymbol{u}_i
四个子空间C(A)=span⁡{u1..ur}C(A)=\operatorname{span}{\boldsymbol{u}_1..\boldsymbol{u}_r};N(AT)=span⁡{ur+1..um}N(A^{\mathrm T})=\operatorname{span}{\boldsymbol{u}_{r+1}..\boldsymbol{u}_m};C(AT)=span⁡{v1..vr}C(A^{\mathrm T})=\operatorname{span}{\boldsymbol{v}_1..\boldsymbol{v}_r};N(A)=span⁡{vr+1..vn}N(A)=\operatorname{span}{\boldsymbol{v}_{r+1}..\boldsymbol{v}_n}(定理 2.6.2)
范数与条件数∥A∥2=σ1\lVert A\rVert_2=\sigma_1;∥A∥F=∑σi2\lVert A\rVert_F=\sqrt{\sum\sigma_i^2};cond2=σ1/σr\mathrm{cond}_2=\sigma_1/\sigma_r;∣det⁡A∣=∏σi\lvert\det A\rvert=\prod\sigma_i
外积形式A=∑i≤rσiuiviTA=\sum_{i\le r}\sigma_i\boldsymbol{u}_i\boldsymbol{v}_i^{\mathrm T}——秩 1 矩阵按重要性叠加
伪逆A+=VΣ+UTA^{+}=V\Sigma^{+}U^{\mathrm T};Penrose 四条件;列满秩 A+=(ATA)−1ATA^{+}=(A^{\mathrm T}A)^{-1}A^{\mathrm T}(定义 2.6.1、定理 2.6.3)
秩亏最小二乘x^=A+b\hat{\boldsymbol{x}}=A^{+}\boldsymbol{b} 是最小范数最小二乘解(唯一)
Eckart–Youngmin⁡rank⁡B≤k∥A−B∥2=∥A−Ak∥2=σk+1\min_{\operatorname{rank}B\le k}\lVert A-B\rVert_2=\lVert A-A_k\rVert_2=\sigma_{k+1};F-范数版 =∑i>kσi2=\sqrt{\sum_{i\gt k}\sigma_i^2}(定理 2.6.4)
数值秩#{i:σi>tσ1}#{i:\sigma_i\gt t\sigma_1},tt 按数据噪声水平选,不能照抄库的默认值
迹不等式∣tr⁡(ATB)∣≤∑iσi(A)σi(B)\lvert\operatorname{tr}(A^{\mathrm T}B)\rvert\le\sum_i\sigma_i(A)\sigma_i(B)(例 2.6.4)

四种记忆框架

上面 13 张表不好整块背;按这四组记,每组一个动作,够了:

框架内容对应本页
误差三件套ε\varepsilon(差多少)· εr\varepsilon_{\mathrm r}(差的比例)· k≈log⁡10condk\approx\log_{10}\mathrm{cond}(能信几位)一、四、十一
四原则稳定性看方向 · 防吞噬(先小后大)· 防相消(先改写)· 防小除数(换尺度)三
正交化解稠密 Householder · 稀疏 Givens · 最小二乘用 QR · 低秩与秩亏用 SVD十
两把尺∥A∥<1⇒\lVert A\rVert\lt1\Rightarrow 可逆 + Neumann 收敛;cond≳108\mathrm{cond}\gtrsim10^{8} 换 QR、≳1016\gtrsim10^{16} 换问题七、十一

三句话带走全部

  1. 先问病态,再问算法。 条件数是问题的属性,稳定性是算法的属性;诊断顺序一错,努力全白费(1.2.6 的表)。
  2. 有效数字是最诚实的货币。 一次相近数相减、一个小除数、一次大小悬殊的求和,都能让打印出的 17 位只剩 1~2 位真话。
  3. ∥A∥<1\lVert A\rVert\lt1 是一张万能保票。 同时给出 I±AI\pm A 可逆、逆有界、Neumann 级数收敛、迭代误差几何衰减——第 2 章的迭代法全靠它起步。