这一页把第一章 + 补充篇(数值线性代数工具箱)的必记公式与结论压成一页,按主题排列,每条都链到正文权威版本(推导与例子在那里)。老师主线第 2–5 章以讲座页为准;本页只收与主线交叉的公式。用途有二:考前一小时过一遍、做题时忘了公式就跳过来。
怎么用这一页
- 不是替代正文:只有结论,没有推导与适用条件。第一次学别从这一页开始。
- 配合「只看核心」:正文页点「只看核心」,可跳层内容(证明、预告、拓展思考)折叠,留下的即本页展开版。
- 自检法:遮住右列,只看左列概念,能默写公式就打勾;默不出的点链接回读。
- 正文各节末有完整速查表(
本节公式速查),本页是它们的去重汇总 + 跨节合并。
- 正文是唯一权威版本:改公式先改正文,再同步本页——漏同步会被
make check 拦下(每条定义 / 定理的锚点都必须在本页或术语索引里出现)。
| 概念 | 公式 / 结论 | 出处 |
| 绝对误差 / 误差限 | e=x−a;∣e∣≤ε,记作 x=a±ε | 定义 1.2.5 |
| 相对误差 / 相对误差限 | er=xx−a≈ax−a;εr(a)=∣a∣ε(a) | 定义 1.2.6 |
| 有效数字 | a=±0.a1a2⋯ak×10m,若 ε(a)=21×10m−n(n≤k)则有 n 位 | 定义 1.2.7 |
| 四舍五入的误差限 | 末位半个单位:ε=21×10−d(舍入到小数点后 d 位) | 例 1.2.2 |
| 有效数字 → 相对误差 | εr≤2a11×101−n≤21×101−n;每多一位,相对误差小十倍 | 定理 1.2.1 |
| 四类误差 | 模型 / 观测(不可控)· 截断 / 舍入(数值分析管这两类) | 定义 1.2.1 |
最常错的一条:有效数字 ≠ 小数位数。3.1416 对 π 是 5 位有效数字、4 位小数(例 1.2.4)。
| 概念 | 公式 |
| 一元函数 | e(u~)≈f′(a)e(a),ε(u~)≈∣f′(a)∣ε(a)(定理 1.2.2) |
| 高阶零点 | 若 f′(a)=⋯=f(k−1)(a)=0:ε(u~)≈k!∣f(k)(a)∣[ε(a)]k |
| 多元函数 | ε(u~)≈∑i∂xi∂fε(ai)(式 1.1) |
| 加减法 | ε(a±b)=ε(a)+ε(b);绝对误差限相加 |
| 乘除法 | εr(ab)≈εr(a)+εr(b);相对误差限相加 |
| 减法(危险) | εr(a−b)=∣a−b∣ε(a)+ε(b)——分母趋零即爆炸 |
| 除法(危险) | ε(a/b)≈∣b∣2∣a∣ε(b)+∣b∣ε(a)——小除数二次放大 |
一句话记法:加减看绝对、乘除看相对;事故全出在两个分母——∣a−b∣(减法)与 ∣b∣2(除法)。
| # | 原则 | 判据 / 处方 |
| 1 | 数值稳定性 | 递推 yn=αn+βyn−1 的误差 δn=βnδ0:∣β∣>1 的方向倒过来走,用估计式定住远端初值(定义 1.2.9) |
| 2 | 防吞噬 | 大小悬殊的两数相加,小数整位丢失——先把小数加在一起再与大数相加 |
| 3 | 防相消 | 相近数相减先改写:有理化 / 因式分解 / 和差化积 / 中值定理 |
| 4 | 防小除数 | ∣b∣≪∣a∣ 时 ε(a/b) 被 ∣b∣2 放大——换尺度或并式化简 |
相减本身没错(Sterbenz 引理:y/2≤x≤2y 时 fl(x−y) 精确,引理 1.2.1);错在把有效数字已不多的中间结果送去相减。
秦九韶(Horner):p(x)=a0+x(a1+x(a2+⋯)),乘法 n 次,O(n)(逐项求和则为 O(n2))。
| 概念 | 公式 / 结论 |
| 浮点集与精度 | eps=β1−t,u=21β1−t;双精度 u=2−53≈1.1×10−16(定义 1.2.10) |
| 浮点公理 | fl(x op y)=(x op y)(1+δ),∣δ∣≤u——全部现代误差分析的出发点 |
| n 步运算 | 相对误差 ≲nu:双精度算一万步仍可靠,算一亿步要留神 |
| 向前 / 向后误差 | 向前 = 离真值多远;向后 = 是不是某个邻近问题的精确答案(定义 1.2.11) |
| 函数条件数 | cond(f,x)=f(x)xf′(x) |
| 两条分开谈 | 病态是问题的属性,不稳定是算法的属性——二者独立,处方不同 |
| 概念 | 公式 |
| 三公理 | 正定 · 齐次 · 三角不等式(定义 1.3.1) |
| 三个常用范数 | ∥x∥1=∑∣xi∣;∥x∥2=(∑xi2)1/2;∥x∥∞=maxi∣xi∣(定理 1.3.1) |
| p-范数与极限 | ∥x∥p=(∑∣xi∣p)1/p;limp→∞∥x∥p=∥x∥∞(定理 1.3.2) |
| 等价定理 | 任意两种范数存在 0<m<M 使 m∥x∥β≤∥x∥α≤M∥x∥β——收敛结论与范数选择无关(定理 1.3.3) |
| 显式不等式 | ∥x∥∞≤∥x∥2≤∥x∥1≤n∥x∥∞;∥x∥2≤n∥x∥∞ |
| Cauchy–Schwarz | ∣xTy∣≤∥x∥2∥y∥2,等号当且仅当两向量线性相关——2-范数三角不等式的全部依据(引理 1.3.1) |
| 反三角不等式 | ∥x∥−∥y∥≤∥x−y∥ |
| 概念 | 公式 / 结论 | 记忆法 |
| 四公理 | 正定 · 齐次 · 三角不等式 · 次可乘 ∥AB∥≤∥A∥∥B∥(定义 1.3.2) | 第 4 条是矩阵特有 |
| 从属(算子)范数 | ∥A∥=max∥x∥=1∥Ax∥——最大拉伸倍数(定理 1.3.4) | 相容性近乎同义反复 |
| 相容性 | ∥Ax∥≤∥A∥∥x∥(定义 1.3.3) | 放缩链条的通行证 |
| ∥A∥1 | maxj∑i∣aij∣ | 列和取大(「1 竖着像一根列」) |
| ∥A∥∞ | maxi∑j∣aij∣ | 行和取大 |
| ∥A∥2 | λmax(ATA)=σmax(A)(定理 1.3.5) | 算 ATA → 最大特征值 → 开方 |
| ∥A∥F | (∑i,jaij2)1/2(定义 1.3.4) | 相容但不从属(∥I∥F=n) |
| 单位矩阵 | 任何算子范数下 ∥I∥=1 | F-范数不是算子范数的判据 |
| 概念 | 公式 |
| Neumann 界 | ∥A∥<1⇒I±A 非奇异,且 (I±A)−1≤1−∥A∥1(定理 1.3.6) |
| Neumann 级数 | ∥A∥<1⇒∑k≥0Ak=(I−A)−1,余项 ≤1−∥A∥∥A∥N+1(定理 1.3.7) |
| 条件数(矩阵版) | cond(A)=∥A∥∥A−1∥≥1;∥x∥∥δx∥≤cond(A)∥b∥∥δb∥ |
中学类比的矩阵版:∥A∥<1 即 ∣r∣<1,I−A 即 1−r,(I−A)−1=∑Ak 即 1−r1——迭代法收敛性全靠这一套。
| 概念 | 公式 / 结论 |
| 内积公理 | 对称 · 对第一变元线性 · 正定(定义 2.1.1) |
| 诱导范数 | ∥x∥=⟨x,x⟩;Cauchy–Schwarz ∣⟨x,y⟩∣≤∥x∥∥y∥ |
| 是否来自内积 | 平行四边形恒等式 ∥x+y∥2+∥x−y∥2=2∥x∥2+2∥y∥2(定理 2.1.2)——只有 2-范数满足 |
| 正交组 | 两两内积为 0 的非零向量组必线性无关(定理 2.1.3) |
| 标准正交基坐标 | x=∑i⟨x,qi⟩qi;Parseval ∥x∥2=∑i∣⟨x,qi⟩∣2(定理 2.1.4) |
| 正交矩阵 | QTQ=I、Q−1=QT、∣detQ∣=1、cond2(Q)=1、保内积保范数(定义 2.1.3、定理 2.1.5) |
| 正交不变性 | ∥QA∥2=∥A∥2,∥QA∥F=∥A∥F(定理 2.1.6)——数值算法偏爱正交变换的全部理由 |
| 概念 | 公式 |
| 四个子空间 | C(A)⊆Rm、N(A)⊆Rn、C(AT)⊆Rn、N(AT)⊆Rm(定义 2.2.1) |
| 维数(秩定理) | dimC(A)=dimC(AT)=r;dimN(A)=n−r;dimN(AT)=m−r(定理 2.2.1) |
| 两对正交补 | C(AT)=N(A)⊥;C(A)=N(AT)⊥(定理 2.2.2) |
| 正交分解 | Rm=C(A)⊕N(AT),b=p+e,p⊥e(定理 2.2.3) |
| 投影是最近点 | 投影 p 是子空间中离 x 最近的点(定理 2.2.4) |
| 投影矩阵 | P=A(ATA)−1AT;PT=P、P2=P、trP=r、∥P∥2=1(定理 2.2.5) |
| 判投影 | 对称 + 幂等即可,不必回到定义式;只幂等不对称的是斜投影 |
| 最小二乘 | 正态方程 ATAx=ATb;列满秩时 x^=(ATA)−1ATb(定理 2.2.6) |
| 残差自检 | ATr=0(残差落在左零空间)——算完顺手验一下 |
| 加权版 | x^=(ATWA)−1ATWb(定理 2.2.7) |
| 概念 | 公式 / 结论 |
| CGS 系数 | rij=qiTaj(原始列)——正交性损失 cond2u,勿用于生产 |
| MGS 系数 | rij=qiTv(当前列)——损失 condu,一行之差 |
| QR 分解 | A=QR,QTQ=I,R 上三角;R 对角元为正时唯一(定理 2.3.1、定理 2.3.2) |
| 分层张成 | span{q1,…,qk}=span{a1,…,ak}——QR 区别于 SVD 的关键 |
| Householder | H=I−2vTvvvT:对称、正交、H2=I、detH=−1(定义 2.3.1、定理 2.3.3) |
| 消元向量 | v=x+sgn(x1)∥x∥2e1,α=−sgn(x1)∥x∥2——取反号是为了避免相近数相减 |
| Givens | c=x1/r,s=x2/r,r=hypot(x1,x2);detG=+1(定义 2.3.2、定理 2.3.4) |
| 正交性损失 | CGS cond2u / MGS condu / Householder & Givens u |
| 复杂度 | GS 2mn2;Householder 2mn2−32n3;Givens ≈6mn2 |
| 选型口诀 | 稠密用 Householder,稀疏用 Givens;MGS 在条件数温和且需要显式 Q 时可用 |
| QR 解最小二乘 | Rx^=(QTb)1:n,∥r∥2=∥d∥2;误差 ∼cond(A)u vs 正态方程 ∼cond(A)2u(定理 2.3.5) |
| 概念 | 公式 / 结论 |
| 条件数 | cond(A)=∥A∥∥A−1∥;cond2=σmax/σmin(定义 2.4.1) |
| 基本性质 | ≥1;cond(A−1)=cond(A);cond(cA)=cond(A);cond2(Q)=1(定理 2.4.1) |
| 右端扰动 | ∥x∥∥δx∥≤cond(A)∥b∥∥δb∥(定理 2.4.2) |
| 系数扰动 | ∥x∥∥δx∥≤1−cond(A)ρAcond(A)(ρA+ρb),需 cond⋅ρA<1(定理 2.4.3) |
| 有效数字损失 | k≈log10cond(A)——能保住几位的定量答案 |
| 残差 ≠ 误差 | e=A−1r,∥x∥∥e∥≤cond(A)∥b∥∥r∥(定理 2.4.4) |
| 两个阈值 | cond≳108≈u−1/2:弃正态方程;cond≳1016≈u−1:双精度无解 |
| 概念 | 公式 / 结论 |
| 特征值与不变量 | Av=λv;trA=∑λi,detA=∏λi(定义 2.5.1) |
| 谱半径 | ρ(A)=maxi∣λi∣;ρ(A)≤∥A∥(任一相容范数),反向一般不成立(定理 2.5.1) |
| Gerschgorin | ∣λ−aii∣≤∑j=i∣aij∣;连通并集含同样多个特征值(定理 2.5.2) |
| 对角占优 | ∣aii∣>∑j=i∣aij∣ ∀i⇒A 非奇异 |
| Rayleigh 商 | R(x)=xTxxTAx;λmin=minR≤R(x)≤maxR=λmax(定义 2.5.2、定理 2.5.4) |
| Courant–Fischer | λk=maxdimS=kmin0=x∈SR(x)——全部中间特征值的变分刻画(定理 2.5.5) |
| 幂法收敛 | 向量 O(∣λ2/λ1∣k);Rayleigh 商 O(∣λ2/λ1∣2k)(定理 2.5.3) |
| 对称扰动 | ∣λi(A+E)−λi(A)∣≤∥E∥2(Weyl,定理 2.5.6) |
| 一般扰动 | ≤cond2(V)∥E∥2(Bauer–Fike) |
| 重特征值 | 非正规 k 重根:移动 O(∥E∥1/k)——固有病态,换算法无效 |
| 概念 | 公式 / 结论 |
| SVD | A=UΣVT,σ1≥⋯≥σr>0;Avi=σiui,ATui=σivi(定理 2.6.1) |
| 与特征值 | ATAvi=σi2vi;AATui=σi2ui |
| 四个子空间 | C(A)=span{u1..ur};N(AT)=span{ur+1..um};C(AT)=span{v1..vr};N(A)=span{vr+1..vn}(定理 2.6.2) |
| 范数与条件数 | ∥A∥2=σ1;∥A∥F=∑σi2;cond2=σ1/σr;∣detA∣=∏σi |
| 外积形式 | A=∑i≤rσiuiviT——秩 1 矩阵按重要性叠加 |
| 伪逆 | A+=VΣ+UT;Penrose 四条件;列满秩 A+=(ATA)−1AT(定义 2.6.1、定理 2.6.3) |
| 秩亏最小二乘 | x^=A+b 是最小范数最小二乘解(唯一) |
| Eckart–Young | minrankB≤k∥A−B∥2=∥A−Ak∥2=σk+1;F-范数版 =∑i>kσi2(定理 2.6.4) |
| 数值秩 | #{i:σi>tσ1},t 按数据噪声水平选,不能照抄库的默认值 |
| 迹不等式 | ∣tr(ATB)∣≤∑iσi(A)σi(B)(例 2.6.4) |
上面 13 张表不好整块背;按这四组记,每组一个动作,够了:
| 框架 | 内容 | 对应本页 |
| 误差三件套 | ε(差多少)· εr(差的比例)· k≈log10cond(能信几位) | 一、四、十一 |
| 四原则 | 稳定性看方向 · 防吞噬(先小后大)· 防相消(先改写)· 防小除数(换尺度) | 三 |
| 正交化解 | 稠密 Householder · 稀疏 Givens · 最小二乘用 QR · 低秩与秩亏用 SVD | 十 |
| 两把尺 | ∥A∥<1⇒ 可逆 + Neumann 收敛;cond≳108 换 QR、≳1016 换问题 | 七、十一 |
- 先问病态,再问算法。 条件数是问题的属性,稳定性是算法的属性;诊断顺序一错,努力全白费(1.2.6 的表)。
- 有效数字是最诚实的货币。 一次相近数相减、一个小除数、一次大小悬殊的求和,都能让打印出的 17 位只剩 1~2 位真话。
- ∥A∥<1 是一张万能保票。 同时给出 I±A 可逆、逆有界、Neumann 级数收敛、迭代误差几何衰减——第 2 章的迭代法全靠它起步。