Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

补充篇 · 数值线性代数工具箱

本页不是课堂第 2 章。 课堂第 2 章是线性方程组的解法；本页是课后补充的现代数值线性代数工具箱，对应原书 §1.3 的扩充，老师课堂未系统讲授。

以下节号 2.1–2.8 是补充篇内部编号，不是课堂第 2 章的节号；课堂第 2 章的 2.1–2.5 见线性方程组的解法。

第一章把「用计算机算数」的两个基本问题立了起来：误差怎么度量、怎么控制（1.2），以及度量「大小」的尺子怎么造（1.3）。但第一章的范数只回答「多大」——它答不出「哪个方向」「有多敏感」「有多低维」。补充篇正是从这里出发，把范数升级为几何：引入内积（2.1），由内积定义正交；正交给出投影（2.2）；投影导出最小二乘与 QR 分解（2.3）；条件数把「敏感」量化为一个数（2.4）；谱把「矩阵的本质行为」压缩成特征值与奇异值（2.5、2.6）。一句话，第一章教你把「大小」量准，补充篇教你看清「结构」。

本补充篇对标原书 1.3 节并大幅扩充：原书只讲了向量范数与矩阵范数的公理与公式，这里补上的是后面每一章都要反复动用的正交 / 投影 / 分解 / 谱工具箱，四者合起来构成了「现代数值线性代数的最小完备集合」。学完本补充篇，你才具备读懂后续章节的全部语言。

八节一览（补充篇内部编号）

这一张表是本章唯一的「逐节总览」：预习时先看「核心问题」列，弄清每节要解决什么；复习时看「关键结论」与「典型陷阱」两列，直接对答案、避坑。

节核心问题关键结论典型陷阱
2.1 内积与正交「垂直」怎么公理化，才能用到任意维空间？内积的四条公理（定义 2.1.1）；只有 2-范数来自内积（判据是平行四边形恒等式 定理 2.1.2）；正交组必线性无关（定理 2.1.3）；勾股定理与标准正交基下的坐标、Parseval（定理 2.1.4）；正交矩阵的等价刻画（定理 2.1.5）；正交变换保持 2-范数与 Frobenius 范数（定理 2.1.6）向量长度为 1 就当成标准正交（忘了查两两内积为零）；把 1-范数 / ∞-范数当成内积范数
2.2 子空间与投影一个矩阵把空间分成哪几块？四个基本子空间与两对正交补（定理 2.2.1、定理 2.2.2）；正交分解与最近点（定理 2.2.3、定理 2.2.4）；投影矩阵 P=A(ATA)−1ATP=A(A^{\mathrm T}A)^{-1}A^{\mathrm T}（定理 2.2.5）；正态方程给出的最小二乘刻画（定理 2.2.6）；加权最小二乘（定理 2.2.7）用行变换后得到的列去当列空间的基；解完不回代检查 ATr=0A^{\mathrm T}\boldsymbol{r}=\boldsymbol{0}
2.3 正交化与 QR怎么造出一组标准正交基？CGS 与 MGS 的代码只差一行，稳定性却相差一个 cond\mathrm{cond}；Householder（选符号防相消）；Givens（适合稀疏）；QR 唯一性（定理 2.3.2）；QR 解最小二乘 cond u\mathrm{cond},u vs 正态方程 cond2u\mathrm{cond}^2u（定理 2.3.5）手写 CGS；把 MGS 写成 CGS；Householder 符号取错
2.4 条件数与扰动算出来的解能信几位？条件数的定义 cond=∥A∥∥A−1∥\mathrm{cond}=\lVert A\rVert\lVert A^{-1}\rVert、cond2=σ1/σr\mathrm{cond}_2=\sigma_1/\sigma_r；右端扰动界（定理 2.4.2）；系数扰动界（定理 2.4.3）；有效数字估计 k≈log⁡10condk\approx\log_{10}\mathrm{cond}；e=A−1r\boldsymbol{e}=A^{-1}\boldsymbol{r}，残差 ≠ 误差（定理 2.4.4）拿残差当误差；忘了行均衡化；写 cond\mathrm{cond} 时不注明是哪个范数
2.5 谱与对称谱矩阵的本质行为由什么刻画？ρ≤∥A∥\rho\le\lVert A\rVert；Gerschgorin 圆盘圈住全部特征值（定理 2.5.2）；Rayleigh 商与变分原理（定理 2.5.4、定理 2.5.5）；幂法的收敛速度（定理 2.5.3）；Weyl 与 Bauer–Fike 扰动界（定理 2.5.6）；重特征值开方敏感把 ρ\rho 当成 ∥A∥\lVert A\rVert；以为重特征值也能算准；忘记 Gerschgorin 还有列版本
2.6 SVD 与低秩长方形矩阵也有谱吗？A=UΣVTA=U\Sigma V^{\mathrm T} 的两种读法；四个子空间的标准正交基（定理 2.6.2）；伪逆与秩亏最小二乘（定理 2.6.3）；Eckart–Young 的最优低秩逼近（定理 2.6.4）；数值秩与截断拿 ATAA^{\mathrm T}A 的特征值去算 SVD；伪逆不截断；PCA 忘了中心化
2.7 数值实验理论在浮点下还成立吗？四组实验：cond2u/cond u/u\mathrm{cond}^2u/\mathrm{cond},u/u 实测、k≈log⁡10condk\approx\log_{10}\mathrm{cond}、Eckart–Young 与压缩曲线、幂法速度与开方敏感只贴代码，拿不出与理论量级的逐项对照
2.8 小结与陷阱全章怎么用、哪些坑别踩？八工具选型表；八个陷阱（全部有实测证据）；与前后章的连接—

一条红线贯穿：第一章的「误差 → 条件数 → 稳定性」，在第二章找到了三个矩阵版的落点——

ATA 把 cond 平方 (正态方程)  ⟶  Ax=b 的 cond⋅u  ⟶  σ1/σr (条件数的谱表达).A^{\mathrm T}A\ \text{把}\ \mathrm{cond}\ \text{平方}\ (\text{正态方程}) ;\longrightarrow; A\boldsymbol{x}=\boldsymbol{b}\ \text{的}\ \mathrm{cond}\cdot u ;\longrightarrow; \sigma_1/\sigma_r\ (\text{条件数的谱表达}).

学习路径建议

  • 只想先会解最小二乘：读 2.2（投影与正态方程）和 2.3.6（为什么改用 QR），2.5、2.6 可以先跳过。
  • 要做数据分析 / 机器学习：主线是 2.1→2.2→2.6；上 SVD 之前，先补 2.5.4（Rayleigh 商与变分）。
  • 要读懂后续章节的全部算法：本章逐节通读，尤其别跳过 2.3（正交化）与 2.6（SVD）——这两节是第三至第六章的共同基础。
  • 只想应付考试 / 快速复习：2.1.4、2.2.6、2.3.7、2.4.6、2.5.6、2.6.7 六张「公式速查 + 常见错误」合起来就是全章精华；跨章的复习路线见最小必读路径。
怎么用这一章
  • 先读蓝色「直觉」框：第二章的直觉比第一章更重要——正交 / 投影 / SVD 都是几何概念，先建立几何图像，再抠公式，效率会高得多。
  • 动手验证每一条定理：本章的定理几乎都能用 3 行 NumPy 验证（文中给了代码）。不要跳过验证——「公式看着对、数值上却是错的」正是第二章的核心教训（2.3.3、2.4.4）。
  • 每节的「小结与常见错误」必读：那里记着本章所有「看着对、实际错」的陷阱，每一条都有实测数字支撑。
  • 做完 2.7 的四组实验：实验报告是课程考核中 A 组目标（诊断 / 批判 / 迁移）的直接依据。