Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

闭卷回忆卡 · 补充篇:数值线性代数工具箱

本页属“补充篇 · 数值线性代数工具箱”,不是课堂第 2 章;课堂第 2 章见线性方程组的解法。

用法:遮住答案,在空白纸上写;写完再展开对照。每张卡末尾标记 ✓ 能完整写出 / △ 有关键词但缺条件 / × 完全想不起,下一轮只重做 △ 与 ×。全页 46 张卡,一轮约 35 分钟。本页负责检索;压缩看公式与结论卡,辨析看易混对照卡,考场节奏看综合自测卷;第一章的对应卡片见第一章回忆卡。

A. 定义卡

A1. 写出内积的三条公理与诱导范数;除 xTy\boldsymbol x^{\mathrm T}\boldsymbol y 外再举一族合法的内积。

解答

对称性 ⟨x,y⟩=⟨y,x⟩\langle\boldsymbol x,\boldsymbol y\rangle=\langle\boldsymbol y,\boldsymbol x\rangle;对第一变元线性(对第二变元由对称性同理);正定性 ⟨x,x⟩≥0\langle\boldsymbol x,\boldsymbol x\rangle\ge0 且为零当且仅当 x=0\boldsymbol x=\boldsymbol 0。诱导范数 ∥x∥=⟨x,x⟩\lVert\boldsymbol x\rVert=\sqrt{\langle\boldsymbol x,\boldsymbol x\rangle}、距离 d(x,y)=∥x−y∥d(\boldsymbol x,\boldsymbol y)=\lVert\boldsymbol x-\boldsymbol y\rVert。族:加权内积 ⟨x,y⟩D=xTDy\langle\boldsymbol x,\boldsymbol y\rangle_D=\boldsymbol x^{\mathrm T}D\boldsymbol y(DD 对称正定;对角正权只是特例)(定义 2.1.1、例 2.1.1)。(✓ / △ / ×)

A2. 「正交组」「标准正交组」「标准正交基」三者的差别是什么?零向量算不算正交?

解答

正交组=非零向量组且两两内积为零;标准正交组=正交组中每个向量范数为 11;标准正交基=含 dim⁡V\dim V 个向量的标准正交组。零向量与任何向量约定为正交(定义 2.1.2)。(✓ / △ / ×)

A3. 正交矩阵与「列正交矩阵」怎么定义?二者差在哪?

解答

方阵 QQ 满足 QTQ=IQ^{\mathrm T}Q=I 称正交矩阵;长方阵 Q∈Rm×nQ\in\mathbb R^{m\times n}(m≥nm\ge n)满足 QTQ=InQ^{\mathrm T}Q=I_n 只称列正交矩阵——此时 QQT≠ImQQ^{\mathrm T}\neq I_m,它是一个投影矩阵(QR 里的 QQ 就是这一类)(定义 2.1.3)。(✓ / △ / ×)

A4. 写出四个基本子空间的定义,并标明各自住在哪个空间里。

解答

列空间 C(A)={Ax}⊆RmC(A)=\{A\boldsymbol x\}\subseteq\mathbb R^m;零空间 N(A)={x:Ax=0}⊆RnN(A)=\{\boldsymbol x:A\boldsymbol x=\boldsymbol 0\}\subseteq\mathbb R^n;行空间 C(AT)⊆RnC(A^{\mathrm T})\subseteq\mathbb R^n;左零空间 N(AT)⊆RmN(A^{\mathrm T})\subseteq\mathbb R^m(定义 2.2.1)。(✓ / △ / ×)

A5. 正交补 S⊥\mathcal S^{\perp} 的定义是什么?检验 x∈S⊥\boldsymbol x\in\mathcal S^{\perp} 时要不要对 S\mathcal S 的每个向量都查一遍?

解答

S⊥={x:⟨x,s⟩=0 ∀s∈S}\mathcal S^{\perp}=\{\boldsymbol x:\langle\boldsymbol x,\boldsymbol s\rangle=0\ \forall\boldsymbol s\in\mathcal S\}——与 S\mathcal S 中每个向量都正交的向量全体。实际只需查 S\mathcal S 的一组基:内积对第二变元线性,基上为零则全体为零(定义 2.2.2)。(✓ / △ / ×)

A6. 什么叫最小二乘解?什么叫残差?二者分别可不可以算出来?

解答

x^\hat{\boldsymbol x} 最小化 ∥Ax−b∥2\lVert A\boldsymbol x-\boldsymbol b\rVert_2 时称最小二乘解;r=b−Ax^\boldsymbol r=\boldsymbol b-A\hat{\boldsymbol x} 称残差。残差可以算(b\boldsymbol b 与 x^\hat{\boldsymbol x} 都在手上),真解与误差 x−x^\boldsymbol x-\hat{\boldsymbol x} 一般算不出来(定义 2.2.3)。(✓ / △ / ×)

A7. Householder 变换的公式与几何意义是什么?反射向量与镜面分别是谁?

解答

H=I−2vTvvvTH=I-\dfrac{2}{\boldsymbol v^{\mathrm T}\boldsymbol v}\boldsymbol v\boldsymbol v^{\mathrm T}:关于超平面 v⊥\boldsymbol v^{\perp} 的镜像——v\boldsymbol v 方向翻转(Hv=−vH\boldsymbol v=-\boldsymbol v),v⊥\boldsymbol v^{\perp} 上不动(定义 2.3.1、定理 2.3.3)。(✓ / △ / ×)

A8. Givens 旋转怎么定义?它与 Householder 的关键区别(消元粒度、行列式)是什么?

解答

单位阵基础上把 (i,i),(i,j),(j,i),(j,j)(i,i),(i,j),(j,i),(j,j) 四个位置换成 c,s,−s,cc,s,-s,c(c2+s2=1c^2+s^2=1)。它只作用在两个坐标上、一次消一个元素、det⁡G=+1\det G=+1(保定向);Householder 一次改动整个子块、det⁡H=−1\det H=-1(反定向)(定义 2.3.2、2.3.5)。(✓ / △ / ×)

A9. 矩阵条件数怎么定义?谱条件数等于什么?它衡量的是「元素多大」还是别的?

解答

cond(A)=∥A∥ ∥A−1∥\mathrm{cond}(A)=\lVert A\rVert\,\lVert A^{-1}\rVert(依赖所选范数,报告必须注明);cond2(A)=σmax⁡/σmin⁡=σ1/σr\mathrm{cond}_2(A)=\sigma_{\max}/\sigma_{\min}=\sigma_1/\sigma_r。它量的是离奇异有多远(行列向量之间的接近平行程度),对整体缩放免疫:cond(cA)=cond(A)\mathrm{cond}(cA)=\mathrm{cond}(A)(定义 2.4.1、定理 2.4.1)。(✓ / △ / ×)

A10. 特征值、谱、谱半径分别怎么定义?实矩阵的特征值一定是实数吗?

解答

Av=λvA\boldsymbol v=\lambda\boldsymbol v(v≠0\boldsymbol v\neq\boldsymbol 0)时 λ\lambda 为特征值,λ  ⟺  det⁡(A−λI)=0\lambda\iff\det(A-\lambda I)=0;全部特征值(含重数)构成谱 σ(A)\sigma(A);ρ(A)=max⁡∣λi∣\rho(A)=\max\lvert\lambda_i\rvert。实矩阵也可以有复特征值(旋转矩阵即例);只有对称矩阵保证全实(定义 2.5.1、定理 2.5.1)。(✓ / △ / ×)

A 组的适用条件
  • 内积公理只保证「对称 + 线性 + 正定」,任何满足它们的二元函数都是内积;换内积就换正交、换投影、换最优解。
  • 「正交」永远相对某个内积而言:写 xTy=0\boldsymbol x^{\mathrm T}\boldsymbol y=0 时默认 Euclid 内积,切换内积后这句话不再是判据。
  • 长方阵的 QQ 只有列正交,「逆等于转置」只对方阵成立。
  • 条件数依赖范数(cond1,cond2,cond∞\mathrm{cond}_1,\mathrm{cond}_2,\mathrm{cond}_\infty 可差 nn 倍量级),但「丢几位」的结论一致——这是范数等价性在起作用。
  • 谱半径 ρ\rho 与范数 ∥A∥\lVert A\rVert 是两个不同的数,只在正规矩阵上相等。

B. 结论卡

B1. 内积诱导的范数自动满足哪些性质?怎么判断一个范数不来自内积?

解答

自动满足 Cauchy–Schwarz、三角不等式、正定与齐次——即确实是范数。判据是平行四边形恒等式 ∥x+y∥2+∥x−y∥2=2∥x∥2+2∥y∥2\lVert\boldsymbol x+\boldsymbol y\rVert^2+\lVert\boldsymbol x-\boldsymbol y\rVert^2=2\lVert\boldsymbol x\rVert^2+2\lVert\boldsymbol y\rVert^2:满足它才来自内积(内积由极化恒等式反算回来)。∥⋅∥1\lVert\cdot\rVert_1 与 ∥⋅∥∞\lVert\cdot\rVert_\infty 在 x=(1,0),y=(0,1)\boldsymbol x=(1,0),\boldsymbol y=(0,1) 上立刻失败(定理 2.1.1、定理 2.1.2、例 2.1.2)。(✓ / △ / ×)

B2. 正交组为什么必线性无关?标准正交基下「求坐标」与「求长度」各退化成什么?

解答

设 ∑icivi=0\sum_ic_i\boldsymbol v_i=\boldsymbol 0,两边与 vj\boldsymbol v_j 作内积,其余项因正交消失,得 cj∥vj∥2=0c_j\lVert\boldsymbol v_j\rVert^2=0,故 cj=0c_j=0。标准正交基下坐标就是内积 αi=⟨x,qi⟩\alpha_i=\langle\boldsymbol x,\boldsymbol q_i\rangle,长度按 Parseval ∥x∥2=∑i∣⟨x,qi⟩∣2\lVert\boldsymbol x\rVert^2=\sum_i\lvert\langle\boldsymbol x,\boldsymbol q_i\rangle\rvert^2,正交向量之和满足勾股定理(定理 2.1.3、定理 2.1.4)。(✓ / △ / ×)

B3. 正交矩阵有哪些等价刻画(至少写六条)?正交变换为什么「不放大误差」?

解答

QTQ=IQ^{\mathrm T}Q=I;QQT=IQQ^{\mathrm T}=I;Q−1=QTQ^{-1}=Q^{\mathrm T};列(行)向量组标准正交;保内积、保长度、保距离;∣det⁡Q∣=1\lvert\det Q\rvert=1;奇异值全为 11(∥Q∥2=cond2(Q)=1\lVert Q\rVert_2=\mathrm{cond}_2(Q)=1);复特征值模全为 11。误差层面:∥QA∥2=∥A∥2\lVert QA\rVert_2=\lVert A\rVert_2、∥QA∥F=∥AP∥F=∥A∥F\lVert QA\rVert_F=\lVert AP\rVert_F=\lVert A\rVert_F——放大因子恒为 11,误差与矩阵大小同比例、不随变换次数累积(定理 2.1.5、定理 2.1.6)。(✓ / △ / ×)

B4. 写出行秩=列秩、两个维数公式与两对正交补,并说出它们是哪种分解。

解答

rank⁡A=dim⁡C(A)=dim⁡C(AT)=r\operatorname{rank}A=\dim C(A)=\dim C(A^{\mathrm T})=r;dim⁡N(A)=n−r\dim N(A)=n-r、dim⁡N(AT)=m−r\dim N(A^{\mathrm T})=m-r;C(AT)=N(A)⊥C(A^{\mathrm T})=N(A)^{\perp}、C(A)=N(AT)⊥C(A)=N(A^{\mathrm T})^{\perp},即 Rn=C(AT)⊕N(A)\mathbb R^n=C(A^{\mathrm T})\oplus N(A)、Rm=C(A)⊕N(AT)\mathbb R^m=C(A)\oplus N(A^{\mathrm T}) 两个正交直和。由此任何 b\boldsymbol b 唯一分解为 b=p+e\boldsymbol b=\boldsymbol p+\boldsymbol e(p∈C(A)\boldsymbol p\in C(A)、e∈N(AT)\boldsymbol e\in N(A^{\mathrm T})),且 e⊥p\boldsymbol e\perp\boldsymbol p(定理 2.2.1、定理 2.2.2)。(✓ / △ / ×)

B5. 正交分解定理说了几件事?「投影」与「最近点」是什么关系?

解答

① 每个 x\boldsymbol x 唯一写成 x=p+e\boldsymbol x=\boldsymbol p+\boldsymbol e(p∈S\boldsymbol p\in\mathcal S、e∈S⊥\boldsymbol e\in\mathcal S^{\perp});② 勾股 ∥x∥2=∥p∥2+∥e∥2\lVert\boldsymbol x\rVert^2=\lVert\boldsymbol p\rVert^2+\lVert\boldsymbol e\rVert^2;③ 有标准正交基时 p=∑i⟨x,qi⟩qi\boldsymbol p=\sum_i\langle\boldsymbol x,\boldsymbol q_i\rangle\boldsymbol q_i。最近性:∥x−s∥>∥x−p∥\lVert\boldsymbol x-\boldsymbol s\rVert\gt\lVert\boldsymbol x-\boldsymbol p\rVert 对任何 s≠p\boldsymbol s\neq\boldsymbol p 成立——投影就是最近点,最近 ⟺ 余项垂直(定理 2.2.3、定理 2.2.4)。(✓ / △ / ×)

B6. 投影矩阵 P=A(ATA)−1ATP=A(A^{\mathrm T}A)^{-1}A^{\mathrm T} 的三条性质是什么?反过来如何判定一个矩阵是正交投影?

解答

对称、幂等、特征值只取 0/10/1 且 tr⁡P=rank⁡P=rank⁡A\operatorname{tr}P=\operatorname{rank}P=\operatorname{rank}A(P≠OP\neq O 时 ∥P∥2=1\lVert P\rVert_2=1)。反之「对称 + 幂等」就是某个子空间上的正交投影——这是最省事的指纹判据;只幂等而不对称的是斜投影,余项不再垂直于子空间(定理 2.2.5、2.2.3 指纹框)。(✓ / △ / ×)

B7. 最小二乘解的存在性与唯一性各靠什么?正态方程的三件套是什么?

解答

总存在(ATb∈C(AT)=C(ATA)A^{\mathrm T}\boldsymbol b\in C(A^{\mathrm T})=C(A^{\mathrm T}A));唯一 ⟺ AA 列满秩(此时 ATAA^{\mathrm T}A 非奇异)。三件套:① ATAx^=ATb  ⟺  ATr=0  ⟺  A^{\mathrm T}A\hat{\boldsymbol x}=A^{\mathrm T}\boldsymbol b\iff A^{\mathrm T}\boldsymbol r=\boldsymbol 0\iff 最小二乘解;② x^=(ATA)−1ATb\hat{\boldsymbol x}=(A^{\mathrm T}A)^{-1}A^{\mathrm T}\boldsymbol b、Ax^=PbA\hat{\boldsymbol x}=P\boldsymbol b、r∈N(AT)\boldsymbol r\in N(A^{\mathrm T});③ ∥r∥2=∥b∥2−∥Ax^∥2\lVert\boldsymbol r\rVert^2=\lVert\boldsymbol b\rVert^2-\lVert A\hat{\boldsymbol x}\rVert^2(勾股)(定理 2.2.6)。(✓ / △ / ×)

B8. 加权最小二乘的解是什么?它与「换内积」是什么关系?与普通最小二乘有什么关系?

解答

x^=(ATWA)−1ATWb\hat{\boldsymbol x}=(A^{\mathrm T}WA)^{-1}A^{\mathrm T}W\boldsymbol b,满足加权正态方程 ATW(Ax−b)=0A^{\mathrm T}W(A\boldsymbol x-\boldsymbol b)=\boldsymbol 0;几何上就是 b\boldsymbol b 在 C(A)C(A) 上、按加权内积 ⟨⋅,⋅⟩W\langle\cdot,\cdot\rangle_W 作正交投影的结果——公式结构不变,只换内积。又若 W=LTLW=L^{\mathrm T}L,则加权最小二乘 ⟺ 方程两边同乘 LL 后做普通最小二乘(定理 2.2.7)。(✓ / △ / ×)

B9. Gram–Schmidt 给出什么?QR 分解什么时候唯一?「分层张成」为什么重要?

解答

给出 A=QRA=QR:Q=[q1,…,qn]Q=[\boldsymbol q_1,\dots,\boldsymbol q_n] 列正交、RR 上三角且 rjj=∥v∥2>0r_{jj}=\lVert\boldsymbol v\rVert_2\gt0;在「RR 对角元全为正」的规范化下分解唯一(否则可按列成对变号)。分层张成 span⁡{q1..qk}=span⁡{a1..ak}\operatorname{span}\{\boldsymbol q_1..\boldsymbol q_k\}=\operatorname{span}\{\boldsymbol a_1..\boldsymbol a_k\} 是 QR 区别于 SVD 的关键性质,也是 QR 迭代求特征值的基础;秩亏时改用列主元 QR(AP=QRAP=QR,∣r11∣≥⋯|r_{11}|\ge\cdots)(定理 2.3.1、定理 2.3.2)。(✓ / △ / ×)

B10. 四种正交化方法(CGS / MGS / Householder / Givens)的正交性损失各是什么量级?怎么选?

解答

CGS:cond2u\mathrm{cond}^2u(cond≳u−1/2≈108\mathrm{cond}\gtrsim u^{-1/2}\approx10^8 后彻底失效,误差饱和在 O(n)O(n)——最坏情形);MGS:cond u\mathrm{cond}\,u;Householder 与 Givens:uu(与 cond\mathrm{cond} 无关)。选法:稠密用 Householder(LAPACK geqrf、NumPy 默认),稀疏 / 带状 / 局部修改用 Givens(一次只动两行),需要显式 QQ 且条件数温和时可用 MGS,CGS 只用于教学(2.3.3 对比表、定理 2.3.3、定理 2.3.4)。(✓ / △ / ×)

B11. 用 QR 解最小二乘要解什么方程?为什么它比正态方程好,好在哪个量级?

解答

把 AA 的全 QR 代入:∥Ax−b∥2=∥Rx−c∥2+∥d∥2\lVert A\boldsymbol x-\boldsymbol b\rVert^2=\lVert R\boldsymbol x-\boldsymbol c\rVert^2+\lVert\boldsymbol d\rVert^2(c\boldsymbol c 为 QTbQ^{\mathrm T}\boldsymbol b 前 nn 行),故解上三角方程 Rx^=cR\hat{\boldsymbol x}=\boldsymbol c(回代 O(n2)O(n^2)),最小残差范数 =∥d∥2=\lVert\boldsymbol d\rVert_2。全程不形成 ATAA^{\mathrm T}A,误差量级从正态方程的 cond2u\mathrm{cond}^2u 降到 cond u\mathrm{cond}\,u——cond≳108\mathrm{cond}\gtrsim10^{8} 时必须弃用正态方程(定理 2.3.5、2.3.6)。(✓ / △ / ×)

B12. 条件数的五条基本性质 + 两条扰动界 + 「丢几位」的估计。

解答

cond(A)≥1\mathrm{cond}(A)\ge1(算子范数下);cond(A−1)=cond(A)\mathrm{cond}(A^{-1})=\mathrm{cond}(A);cond(cA)=cond(A)\mathrm{cond}(cA)=\mathrm{cond}(A);cond2(Q)=1\mathrm{cond}_2(Q)=1;cond(AB)≤cond(A)cond(B)\mathrm{cond}(AB)\le\mathrm{cond}(A)\mathrm{cond}(B)(一般不是等式)。右端扰动 ∥δx∥∥x∥≤cond∥δb∥∥b∥\dfrac{\lVert\delta\boldsymbol x\rVert}{\lVert\boldsymbol x\rVert}\le\mathrm{cond}\dfrac{\lVert\delta\boldsymbol b\rVert}{\lVert\boldsymbol b\rVert}(紧界);系数扰动 ≤cond1−condρA(ρA+ρb)\le\dfrac{\mathrm{cond}}{1-\mathrm{cond}\rho_A}(\rho_A+\rho_b),要求 cond⋅ρA<1\mathrm{cond}\cdot\rho_A\lt1。丢失位数 k≈log⁡10condk\approx\log_{10}\mathrm{cond};cond≳1016=u−1\mathrm{cond}\gtrsim10^{16}=u^{-1} 时双精度形同奇异(定理 2.4.1–定理 2.4.3、2.4.2)。(✓ / △ / ×)

B13. 「残差小」为什么推不出「误差小」?正确的判据是什么?

解答

因为 e=x^−x=−A−1r\boldsymbol e=\hat{\boldsymbol x}-\boldsymbol x=-A^{-1}\boldsymbol r,故 ∥e∥∥x∥≤cond(A)∥r∥∥b∥\dfrac{\lVert\boldsymbol e\rVert}{\lVert\boldsymbol x\rVert}\le\mathrm{cond}(A)\dfrac{\lVert\boldsymbol r\rVert}{\lVert\boldsymbol b\rVert}:两者之间隔着条件数。正确判据是 cond⋅∥r∥/∥b∥\mathrm{cond}\cdot\lVert\boldsymbol r\rVert/\lVert\boldsymbol b\rVert,不是 ∥r∥\lVert\boldsymbol r\rVert(实测:残差相对量 2.5×10−122.5\times10^{-12} 时误差可达 50%50\%)。求解器能保证的是残差(后向),用户想要的是误差(前向)(定理 2.4.4)。(✓ / △ / ×)

B14. 谱半径与范数是什么关系?Gerschgorin 圆盘定理说了什么、怎么用?

解答

ρ(A)≤∥A∥\rho(A)\le\lVert A\rVert 对任何相容范数成立,但可远小于范数(Jordan 块:ρ=1\rho=1、∥⋅∥2≈1000\lVert\cdot\rVert_2\approx1000)。Gerschgorin:∣λ−aii∣≤ri=∑j≠i∣aij∣\lvert\lambda-a_{ii}\rvert\le r_i=\sum_{j\neq i}\lvert a_{ij}\rvert(行版本,列版本对 ATA^{\mathrm T} 用),全部特征值落在圆盘并集内;若 kk 个圆盘构成与其他圆盘不相交的连通区域,则其中恰含 kk 个特征值;行、列两版本取交集可收紧围栏(注意:逐盘配对取交只是启发式)。严格对角占优 ∣aii∣>ri ∀i\lvert a_{ii}\rvert\gt r_i\ \forall i ⟹ 0∉∪Di0\notin\cup D_i ⟹ 非奇异(定理 2.5.2、2.5.2)。(✓ / △ / ×)

B15. Rayleigh 商的两个极值性质是什么?Courant–Fischer 说了什么?幂法的收敛速度由谁决定?

解答

R(x)=xTAx/xTxR(\boldsymbol x)=\boldsymbol x^{\mathrm T}A\boldsymbol x/\boldsymbol x^{\mathrm T}\boldsymbol x 是特征值的加权平均,故 λmin⁡=min⁡R\lambda_{\min}=\min R、λmax⁡=max⁡R\lambda_{\max}=\max R,极值点恰是对应特征向量。Courant–Fischer:λk=min⁡dim⁡S=kmax⁡0≠x∈SR(x)\lambda_k=\min_{\dim\mathcal S=k}\max_{\boldsymbol 0\neq\boldsymbol x\in\mathcal S}R(\boldsymbol x)(对 −A-A 用一次得第二等式)——特征值问题由此变成优化问题,Lanczos / 子空间迭代都从它出发。幂法:向量的方向误差 O(∣λ2/λ1∣k)O(\lvert\lambda_2/\lambda_1\rvert^k),Rayleigh 商误差 O(∣λ2/λ1∣2k)O(\lvert\lambda_2/\lambda_1\rvert^{2k})——同样精度所需步数减半(定理 2.5.3–定理 2.5.5)。(✓ / △ / ×)

B16. 特征值对扰动有多敏感?对称情形、一般情形、重特征值情形各是什么结论?

解答

对称(Weyl):∣λi(A+E)−λi(A)∣≤∥E∥2\lvert\lambda_i(A+E)-\lambda_i(A)\rvert\le\lVert E\rVert_2,1-Lipschitz,一点都不放大;一般可对角化(Bauer–Fike):≤cond2(V)∥E∥2\le\mathrm{cond}_2(V)\lVert E\rVert_2,放大因子就是特征向量矩阵的条件数(对称时可取 VV 正交,退化为情形一);非正规 kk 重特征值:位移 O(∥E∥1/k)O(\lVert E\rVert^{1/k})(Jordan 块 k=2k=2 时精确等于 t\sqrt t)——固有病态,任何算法都救不了(定理 2.5.6)。(✓ / △ / ×)

B17. SVD 一次性交出哪些东西?(四个子空间的基 / 三个量 / 最优低秩逼近)

解答

A=UΣVTA=U\Sigma V^{\mathrm T},σ1≥⋯≥σr>0\sigma_1\ge\cdots\ge\sigma_r\gt0:C(A)=span⁡{u1..ur}C(A)=\operatorname{span}\{\boldsymbol u_1..\boldsymbol u_r\}、N(AT)=span⁡{ur+1..um}N(A^{\mathrm T})=\operatorname{span}\{\boldsymbol u_{r+1}..\boldsymbol u_m\}、C(AT)=span⁡{v1..vr}C(A^{\mathrm T})=\operatorname{span}\{\boldsymbol v_1..\boldsymbol v_r\}、N(A)=span⁡{vr+1..vn}N(A)=\operatorname{span}\{\boldsymbol v_{r+1}..\boldsymbol v_n\}(都是标准正交基,不必再补 Gram–Schmidt);∥A∥2=σ1\lVert A\rVert_2=\sigma_1、∥A∥F=∑σi2\lVert A\rVert_F=\sqrt{\sum\sigma_i^2}、cond2=σ1/σr\mathrm{cond}_2=\sigma_1/\sigma_r、rank⁡A=#{σi>0}\operatorname{rank}A=\#\{\sigma_i\gt0\};Eckart–Young:Ak=∑i≤kσiuiviTA_k=\sum_{i\le k}\sigma_i\boldsymbol u_i\boldsymbol v_i^{\mathrm T} 是最优秩 kk 逼近,∥A−Ak∥2=σk+1\lVert A-A_k\rVert_2=\sigma_{k+1} 精确成立(定理 2.6.1–定理 2.6.4)。(✓ / △ / ×)

B18. 伪逆怎么定义、有哪些关键性质?为什么「不截断的伪逆」很危险?数值秩怎么定?

解答

A+=VΣ+UTA^{+}=V\Sigma^{+}U^{\mathrm T}(非零 σi\sigma_i 取倒数、零仍记零):满足 Penrose 四条件且唯一;AA+AA^{+}、A+AA^{+}A 分别是到 C(A)C(A)、C(AT)C(A^{\mathrm T}) 的正交投影;x^=A+b\hat{\boldsymbol x}=A^{+}\boldsymbol b 是唯一的最小范数最小二乘解(秩亏时最小的那一点,正态方程只能给出「直线上任意一点」);列满秩时 A+=(ATA)−1ATA^{+}=(A^{\mathrm T}A)^{-1}A^{\mathrm T}。危险:1/σr1/\sigma_r 会把相应方向放大 cond(A)\mathrm{cond}(A) 倍,必须按噪声水平截断。数值秩 #{i:σi>tσ1}\#\{i:\sigma_i\gt t\sigma_1\},tt 按数据噪声水平取(matrix_rank 的默认阈值 =max⁡(m,n)u=\max(m,n)u 只适合「精确矩阵数值降秩」)(定理 2.6.3、2.6.4)。(✓ / △ / ×)

B 组的适用条件与常见越界
  • 平行四边形恒等式是「范数来自内积」的充要判据(有限维版 Jordan–von Neumann),不能只查一半。
  • P=A(ATA)−1ATP=A(A^{\mathrm T}A)^{-1}A^{\mathrm T} 的前提是 AA 列满秩;秩亏时只能用伪逆或列主元 QR。
  • 「QR 唯一」只在 RR 对角元全为正的规范形式下成立;比较两套 Q,RQ,R 前先统一符号。
  • ρ<1\rho\lt1 只保证渐近收敛(ρ=lim⁡k∥Ak∥1/k\rho=\lim_k\lVert A^k\rVert^{1/k}),非正规矩阵可能先「瞬态增长」;稳妥判据是 ∥A∥<1\lVert A\rVert\lt1。
  • Eckart–Young 保证误差最小,不保证最优矩阵唯一(σk=σk+1\sigma_k=\sigma_{k+1} 时最优子空间可旋转)。

C. 公式卡

C1. 诱导范数、平行四边形恒等式、极化恒等式。

解答

∥x∥=⟨x,x⟩\lVert\boldsymbol x\rVert=\sqrt{\langle\boldsymbol x,\boldsymbol x\rangle};∥x+y∥2+∥x−y∥2=2∥x∥2+2∥y∥2\lVert\boldsymbol x+\boldsymbol y\rVert^2+\lVert\boldsymbol x-\boldsymbol y\rVert^2=2\lVert\boldsymbol x\rVert^2+2\lVert\boldsymbol y\rVert^2;⟨x,y⟩=14(∥x+y∥2−∥x−y∥2)\langle\boldsymbol x,\boldsymbol y\rangle=\tfrac14(\lVert\boldsymbol x+\boldsymbol y\rVert^2-\lVert\boldsymbol x-\boldsymbol y\rVert^2)(定义 2.1.1、定理 2.1.2)。(✓ / △ / ×)

C2. 标准正交基下:坐标、Parseval、投影公式。

解答

αi=⟨x,qi⟩\alpha_i=\langle\boldsymbol x,\boldsymbol q_i\rangle;∥x∥2=∑i∣αi∣2\lVert\boldsymbol x\rVert^2=\sum_i\lvert\alpha_i\rvert^2;p=∑i⟨x,qi⟩qi\boldsymbol p=\sum_i\langle\boldsymbol x,\boldsymbol q_i\rangle\boldsymbol q_i(定理 2.1.4、定理 2.2.3)。(✓ / △ / ×)

C3. 四个子空间的维数与两个正交直和。

解答

dim⁡C(A)=dim⁡C(AT)=r\dim C(A)=\dim C(A^{\mathrm T})=r,dim⁡N(A)=n−r\dim N(A)=n-r,dim⁡N(AT)=m−r\dim N(A^{\mathrm T})=m-r;Rn=C(AT)⊕N(A)\mathbb R^n=C(A^{\mathrm T})\oplus N(A)、Rm=C(A)⊕N(AT)\mathbb R^m=C(A)\oplus N(A^{\mathrm T})(定理 2.2.1、定理 2.2.2)。(✓ / △ / ×)

C4. 投影、投影矩阵、正态方程、加权版——四式一行收口。

解答

p=A(ATA)−1ATb\boldsymbol p=A(A^{\mathrm T}A)^{-1}A^{\mathrm T}\boldsymbol b(记 P=A(ATA)−1ATP=A(A^{\mathrm T}A)^{-1}A^{\mathrm T});ATAx=ATbA^{\mathrm T}A\boldsymbol x=A^{\mathrm T}\boldsymbol b;x^=(ATA)−1ATb\hat{\boldsymbol x}=(A^{\mathrm T}A)^{-1}A^{\mathrm T}\boldsymbol b;加权 x^=(ATWA)−1ATWb\hat{\boldsymbol x}=(A^{\mathrm T}WA)^{-1}A^{\mathrm T}W\boldsymbol b(定理 2.2.5–定理 2.2.7)。(✓ / △ / ×)

C5. 三种正交化的算法式要点(CGS / MGS 系数、Householder 消元向量、Givens 的 c,s,rc,s,r)。

解答

CGS:rij=qiTajr_{ij}=\boldsymbol q_i^{\mathrm T}\boldsymbol a_j(原始列);MGS:rij=qiTvr_{ij}=\boldsymbol q_i^{\mathrm T}\boldsymbol v(当前列,就地更新);Householder:α=−sgn⁡(x1)∥x∥2\alpha=-\operatorname{sgn}(x_1)\lVert\boldsymbol x\rVert_2、v=x−αe1\boldsymbol v=\boldsymbol x-\alpha\boldsymbol e_1、H=I−2vvT/vTvH=I-2\boldsymbol v\boldsymbol v^{\mathrm T}/\boldsymbol v^{\mathrm T}\boldsymbol v(首分量取相加,避免相消);Givens:r=hypot(x1,x2)r=\texttt{hypot}(x_1,x_2)、c=x1/rc=x_1/r、s=x2/rs=x_2/r(别手写 x12+x22\sqrt{x_1^2+x_2^2})(定理 2.3.1、定理 2.3.3、定理 2.3.4)。(✓ / △ / ×)

C6. QR 解最小二乘的两式 + 四种方法的正交性损失与复杂度。

解答

Rx^=(QTb)1:nR\hat{\boldsymbol x}=(Q^{\mathrm T}\boldsymbol b)_{1:n}、∥r∥2=∥d∥2\lVert\boldsymbol r\rVert_2=\lVert\boldsymbol d\rVert_2。损失:CGS cond2u\mathrm{cond}^2u、MGS cond u\mathrm{cond}\,u、Householder ≈u\approx u、Givens ≈u\approx u;复杂度:GS 2mn22mn^2、Householder 2mn2−23n32mn^2-\tfrac23n^3、Givens 约 6mn26mn^2(定理 2.3.5、2.3.5 对比表)。(✓ / △ / ×)

C7. 条件数全量速记(定义 + 两界 + 位数 + 残差关系)。

解答

cond=∥A∥∥A−1∥\mathrm{cond}=\lVert A\rVert\lVert A^{-1}\rVert、cond2=σ1/σr\mathrm{cond}_2=\sigma_1/\sigma_r;∥δx∥∥x∥≤cond∥δb∥∥b∥\dfrac{\lVert\delta\boldsymbol x\rVert}{\lVert\boldsymbol x\rVert}\le\mathrm{cond}\dfrac{\lVert\delta\boldsymbol b\rVert}{\lVert\boldsymbol b\rVert}、∥δx∥∥x∥≤cond1−condρA(ρA+ρb)\dfrac{\lVert\delta\boldsymbol x\rVert}{\lVert\boldsymbol x\rVert}\le\dfrac{\mathrm{cond}}{1-\mathrm{cond}\rho_A}(\rho_A+\rho_b);k≈log⁡10condk\approx\log_{10}\mathrm{cond};e=A−1r\boldsymbol e=A^{-1}\boldsymbol r、∥e∥∥x∥≤cond∥r∥∥b∥\dfrac{\lVert\boldsymbol e\rVert}{\lVert\boldsymbol x\rVert}\le\mathrm{cond}\dfrac{\lVert\boldsymbol r\rVert}{\lVert\boldsymbol b\rVert}(定理 2.4.1–定理 2.4.4)。(✓ / △ / ×)

C8. 谱侧四式:ρ≤∥A∥\rho\le\lVert A\rVert、Gerschgorin、幂法/Rayleigh 收敛率、扰动界。

解答

ρ(A)≤∥A∥\rho(A)\le\lVert A\rVert;∣λ−aii∣≤∑j≠i∣aij∣\lvert\lambda-a_{ii}\rvert\le\sum_{j\neq i}\lvert a_{ij}\rvert;向量误差 O(∣λ2/λ1∣k)O(\lvert\lambda_2/\lambda_1\rvert^k)、Rayleigh 商误差 O(∣λ2/λ1∣2k)O(\lvert\lambda_2/\lambda_1\rvert^{2k});对称 ∣Δλ∣≤∥E∥2\lvert\Delta\lambda\rvert\le\lVert E\rVert_2、一般 ≤cond2(V)∥E∥2\le\mathrm{cond}_2(V)\lVert E\rVert_2、非正规 kk 重 O(∥E∥1/k)O(\lVert E\rVert^{1/k})(定理 2.5.2、定理 2.5.3、定理 2.5.6)。(✓ / △ / ×)

C9. R(x)R(\boldsymbol x) 的定义、Courant–Fischer 两个等式、反幂法要点。

解答

R(x)=xTAx/xTxR(\boldsymbol x)=\boldsymbol x^{\mathrm T}A\boldsymbol x/\boldsymbol x^{\mathrm T}\boldsymbol x;λk=min⁡dim⁡S=kmax⁡x∈SR=max⁡dim⁡T=n−k+1min⁡x∈TR\lambda_k=\min_{\dim\mathcal S=k}\max_{\boldsymbol x\in\mathcal S}R=\max_{\dim\mathcal T=n-k+1}\min_{\boldsymbol x\in\mathcal T}R;反幂法把 AA 换成 (A−μI)−1(A-\mu I)^{-1},收敛到最接近 μ\mu 的特征值,每步解一个方程组而不显式求逆(定义 2.5.2、定理 2.5.5、2.5.3)。(✓ / △ / ×)

C10. SVD 全量:分解、外积、范数、伪逆、Eckart–Young、与 PCA 的关系。

解答

A=UΣVTA=U\Sigma V^{\mathrm T};A=∑i≤rσiuiviTA=\sum_{i\le r}\sigma_i\boldsymbol u_i\boldsymbol v_i^{\mathrm T};∥A∥2=σ1\lVert A\rVert_2=\sigma_1、∥A∥F=∑iσi2\lVert A\rVert_F=\sqrt{\sum_i\sigma_i^2}、cond2=σ1/σr\mathrm{cond}_2=\sigma_1/\sigma_r;A+=VΣ+UTA^{+}=V\Sigma^{+}U^{\mathrm T};min⁡rank⁡B≤k∥A−B∥2=σk+1\min_{\operatorname{rank}B\le k}\lVert A-B\rVert_2=\sigma_{k+1}、F 版 =∑i>kσi2=\sqrt{\sum_{i\gt k}\sigma_i^2};PCA:主方向 =V=V 的列、主成分方差 =σi2/(n−1)=\sigma_i^2/(n-1)、σi(Xc)=(n−1)λi(C)\sigma_i(X_c)=\sqrt{(n-1)\lambda_i(C)}(中心化后)(定理 2.6.1–定理 2.6.4、2.6.6)。(✓ / △ / ×)

C 组的适用条件
  • 所有「ATAA^{\mathrm T}A 型」公式(正态方程、cond2=σ1/σr\mathrm{cond}_2=\sigma_1/\sigma_r 的 ATAA^{\mathrm T}A 算法)都受 cond2\mathrm{cond}^2 影响:能用 SVD / QR 就别显式形成 ATAA^{\mathrm T}A。
  • Householder 的符号选择、Givens 的 hypot、MGS 的「就地更新」——三处都是防相消/防溢出的约定,改一行就换稳定性量级。
  • Eckart–Young 的等式 ∥A−Ak∥2=σk+1\lVert A-A_k\rVert_2=\sigma_{k+1} 对任何 k<rk\lt r 都成立;用于压缩时还要看能量占比 ∑i≤kσi2/∑iσi2\sum_{i\le k}\sigma_i^2/\sum_i\sigma_i^2。
  • PCA 的方差解释比、低秩去噪的阈值,都必须先中心化 / 定噪声水平,否则结论无意义。

D. 陷阱卡(每题先指出错在哪,再给正确说法)

D1. 「一组向量范数全为 11,就是标准正交基。」

解答

错。范数为 11 只保证「标准」;「正交」必须逐个验证两两内积。教材 例 2.1.3 的 r\boldsymbol r 组范数全对、r1Tr2=0\boldsymbol r_1^{\mathrm T}\boldsymbol r_2=0 也对,但 r2Tr3=−2/18≠0\boldsymbol r_2^{\mathrm T}\boldsymbol r_3=-2/\sqrt{18}\neq0——套用坐标公式与 Parseval 会同时静默失效(拼回去 =(20/3,10/3,−1/3)≠x=(20/3,10/3,-1/3)\neq\boldsymbol x)。(✓ / △ / ×)

D2. 「把 ∥⋅∥1\lVert\cdot\rVert_1 换成内积范数来定义正交,就能对 1-范数做投影与 SVD。」

解答

错。∥⋅∥1\lVert\cdot\rVert_1 与 ∥⋅∥∞\lVert\cdot\rVert_\infty 不满足平行四边形恒等式(取 x=(1,0),y=(0,1)\boldsymbol x=(1,0),\boldsymbol y=(0,1):左端 88 或 22,右端都是 44),不来自任何内积,因此没有正交、投影、SVD 这套结构。见到「正交」二字,默认内积是 Euclid 内积(例 2.1.2、2.1.4 错误 2)。(✓ / △ / ×)

D3. 「P2=PP^2=P 说明 PP 是正交投影矩阵」;「长方阵满足 QTQ=InQ^{\mathrm T}Q=I_n,所以 QQT=ImQQ^{\mathrm T}=I_m。」

解答

两处都错。① 正交投影要求对称 + 幂等;只幂等的是斜投影(例 S=(1100)S=\begin{pmatrix}1&amp;1\\0&amp;0\end{pmatrix}),其余项不垂直于子空间。② QQTQQ^{\mathrm T} 是到 C(Q)C(Q) 的投影矩阵,tr⁡(QQT)=n<m\operatorname{tr}(QQ^{\mathrm T})=n\lt m,故 QQT≠ImQQ^{\mathrm T}\neq I_m——「逆等于转置」只对方阵成立(2.2.6 错误 5、2.1.4 错误 4)。(✓ / △ / ×)

D4. 「Gram–Schmidt 就用经典版(CGS),它与修正版数学上等价」;「用 QR 解最小二乘,先算 ATAA^{\mathrm T}A 更省事。」

解答

两处都错。① 精确算术下 CGS 与 MGS 结果相同,浮点下差一个 cond\mathrm{cond}:cond≳108\mathrm{cond}\gtrsim10^8 时 CGS 的 ∥QTQ−I∥2\lVert Q^{\mathrm T}Q-I\rVert_2 饱和到 O(n)O(n)(实测 n=16n=16 时 6.556.55),MGS 为 4.7×10−44.7\times10^{-4}、Householder 为 3.0×10−153.0\times10^{-15}。② 形成 ATAA^{\mathrm T}A 就把条件数平方(cond(ATA)=cond(A)2\mathrm{cond}(A^{\mathrm T}A)=\mathrm{cond}(A)^2),误差由 cond u\mathrm{cond}\,u 退化为 cond2u\mathrm{cond}^2u——实测 cond=6×1010\mathrm{cond}=6\times10^{10} 时正态方程误差 2828(真值 11)、QR 仍为 2.2×10−62.2\times10^{-6}(2.3.6 实测表)。(✓ / △ / ×)

D5. 「最小二乘解总是存在且唯一,直接解正态方程就行。」

解答

错两处。① 存在性没问题(ATb∈C(ATA)A^{\mathrm T}\boldsymbol b\in C(A^{\mathrm T}A)),但唯一性要求 AA 列满秩;秩亏时解是一整条仿射集,要用伪逆取最小范数解。② 病态时正态方程把 cond\mathrm{cond} 平方;另外算完必须做 ATr=0A^{\mathrm T}\boldsymbol r=\boldsymbol 0 自检——它是最省事的错误探测器(残差各分量之和为零不代表 ATr=0A^{\mathrm T}\boldsymbol r=\boldsymbol 0,必须按 xix_i 加权求和)(2.2.6 错误 1、4)。(✓ / △ / ×)

D6. 「求解器报的残差是 10−1510^{-15},所以解准到 15 位」;「同一个病态矩阵,换 Cholesky / QR / SVD 就能算准。」

解答

两处都错。① 残差与误差之间隔着条件数:∥e∥/∥x∥≤cond⋅∥r∥/∥b∥\lVert\boldsymbol e\rVert/\lVert\boldsymbol x\rVert\le\mathrm{cond}\cdot\lVert\boldsymbol r\rVert/\lVert\boldsymbol b\rVert;实测残差 2.5×10−122.5\times10^{-12} 而误差 50%50\%。② 病态是问题的属性:Hilbert 12 阶用任何解法误差都是 0.220.22,换算法无效——只能重述问题(正则化)、提高精度或迭代精化;另外先做行均衡化再看条件数(示例中 cond∞\mathrm{cond}_\infty 从 102010^{20} 降到 4×10104\times10^{10}),且别手写 inv 算条件数(定理 2.4.4、2.4.6 错误 2、3、4、7)。(✓ / △ / ×)

D7. 「用 ρ(A)\rho(A) 代替 ∥A∥\lVert A\rVert 估收敛;ρ<1\rho\lt1 就每步收缩」;「重特征值也能算准」;「Gerschgorin 圆盘给的是特征值近似值。」

解答

三处都错。① ρ≤∥A∥\rho\le\lVert A\rVert 是不等式:N=(1100001)N=\begin{pmatrix}1&amp;1000\\0&amp;1\end{pmatrix} 的 ρ=1\rho=1 而 ∥N∥2≈1000\lVert N\rVert_2\approx1000;非正规矩阵还会瞬态增长(∥Nk∥≈1000k\lVert N^k\rVert\approx1000k),故稳妥判据是 ∥A∥<1\lVert A\rVert\lt1。② 非正规 kk 重特征值对 O(ε)O(\varepsilon) 扰动移动 O(ε1/k)O(\varepsilon^{1/k}):k=2k=2 时双精度只剩约 8 位有效数字,是固有病态。③ 圆盘给的是包含区间,只有对角占优时圆心才接近特征值;别忘了列版本与取交集(定理 2.5.2、2.5.6 错误 1–4)。(✓ / △ / ×)

D8. 「σi(A)=∣λi(A)∣\sigma_i(A)=\lvert\lambda_i(A)\rvert」;「先算 ATAA^{\mathrm T}A 的特征值再开方就是 SVD」;「伪逆不用截断、数值秩用库函数默认阈值即可」;「PCA 不中心化也一样」。

解答

四处都错。① 奇异值总非负、共 min⁡(m,n)\min(m,n) 个;特征值可负可复。反例 A=(0100)A=\begin{pmatrix}0&amp;1\\0&amp;0\end{pmatrix}:λi=0\lambda_i=0 而 σ1=1\sigma_1=1。② cond(ATA)=cond(A)2\mathrm{cond}(A^{\mathrm T}A)=\mathrm{cond}(A)^2——白丢一半有效数字;实现里用 np.linalg.svd(A)(Golub–Kahan 直接作用在 AA 上)。③ 未截断的伪逆会把 1/σr1/\sigma_r 放大 cond\mathrm{cond} 倍,必须按噪声水平设 rcond;matrix_rank 默认阈值 max⁡(m,n)u\max(m,n)u 只适合精确矩阵(实测同一矩阵默认判秩 2020、按噪声阈值只有 33)。④ 不中心化做 SVD,第一主方向会指向均值方向,所谓「解释方差」根本不是方差(2.6.7 错误 1–7、例 2.6.5)。(✓ / △ / ×)

D 组的典型误用清单(考前扫一眼)

① 范数全 11 就当标准正交;② 拿 1-/∞-范数做「正交」;③ 幂等就当正交投影、长方阵当成方阵用 Q−1=QTQ^{-1}=Q^{\mathrm T};④ 生产代码用 CGS、MGS 写成 CGS;⑤ 病态最小二乘用正态方程、算完不做 ATr=0A^{\mathrm T}\boldsymbol r=\boldsymbol 0 自检;⑥ 拿残差当误差、以为换算法能救病态、忘行均衡化;⑦ 拿 ρ\rho 当 ∥A∥\lVert A\rVert、指望算准重特征值、把 Gerschgorin 当精确值;⑧ 把奇异值当特征值、对 ATAA^{\mathrm T}A 做特征值分解求 SVD、伪逆不截断、PCA 不中心化。

导出到 Anki / CSV

  1. 建卡组:打开 Anki → 新建卡组「数值分析-补充篇」(与「数值分析-第 1 章」并列,不要混在默认卡组里)。
  2. 逐条录入:正面放「编号 + 题干」,背面放「答案 + 依据」(带 [@编号] 与节号);纯文本批量导入用 Tab 分隔「正面 / 背面」,一行一张卡——本页 46 张按 A1–A10 / B1–B18 / C1–C10 / D1–D8 的顺序录。
  3. 复习节点(1 / 3 / 7 天):当天 → 隔天 → 第 3 天 → 第 7 天共四轮;每轮只重做标 △ 与 × 的卡。本页的错误几乎全部发生在条件上(列满秩、RR 对角元为正、cond⋅ρA<1\mathrm{cond}\cdot\rho_A\lt1、噪声水平定阈值),凡「能背出结论但说不出条件」一律按 △ 处理。
  4. 加一道保险:C 组(公式卡)背面附一张手写照片;四轮后仍为 × 的卡抄进第二章的小结与陷阱对应的那一条,作为个人薄弱点单独跟踪。全章公式的两页压缩见公式与结论卡与易混对照卡。