解

第 1 步：算 $A^{\mathrm T}A$。

$$A^{\mathrm T}A=\begin{pmatrix}3&4\\0&5\end{pmatrix}\begin{pmatrix}3&0\\4&5\end{pmatrix}=\begin{pmatrix}25&20\\20&25\end{pmatrix}.$$

第 2 步：特征值。 $\det(A^{\mathrm T}A-\lambda I)=(25-\lambda)^2-400=0\Rightarrow\lambda=25\pm20$，即 $\lambda_1=45,\ \lambda_2=5$。故

$$\sigma_1=\sqrt{45}=3\sqrt5\approx6.7082,\qquad\sigma_2=\sqrt5\approx2.2361 .$$

第 3 步：特征向量（$V$）。 对 $\lambda_1=45$：$(25-45)v_1+20v_2=0\Rightarrow-20v_1+20v_2=0\Rightarrow v_1=v_2$，归一化得 $\boldsymbol{v}_1=\frac{1}{\sqrt2}(1,1)^{\mathrm T}$。对 $\lambda_2=5$：$(25-5)v_1+20v_2=0\Rightarrow20v_1+20v_2=0\Rightarrow v_1=-v_2$，得 $\boldsymbol{v}_2=\frac{1}{\sqrt2}(1,-1)^{\mathrm T}$。

$$V=\frac{1}{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix}.$$

第 4 步：$U$ 由公式 $\boldsymbol{u}_i=A\boldsymbol{v}_i/\sigma_i$ 得到。

$$\boldsymbol{u}_1=\frac{A\boldsymbol{v}_1}{\sigma_1}=\frac{1}{3\sqrt5}\cdot\frac{1}{\sqrt2}\begin{pmatrix}3\\4+5\end{pmatrix}=\frac{1}{3\sqrt{10}}\begin{pmatrix}3\\9\end{pmatrix}=\frac{1}{\sqrt{10}}\begin{pmatrix}1\\3\end{pmatrix},$$

$$\boldsymbol{u}_2=\frac{A\boldsymbol{v}_2}{\sigma_2}=\frac{1}{\sqrt5}\cdot\frac{1}{\sqrt2}\begin{pmatrix}3\\4-5\end{pmatrix}=\frac{1}{\sqrt{10}}\begin{pmatrix}3\\-1\end{pmatrix}.$$

$$U=\frac{1}{\sqrt{10}}\begin{pmatrix}1&3\\3&-1\end{pmatrix}.$$

验证：

$$U\Sigma V^{\mathrm T}=\frac{1}{\sqrt{10}}\begin{pmatrix}1&3\\3&-1\end{pmatrix}\begin{pmatrix}3\sqrt5&0\\0&\sqrt5\end{pmatrix}\frac{1}{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix} =\frac{\sqrt5}{\sqrt{20}}\begin{pmatrix}1&3\\3&-1\end{pmatrix}\begin{pmatrix}3&3\\1&-1\end{pmatrix} =\frac12\begin{pmatrix}3+3&3-3\\9-1&9+1\end{pmatrix}=\begin{pmatrix}3&0\\4&5\end{pmatrix}\ \checkmark$$

顺带得到的量： $\lVert A\rVert_2=\sigma_1=6.7082$；$\lVert A\rVert_F=\sqrt{\sigma_1^2+\sigma_2^2}=\sqrt{45+5}=\sqrt{50}=7.0711$（核对：$\sqrt{9+0+16+25}=\sqrt{50}$ ✓）；$\mathrm{cond}_2(A)=\sigma_1/\sigma_2=3$；$\det A=3\times5-0=15=\sigma_1\sigma_2=6.7082\times2.2361$ ✓（$=15$）。

外积形式（下面要用）：

$$A=\sigma_1\boldsymbol{u}_1\boldsymbol{v}_1^{\mathrm T}+\sigma_2\boldsymbol{u}_2\boldsymbol{v}_2^{\mathrm T}=6.7082\,\boldsymbol{u}_1\boldsymbol{v}_1^{\mathrm T}+2.2361\,\boldsymbol{u}_2\boldsymbol{v}_2^{\mathrm T}.$$

截去第二项后，误差 $\lVert A-A_1\rVert_2=\sigma_2=2.2361$ 恰好等于被丢掉的奇异值——见 定理 2.6.4。

∎

解

$A^{\mathrm T}A=\begin{pmatrix}1&2&3\\2&4&6\end{pmatrix}\begin{pmatrix}1&2\\2&4\\3&6\end{pmatrix}=\begin{pmatrix}14&28\\28&56\end{pmatrix}=14\begin{pmatrix}1&2\\2&4\end{pmatrix}$。

特征值：$\operatorname{tr}=70$，$\det=14^2(4-4)=0$，故 $\lambda_1=70,\ \lambda_2=0$。于是

$$\sigma_1=\sqrt{70}\approx8.3666,\qquad\sigma_2=0 .$$

$\lambda_1=70$ 的特征向量：$(14-70)v_1+28v_2=0\Rightarrow v_1=v_2/\sqrt2$ 方向，$\boldsymbol{v}_1=\frac{1}{\sqrt5}(1,2)^{\mathrm T}$（注意恰好是列方向）；$\boldsymbol{v}_2=\frac{1}{\sqrt5}(2,-1)^{\mathrm T}$。

$$\boldsymbol{u}_1=\frac{A\boldsymbol{v}_1}{\sigma_1}=\frac{1}{\sqrt{70}}\cdot\frac{1}{\sqrt5}\begin{pmatrix}1+4\\2+8\\3+12\end{pmatrix}=\frac{1}{\sqrt{70}}\cdot\frac{5}{\sqrt5}\begin{pmatrix}1\\2\\3\end{pmatrix}=\frac{1}{\sqrt{14}}\begin{pmatrix}1\\2\\3\end{pmatrix}.$$

几何解释： $\sigma_2=0$ 意味着 $\boldsymbol{v}_2$ 这个方向被 $A$ 压扁到零，于是整个单位圆被映成一条线段（退化的一维椭球）。线段的方向是 $\boldsymbol{u}_1=(1,2,3)^{\mathrm T}/\sqrt{14}$，长度 $2\sigma_1=16.7$（直径）。

验证： $\operatorname{rank}A=1$（恰有一个非零奇异值）；$\det A$ 无从谈起（$A$ 不是方阵），但 $AA^{\mathrm T}$ 的秩也是 1 ✓。$\lVert A\rVert_2=8.3666$，$\lVert A\rVert_F=\sqrt{70}=8.3666$（秩 1 时两者相等，因为 $\lVert A\rVert_F^2=\sum\sigma_i^2=\sigma_1^2$）。

数据含义： 这个矩阵的两列完全相关（第 2 列是第 1 列的 2 倍），所以它携带的信息本质上只有 1 维——SVD 只用一个非零奇异值就把这件事精确说了出来。「有效维度 = 非零奇异值的个数」，这就是 SVD 在数据分析里的核心读法。

∎

解

import numpy as np
A = np.array([[1.,2,3,1],[2,4,6,3],[1,2,3,2]])
U, s, Vt = np.linalg.svd(A)
print("sigma =", np.round(s, 6))
print("rank =", (s > 1e-12*s[0]).sum())

sigma = [9.877729 0.656096 0.      ]
rank = 2

完整数值（$\lVert A\rVert_F=\sqrt{98}=9.8995$ 与 $\sqrt{\sigma_1^2+\sigma_2^2}=\sqrt{9.8777^2+0.6561^2}=\sqrt{98}$ ✓，这一条是自检）：

$$U=\begin{pmatrix}-0.3892&-0.7178&\mathbf{0.5774}\\-0.8162&-0.0218&\mathbf{-0.5774}\\-0.4270&0.6959&\mathbf{0.5774}\end{pmatrix},\qquad V^{\mathrm T}=\begin{pmatrix}-0.2479&-0.4958&-0.7437&-0.3738\\-0.0999&-0.1998&-0.2997&\mathbf{0.9275}\\\hdashline -0.9634&0.1321&0.2331&0\\-0.0187&0.8348&-0.5503&0\end{pmatrix}.$$

（虚线以下为 $V^{\mathrm T}$ 的后 $n-r=2$ 行。）

四个基本子空间（标准正交基）：

子空间	维数	SVD 给出的标准正交基	例 2.2.1 的手算基
$C(A)$	$2$	$U$ 的前 2 列	$(1,2,1)^{\mathrm T},\ (1,3,2)^{\mathrm T}$（不正交，需再正交化）
$N(A^{\mathrm T})$	$1$	$U$ 第 3 列 $=(0.5774,-0.5774,0.5774)^{\mathrm T}$	$(1,-1,1)^{\mathrm T}$——单位化后完全相同 ✓
$C(A^{\mathrm T})$	$2$	$V$ 的前 2 列	$(1,2,3,0)^{\mathrm T},\ (0,0,0,1)^{\mathrm T}$
$N(A)$	$2$	$V$ 的后 2 列	$(-2,1,0,0)^{\mathrm T},\ (-3,0,1,0)^{\mathrm T}$

SVD 与手算给出的是同样的子空间（子空间本身唯一，这是必然的）；差别只在基的选择：

• $N(A^{\mathrm T})$ 那一行完全吻合：$U$ 的第 3 列恰好就是 $(1,-1,1)^{\mathrm T}/\sqrt3$（一维子空间，两组基只差单位化）。
• 后两行不同：SVD 给出的基是标准正交的，而手算的 $(-2,1,0,0)$ 与 $(-3,0,1,0)$ 内积 $=6\neq0$（不正交）；$C(A)$ 那一行的手算基同理。

这正是 SVD 优于手算的实质： 它不仅告诉你「哪些向量张成子空间」，还直接把一组标准正交的坐标轴送到手上——可以直接拿来做投影（2.2.3）、判正交、算距离，不必再补一次 Gram–Schmidt。

顺带核对几个范数关系： $\lVert A\rVert_2=\sigma_1=9.8777$（大于 $\lVert A\rVert_F/\sqrt2=7.0$，因为 $\lVert A\rVert_2$ 量的是最大拉伸、$\lVert A\rVert_F$ 量的是全部奇异值的平方和开方）；$\lVert A\rVert_2\le\lVert A\rVert_F$ ✓（1.3.4 的结论）。

∎

证明（归约到「对称情形 + 奇异子空间的对齐」；完整推导见附录）

核心是三条工具链，全部细节在附录 A.2.3–A.2.4：

1. 对称迹不等式（附录引理 A.3.3）：对称阵 $S,T$ 满足 $\operatorname{tr}(ST)\le\sum_i\lambda_i(S)\lambda_i(T)$（特征值降序配对）。它由「特征基展开 ⟹ 系数方阵 $(\boldsymbol{u}_i^{\mathrm T}\boldsymbol{v}_j)^2$ 双随机 ⟹ Birkhoff 定理拆成置换的凸组合 ⟹ 逐个置换用标量重排不等式」四步组成；
2. 对称化膨胀：把矩形问题化为对称问题——令 $S=\begin{pmatrix}O&A\\A^{\mathrm T}&O\end{pmatrix}$、$T=\begin{pmatrix}O&B\\B^{\mathrm T}&O\end{pmatrix}$，则 $S,T$ 对称，$S$ 的特征值恰为 $\pm\sigma_i(A)$，且 $\operatorname{tr}(ST)=2\operatorname{tr}(A^{\mathrm T}B)$；
3. 对 $S,T$ 套用第 1 步（特征值降序逐项相乘，两块恰好各贡献一个 $\sum\sigma_i(A)\sigma_i(B)$），除以 $2$ 即得（2.31）；对 $-B$ 再用一次得绝对值版本。

数值验证：

import numpy as np
rng = np.random.default_rng(3)
for m, n in [(5, 4), (4, 5)]:
    A, B = rng.normal(size=(m, n)), rng.normal(size=(m, n))
    lhs = abs(np.trace(A.T @ B))
    rhs = np.linalg.svd(A, compute_uv=False) @ np.linalg.svd(B, compute_uv=False)
    print(f"|tr(A^T B)| = {lhs:.6f}  ≤  Σσ_i(A)σ_i(B) = {rhs:.6f}")

|tr(A^T B)| = 7.009041  ≤  Σσ_i(A)σ_i(B) = 26.317431
|tr(A^T B)| = 0.839841  ≤  Σσ_i(A)σ_i(B) = 19.541253

注意两者的差距很大（$7.0$ 对 $26.3$）：随机矩阵的 $\lvert\operatorname{tr}(A^{\mathrm T}B)\rvert$ 通常远小于这个上界，因为取等要求 $A,B$ 的左右奇异子空间完全对齐（取等条件的讨论见附录 A.2.4）。特例 $B=A^{\mathrm T}$：$\operatorname{tr}(A^{\mathrm T}A)=\lVert A\rVert_F^2=\sum\sigma_i^2$ 恰好取等——（2.31）是紧界。

∎

解

由例 2.6.2 已得 $A$ 的 SVD：$\sigma_1=\sqrt{70}$、$\sigma_2=0$，$\boldsymbol{v}_1=\frac{1}{\sqrt5}(1,2)^{\mathrm T}$、$\boldsymbol{v}_2=\frac{1}{\sqrt5}(2,-1)^{\mathrm T}$，$\boldsymbol{u}_1=\frac{1}{\sqrt{14}}(1,2,3)^{\mathrm T}$。

伪逆（只用 $\sigma_1$ 一项）：

$$A^{+}=\boldsymbol{v}_1\frac{1}{\sigma_1}\boldsymbol{u}_1^{\mathrm T} =\frac{1}{\sqrt5}\begin{pmatrix}1\\2\end{pmatrix}\cdot\frac{1}{\sqrt{70}}\cdot\frac{1}{\sqrt{14}}\begin{pmatrix}1&2&3\end{pmatrix} =\frac{1}{\sqrt{4900}}\begin{pmatrix}1&2&3\\2&4&6\end{pmatrix} =\frac{1}{70}\begin{pmatrix}1&2&3\\2&4&6\end{pmatrix}=\frac{1}{70}A^{\mathrm T}.$$

（秩 1 矩阵的伪逆就是转置除以 $\lVert A\rVert_F^2=70$。）

$$\hat{\boldsymbol{x}}=A^{+}\boldsymbol{b}=\frac{1}{70}\begin{pmatrix}1&2&3\\2&4&6\end{pmatrix}\begin{pmatrix}1\\1\\1\end{pmatrix}=\frac{1}{70}\begin{pmatrix}6\\12\end{pmatrix}=\begin{pmatrix}0.0857\\0.1714\end{pmatrix}.$$

核对正交条件 $A^{\mathrm T}\boldsymbol{r}=\boldsymbol{0}$： $A\hat{\boldsymbol{x}}=\frac{3}{35}\begin{pmatrix}1+4\\2+8\\3+12\end{pmatrix}=\frac{3}{35}(5,10,15)^{\mathrm T}=\frac37(1,2,3)^{\mathrm T}=(0.4286,0.8571,1.2857)^{\mathrm T}$，故

$$\boldsymbol{r}=\boldsymbol{b}-A\hat{\boldsymbol{x}}=(0.5714,\ 0.1429,\ -0.2857)^{\mathrm T},\qquad A^{\mathrm T}\boldsymbol{r}=\begin{pmatrix}0.5714+0.2857-0.8571\\1.1429+0.5714-1.7143\end{pmatrix}=\begin{pmatrix}0\\0\end{pmatrix}\ \checkmark$$

残差平方和 $=\lVert\boldsymbol{r}\rVert_2^2=0.4286=3/7$。

验证「最小范数」： 正态方程 $A^{\mathrm T}A\boldsymbol{x}=A^{\mathrm T}\boldsymbol{b}$ 是

$$\begin{pmatrix}14&28\\28&56\end{pmatrix}\boldsymbol{x}=\begin{pmatrix}6\\12\end{pmatrix}\ \Longleftrightarrow\ x_1+2x_2=\frac37 ,$$

一条直线——最小二乘解不唯一。取此直线上的另一点 $x_2=0\Rightarrow x_1=3/7$，得 $\boldsymbol{x}'=(3/7,0)^{\mathrm T}$：残差同样是 $3/7$（同为最小二乘解），但 $\lVert\boldsymbol{x}'\rVert_2=0.4286\gt\lVert\hat{\boldsymbol{x}}\rVert_2=0.1917$。伪逆给出的是这条直线上离原点最近的点 ✓（$\hat{\boldsymbol{x}}$ 沿 $(1,2)$ 方向，正是直线的法方向）。

这个例子重要在哪里： $A$ 的列相关（第 2 列 $=2\times$第 1 列），最小二乘解因此成为一条直线。np.linalg.lstsq 与 np.linalg.pinv 默认返回这条直线上最小范数的那一点；而直接消元解正态方程，得到的是直线上任意一点（取到哪一点取决于主元选择）——这就是伪逆与正态方程在秩亏问题上的本质区别。

∎

解

import numpy as np
rng = np.random.default_rng(0); m, n = 60, 40
# 先随机取正交基，再指定奇异值（指数衰减）——精确控制谱
U_, _, Vt_ = np.linalg.svd(rng.normal(size=(m, n)), full_matrices=False)
dec = np.exp(-np.arange(n) / 2.5)
A = (U_ * dec) @ Vt_                      # 奇异值 = dec
U, S, Vt = np.linalg.svd(A)
for k in [1, 2, 3, 5, 8, 10]:
    Ak = (U[:, :k] * S[:k]) @ Vt[:k]
    e2 = np.linalg.norm(A - Ak, 2); eF = np.linalg.norm(A - Ak, 'fro')
    print(f"k={k:2d}  ||A-Ak||_2={e2:.6e} (=σ{k+1}={S[k]:.6e})  "
          f"||A-Ak||_F={eF:.6e} (=√Σσ²={np.sqrt((S[k:]**2).sum()):.6e})  "
          f"能量={((S[:k]2).sum()/(S2).sum()):.4%}")

k= 1  ||A-Ak||_2=6.703200e-01 (=σ2=6.703200e-01)  ||A-Ak||_F=9.033085e-01 (=√Σσ²=9.033085e-01)  能量=55.07%
k= 2  ||A-Ak||_2=4.493290e-01 (=σ3=4.493290e-01)  ||A-Ak||_F=6.055058e-01 (=√Σσ²=6.055058e-01)  能量=79.81%
k= 3  ||A-Ak||_2=3.011942e-01 (=σ4=3.011942e-01)  ||A-Ak||_F=4.058827e-01 (=√Σσ²=4.058827e-01)  能量=90.93%
k= 5  ||A-Ak||_2=1.353353e-01 (=σ6=1.353353e-01)  ||A-Ak||_F=1.823748e-01 (=√Σσ²=1.823748e-01)  能量=98.17%
k= 8  ||A-Ak||_2=4.076220e-02 (=σ9=4.076220e-02)  ||A-Ak||_F=5.493025e-02 (=√Σσ²=5.493025e-02)  能量=99.83%
k=10  ||A-Ak||_2=1.831564e-02 (=σ11=1.831564e-02)  ||A-Ak||_F=2.468175e-02 (=√Σσ²=2.468175e-02)  能量=99.97%

每行的两个等号都精确成立到机器精度——这是 定理 2.6.4 最直接的验证。再看能量列： 只用 $k=3$ 个奇异值就抓住了 $90.9\%$ 的能量，$k=8$ 就有 $99.8\%$——这正是「低秩结构」的定量含义：少数几个奇异值就主导了整个矩阵。

# 用随机秩 k 矩阵「挑战」最优性：误差必然不小于 σ_{k+1}
for k in [3, 5]:
    best = np.inf
    for _ in range(200):
        B = rng.normal(size=(m, n)) @ rng.normal(size=(n, n))   # 一般满秩
        Bk = (lambda u, s, vt: (u[:, :k] * s[:k]) @ vt[:k])(*np.linalg.svd(B, full_matrices=False))
        best = min(best, np.linalg.norm(A - Bk, 2))
    print(f"k={k}: 200 个随机秩 {k} 阵的最小误差 = {best:.6e}  ≥  σ{k+1} = {S[k]:.6e}")

结论： 随机秩 $k$ 矩阵的误差都严格大于（通常是远大于）$\sigma_{k+1}$，从没有更小的——Eckart–Young 保证 $A_k$ 的误差最小。

∎