附录 B · 走向其他学科：线性代数的六个出口

前三章建立的概念——子空间、正交投影、特征值、矩阵分解——不是为考试而生的标本，它们是六七个学科共用的骨架。本附录从「本教程的哪条结论出发」走到「那个学科的哪块基石」：每一节都是一段完整的推导加一个能上手的算例，而不是名词罗列。

定位说明。与附录 A 相同，本附录超出本课程考核范围，各节彼此独立。给出的推导只用本教程已学的工具；个别必须引用后续课程结论处（谱定理、奇异值分解），都明确标注。

B.1 量子力学：状态装进酉空间

量子力学的数学舞台正是第一章的酉空间（有限维复内积空间，1.4.1）：

• 量子态 = 归一化向量：一个系统的状态由 $\boldsymbol{\psi}\in\mathbb C^n$（$n$ 维情形；真实系统常为无穷维）描述，约定 $|\boldsymbol{\psi}|=1$。物理上的 Dirac 记号 $|\psi\rangle$（右矢）就是向量本身，$\langle\varphi|$（左矢）是「先取共轭再配对」的泛函；
• 内积 = 概率幅：测量「系统处于状态 $\boldsymbol{\varphi}$」得到肯定回答的概率是

$$p=\big|(\boldsymbol{\varphi},\boldsymbol{\psi})\big|^2\qquad(|\boldsymbol{\varphi}|=|\boldsymbol{\psi}|=1).$$

（记号约定：物理教材的内积通常对第二变元线性，与本教程相反；上式按本教程约定书写，翻译成 Dirac 记号时交换两个变元即可，一切数值结论不变。）

这条不等式在物理教材里往往被一句「概率显然不超过 $1$」带过——但正是 C–S 保证了 Born 规则（概率 $=$ 概率幅的模平方）在数学上是自洽的：没有 C–S，两个单位向量的内积可以任意大，「概率」就会越界。

量子力学把「可观测量」（位置、动量、能量）编码为 Hermite 算子——测量值只能是实数，命题 B.2 就是这条物理要求的代数形态。测到某个值 $\lambda$ 的「确定态」恰是 $A$ 的特征向量（属于 $\lambda$ 的特征方向上概率取到 $1$，即 命题 B.1 的等号情形）；2.4 的整套「求特征值与特征向量」流程，在物理系学生的课表里叫「解定态薛定谔方程」。最后，状态的演化由酉矩阵驱动：$U^{\mathrm H}U=I$（2.5）保证演化后仍是单位向量（2.5 保长度），一切概率继续合法——2.5 节就是量子力学的运动学。

B.2 信号处理：DFT 是一个酉变换

数字信号就是 $\mathbb C^N$ 里的向量 $\boldsymbol{x}=(x_0,\cdots,x_{N-1})^{\mathrm T}$（下标为采样时刻，1.1.7 的信号空间取有限长一段）；$|\boldsymbol{x}|^2=\sum_j|x_j|^2$ 称为信号的能量。两个信号的内积（去掉均值后）度量它们的相似程度——「匹配滤波」=「算内积」，归一化相似度 $\dfrac{(\boldsymbol{x},\boldsymbol{y})}{|\boldsymbol{x}||\boldsymbol{y}|}$ 永远落在 $[-1,1]$ 的复单位圆内，依据仍是 C–S。

把信号「翻译到频域」用的是离散傅里叶变换（DFT）。记 $\omega=\mathrm e^{-2\pi \mathrm i/N}$（$N$ 次单位根），定义

$$y_k=\frac{1}{\sqrt N}\sum_{j=0}^{N-1}\omega^{jk}x_j,\qquad k=0,\cdots,N-1,$$

即 $\boldsymbol{y}=F\boldsymbol{x}$，其中 $F=(\omega^{jk}/\sqrt N)_{k,j}\in\mathbb C^{N\times N}$（行号 $k$、列号 $j$ 都从 $0$ 起）。

于是一整套已学结论免费到账：能量守恒（Parseval）——酉变换保内积（2.5），故 $|F\boldsymbol{x}|=|\boldsymbol{x}|$，时域能量 $=$ 频域能量，这正是附录 A.7 的有限维版；滤波 = 投影——「保留低频、清零高频」就是把 $\boldsymbol{x}$ 正交投影到「低频频率基张成的子空间」（1.6.7 的投影公式在标准正交基下逐坐标执行：保留若干坐标、其余置零）；去噪的依据——若噪声与信号频段正交，投影在去掉噪声的同时不伤信号。1.5.7 的三角函数系在无穷维把同一故事讲到极限，傅里叶级数与 DFT 是同一机制的两个尺度。

B.3 统计与回归：最小二乘就是正交投影

统计与机器学习里最高频的一件事：用一组「模型值」去逼近一堆「观测值」。设观测数据 $(t_i,y_i)$（$i=1,\cdots,m$），想用直线 $y=c+\mathrm dt$ 拟合。把它翻译成矩阵语言：

$$A=\begin{bmatrix}1&t_1\ \vdots&\vdots\ 1&t_m\end{bmatrix}\in\mathbb R^{m\times2},\qquad \boldsymbol{b}=\begin{bmatrix}y_1\ \vdots\ y_m\end{bmatrix},\qquad \text{求}\ \boldsymbol{x}=(c,\mathrm d)^{\mathrm T}\ \text{使}\ A\boldsymbol{x}\approx\boldsymbol{b}.$$

数据点通常不共线（$m\gt2$、$\boldsymbol{b}\notin R(A)$），方程组无精确解。「最好」的标准取为残差最小：

$$|\boldsymbol{b}-A\boldsymbol{x}|^2=\sum_{i=1}^{m}\big(y_i-(c+\mathrm dt_i)\big)^2\ \longrightarrow\ \min .$$

这套语言可以无缝替换零件：模型取多项式（列换成 $t_i^2$）就是多项式回归；对不同观测赋不同信任度，相当于把标准内积换成加权内积（1.4.3）——公式里多一个权重矩阵，投影的几何不变；观测方程多于未知数（超定）是常态，「无解」并不可怕——右端在列空间上的投影永远存在（1.6.6 正交分解定理），最小二乘解就是投影的坐标。当 $A$ 不列满秩时，法方程有多解，其中范数最小的那个由伪逆给出（附录 A.8）。

B.4 主成分分析：协方差矩阵的特征分解

数据科学的第一步是「降维」：$m$ 个样本、每样本 $n$ 个特征，组成数据矩阵 $X\in\mathbb R^{m\times n}$。先将每列中心化（减去该列均值），记中心化后的矩阵为 $X_c$，定义样本协方差矩阵

$$\Sigma=\frac{1}{m-1}X_c^{\mathrm T}X_c\in\mathbb R^{n\times n}.$$

降维的数学问题：找一个方向 $\boldsymbol{w}$（$|\boldsymbol{w}|=1$），把每个样本投影到这个方向上，让投影得分尽量散开（方差最大）——因为「都挤在一起的方向」不携带信息。

严格求解「单位球面上最大化 $\boldsymbol{w}^{\mathrm T}\Sigma\boldsymbol{w}$」需要谱定理（实对称矩阵有一组标准正交特征向量，且在该组基下对角化——本课程后续章节的内容）；谱定理之下答案就是：按特征值从大到小，第 $k$ 主成分 = 第 $k$ 大特征值对应的单位特征向量，其方差即该特征值。

PCA 的每一步都踩在本教程的坐标上：中心化 = 减去均值子空间的投影；「找主成分」= 对 $\Sigma$ 执行 2.4 的特征值流程；「白化」（把方差全部归一）= 沿用 附录 A.6 的开方分解 $\Sigma=R^{\mathrm T}R$。反过来，PCA 也解释了 2.4 反复强调的「几何重数」的统计含义：若某特征值是重根，主方向不再唯一，数据的「厚薄」在一张平面上均匀——特征子空间恰是这个均匀平面。

B.5 数值分析：正交的算法

计算机上解 B.3 的最小二乘，工程师几乎不直接解法方程。原因和替代方案都只用已学工具就能说清。

事实一：正交（酉）矩阵不放大误差。 数值计算里每步都有舍入误差 $\boldsymbol{e}$，一个算法把误差传到结果时最好乘的是正交矩阵：$|Q\boldsymbol{e}|=|\boldsymbol{e}|$（2.5 保长度），误差的长度原样通过；换成一般矩阵，误差可能被放大。配套的定量工具是反向三角不等式（附录 A.1）：$\big||Q(\boldsymbol{x}+\boldsymbol{e})|-|\boldsymbol{x}|\big|\leq|\boldsymbol{e}|$。这正是数值库用 Givens 旋转与 Householder 反射（2.5）做矩阵分解的原因——每一步操作都是正交的，误差全程不被放大；Hadamard 不等式（附录 A.2）则从另一端说明正交列在数值上的稳固。

事实二：QR 路线把法方程「绕开」。 对列满秩的 $A\in\mathbb C^{m\times n}$ 取 QR 分解 $A=QR$（$Q^{\mathrm H}Q=I$、$R$ 可逆上三角；由 Gram–Schmidt 得到，1.6.8 的 $X=QA$ 即其雏形）。把它代入法方程并化简：

$$A^{\mathrm H}A\boldsymbol{x}=A^{\mathrm H}\boldsymbol{b}\ \iff\ R^{\mathrm H}\underbrace{Q^{\mathrm H}Q}_{I}R\boldsymbol{x}=R^{\mathrm H}Q^{\mathrm H}\boldsymbol{b}\ \iff\ R\boldsymbol{x}=Q^{\mathrm H}\boldsymbol{b},$$

（两边左乘 $(R^{\mathrm H})^{-1}$，$R$ 可逆）——上三角方程组，回代即解，全程无需形成 $A^{\mathrm H}A$。

为什么怕 $A^{\mathrm H}A$？ 条件数的直觉（严格论证需奇异值分解，后续章节）：$A$ 的「最小伸缩比例」若是 $\sigma$，则 $A^{\mathrm H}A$ 的最小比例约为 $\sigma^2$——$\sigma=0.01$ 时变成 $10^{-4}$，有效数字凭空丢一半。法方程把「中等病态」的问题平方成「严重病态」。QR 路线的每步只做正交变换与回代，不经过这个平方。

一句话总结本节：正交性是数值线性代数的硬通货——保长度（不放大误差）、保内积（保结构）、上三角化（可回代）。本教程的 1.5.6、1.6.8、2.5 三处铺垫，在数值库里合流成同一套工业代码。

B.6 微分方程：解空间与矩阵指数

1.2.4 证明了齐次差分方程的解集是子空间；2.3.5 用同构量出它的维数是 $n$。齐次微分方程是同一结构的连续版本：

$$y^{(n)}+a_{n-1}y^{(n-1)}+\cdots+a_1y'+a_0y=0 .$$

解集是 $n$ 维子空间：叠加原理（两个解的线性组合仍是解）就是「对线性组合封闭」；维数为 $n$ 的原因是「初值 $(y(0),y'(0),\cdots,y^{(n-1)}(0))$ 唯一确定一个解」（微分方程存在唯一性定理，先修课内容），映射「解 $\mapsto$ 初值」正是一个同构——与 2.3.5 里「解序列 $\mapsto x_0$」的同构逐字对应。

特征根法 = 解方程 $A\boldsymbol{x}=\lambda\boldsymbol{x}$ 的前辈。 把试探解 $y=\mathrm e^{\lambda t}$ 代入方程，逐项求导得 $y^{(k)}=\lambda^k\mathrm e^{\lambda t}$，约去 $\mathrm e^{\lambda t}$（恒非零）：

$$\lambda^n+a_{n-1}\lambda^{n-1}+\cdots+a_1\lambda+a_0=0$$

——微分方程的特征多项式。它与 1.2.4 末尾差分方程的特征多项式$(\lambda+1)(\lambda-2)(\lambda-3)$ 完全同型；差分方程的解是等比序列 $\lambda^k$、微分方程的解是指数函数 $\mathrm e^{\lambda t}$，「移位 vs 求导」是两种「离散 / 连续」的同一件事。

一阶系统与矩阵指数。 把 $n$ 阶方程降为一阶方程组：令 $\boldsymbol{x}(t)=(y,y',\cdots,y^{(n-1)})^{\mathrm T}$，则 $\boldsymbol{x}'(t)=A\boldsymbol{x}(t)$，$A$ 恰是 2.1.2 的友矩阵。核心工具是矩阵指数

$$\mathrm e^{At}\triangleq I+At+\frac{A^2t^2}{2!}+\cdots=\sum_{k=0}^{\infty}\frac{A^kt^k}{k!},$$

（逐项求导可验证 $\dfrac{\mathrm d}{\mathrm dt}\mathrm e^{At}=A,\mathrm e^{At}$，于是 $\boldsymbol{x}(t)=\mathrm e^{At}\boldsymbol{x}(0)$ 是解。）

稳定性一眼可见：解是若干 $\mathrm e^{\lambda_it}$ 的叠加，衰减 ⟺ 一切 $\operatorname{Re}\lambda_i\lt0$。离散系统 $\boldsymbol{x}_{k+1}=A\boldsymbol{x}_k$（2.3.5 的状态递推）同理：$\boldsymbol{x}_k=A^k\boldsymbol{x}_0$，衰减 ⟹ 一切 $|\lambda_i|\lt1$（幂与逆的特征值）。控制工程判断「系统是否稳定」、马尔可夫链判断「是否收敛到平稳分布」，用的都是这两个特征值判据——特征值从 2.4 的一道考题，长成了工程里的体检指标。

B.7 数据科学：低秩 = 压缩 + 泛化

3.2 的满秩分解 $A=BC$ 把矩阵拆成「$r$ 列骨架 $\times$ $r$ 行图纸」。数据科学把它读成一个语义模型：

$$\underbrace{A}_{m\times n\ \text{评分矩阵}}=\underbrace{B}_{m\times r\ :\ \text{每个用户的 }r\ \text{维画像}}\ \cdot\ \underbrace{C}_{r\times n\ :\ \text{每个物品的 }r\ \text{维画像}}$$

「秩 $r$」= 假设口味可以被 $r$ 个隐因子解释。$r=1$ 时矩阵的每个元素都形如 $a_{ij}=u_iv_j$——一份乘法表。

压缩账本：$m\times n$ 矩阵存 $mn$ 个数；改存 $B$ 与 $C$ 只需 $(m+n)r$ 个。一张 $512\times512$ 的灰度图按秩 $r=32$ 分解：$2\times512\times32=32768$ 个数，约为原始 $262144$ 个的 $\tfrac18$。图像压缩、音频降噪、语义分析共用这一账本——「秩 = 有效信息量」，这正是 3.1 相抵标准形 $\Gamma=\begin{bmatrix}I_r&0\0&0\end{bmatrix}$ 的数据科学读法。

严格的理论问题「哪个秩 $r$ 矩阵离 $A$ 最近」由奇异值分解回答（Eckart–Young 定理，本课程后续章节）：满秩分解还原 $A$ 分毫不差，低秩近似则有意丢掉最小的若干奇异方向。两者共享同一句直觉：把「骨架」留下，把「噪声」扔掉。

附录 B 自测