Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

1.6 直和与投影

1.2 定义了子空间的和 W1+W2={w1+w2}W_1+W_2={\boldsymbol{w}_1+\boldsymbol{w}_2},但和空间里的向量未必只有一种拆法——1.2.6 末尾埋下的那个问题(「对称 + 反对称」分解为何唯一)说的正是这个现象。本节是第一章的收束,分上下两个半场把前面两条线索拧成一股:上半场只用线性结构,下半场让内积加入。

上半场研究「拆法唯一」的和:直和——四条等价判据中「交为零」「维数相加」最常用。在直和分解 V=W1∔W2V=W_1\dotplus W_2 之下,每个向量有唯一的分量 y∈W1\boldsymbol{y}\in W_1,这就是投影;幂等矩阵 A2=AA^2=A 把整套理论安放进一个矩阵等式。下半场把 1.5 的正交性接入:子空间之间也可以正交,而正交自动排除「共享非零向量」,于是每种维度都白送一个由内积唯一确定的补空间——正交补 W⊥W^{\perp};沿正交补落下的是正交投影,它在正交基下有现成的投影公式,公式的「原料」由 Gram–Schmidt 供应。收官的例 1.6.7 对任意方阵给出 Cn=N(A)⊕R(AH)\mathbb C^n=N(A)\oplus R(A^{\mathrm H}):零空间与共轭值域天生正交,这是「四个基本子空间」的第一块拼图,也是通往最小二乘与谱理论的大门。

先抓住一件事

普通的「和」只保证能拆,直和还保证拆法唯一。一旦分量唯一,投影才成为确定的运算;再把补空间取成正交补,投影还成为「垂直落下」的法定运算——不依赖任何选择。判断直和不必逐个验证向量的表法唯一;检查两个子空间是否只共享零向量,通常更快。

1.6.1 直和:拆法唯一的和

和空间只保证「每个向量拆得开」,不保证「拆法唯一」。既然 1.2 节已经见过拆法不唯一的例子,现在就把另一半补上——给「拆法唯一」的和一个正式的名字。

定义 1.6.1 · 直和与直和分解 direct sum

设 W1W_1 与 W2W_2 是线性空间 VV 的子空间。若和空间 W1+W2W_1+W_2 中任意向量均唯一地表示成 W1W_1 中的一个向量和 W2W_2 中的一个向量之和,则称 W1+W2W_1+W_2 是 W1W_1 与 W2W_2 的直和,记为

W1∔W2(部分教材记作 W1⊕W2).W_1\dotplus W_2\qquad(\text{部分教材记作 } W_1\oplus W_2).

特别地,若 V=W1∔W2V=W_1\dotplus W_2,则称表达式 V=W1∔W2V=W_1\dotplus W_2 为 VV 的一个直和分解,并称 W1W_1 与 W2W_2 互为补空间(W2W_2 是 W1W_1 在 VV 中的补,反之亦然)。

唯一性会被什么破坏?只要两个子空间在一条非零向量上重叠,就能造出不止一套拆法。例 1.6.1 把这条路径走一遍。

例 1.6.1 · 两个坐标平面的和不是直和

在直角坐标系 O-xyzO\text{-}xyz 中,取 W1=xoyW_1=xoy 平面、W2=yzW_2=yz 平面。试判断 W1+W2W_1+W_2 是否为直和。

解答 · 例 1.6.1

两个平面都过原点,都是 R3\mathbb R^3 的二维子空间,且 W1+W2=R3W_1+W_2=\mathbb R^3((a,b,c)T=(a,b,0)T+(0,0,c)T(a,b,c)^{\mathrm T}=(a,b,0)^{\mathrm T}+(0,0,c)^{\mathrm T})。但交 W1∩W2=yW_1\cap W_2=y 轴不是零空间。取交线上的非零向量,它有不止一种拆法:对任意 μ∈R\mu\in\mathbb R,

(010)=(0μ+10)+(0−μ0),(0μ+10)∈W1, (0−μ0)∈W2,\begin{pmatrix}0\\1\\0\end{pmatrix} =\begin{pmatrix}0\\\mu+1\\0\end{pmatrix}+\begin{pmatrix}0\\-\mu\\0\end{pmatrix}, \qquad\begin{pmatrix}0\\\mu+1\\0\end{pmatrix}\in W_1,\ \begin{pmatrix}0\\-\mu\\0\end{pmatrix}\in W_2,

μ\mu 取不同值给出不同拆法,表示不唯一。故 W1+W2W_1+W_2 不是直和。

对照:把 W2W_2 换成 zz 轴,则 W1∩W2={θ}W_1\cap W_2=\{\boldsymbol{\theta}\},R3=xoy 平面∔ z 轴\mathbb R^3=xoy\ \text{平面}\dotplus\ z\ \text{轴} 是直和分解(见下图)。

直和与非直和的对照 左:两个平面沿一条直线相交,交不为零向量,不是直和;右:平面与一条不在其中的直线只交于原点,是直和。 ✕ 不是直和 两平面交于一条直线(交 ≠ θ) W₁ W₂ 交线 ✓ 直和 平面与直线只交于原点(交 = θ) 直线 W₂ 平面 W₁ θ
判定直和最快的一眼:「除了零向量,两个子空间还共享别的东西吗?」

记号说明。∔\dotplus 中的加点提醒你「这是直的和」;读作「直和」或「点加」。中文教材两种记号(∔\dotplus 与 ⊕\oplus)都常见:本教程沿用课件记号 ∔\dotplus,并把 ⊕\oplus 留给 1.6.5 的「正交直和」专用——正交的直和信息更多,值得单独一个记号。还有一处反直觉:补空间一般不唯一(过原点的任意一条不在 W1W_1 内的直线都是 xoyxoy 平面的补),这一点马上会在投影的定义里变得要紧。

1.6.2 直和判定定理

按定义 1.6.1 判定直和,要把 W1+W2W_1+W_2 中每一个向量的表法逐一核对——向量有无穷多个,这条路在实际问题里根本走不完。下面的定理把「拆法唯一」翻译成另外三条可以逐条下手的等价说法,其中「交为零」与「维数相加」最常用。

定理 1.6.1 · 直和判定定理

设 W1W_1 与 W2W_2 是线性空间 VV 的两个子空间,则以下命题等价:

(1)W1+W2W_1+W_2 是直和;
(2)W1+W2W_1+W_2 中零元素表法唯一;
(3)W1∩W2={θ}W_1\cap W_2=\{\boldsymbol{\theta}\};
(4)dim⁡(W1+W2)=dim⁡W1+dim⁡W2\dim(W_1+W_2)=\dim W_1+\dim W_2。

证明 · 定理 1.6.1

(1)⟹(2)。直和定义要求任意向量(零元素当然在内)的表法唯一。

(2)⟹(1)。设 x=w1+w2=v1+v2\boldsymbol{x}=\boldsymbol{w}_1+\boldsymbol{w}_2=\boldsymbol{v}_1+\boldsymbol{v}_2 是两种拆法(wi,vi∈Wi\boldsymbol{w}_i,\boldsymbol{v}_i\in W_i)。相减得

θ=(w1−v1)+(w2−v2),wi−vi∈Wi,\boldsymbol{\theta}=(\boldsymbol{w}_1-\boldsymbol{v}_1)+(\boldsymbol{w}_2-\boldsymbol{v}_2),\qquad\boldsymbol{w}_i-\boldsymbol{v}_i\in W_i,

这是零元素的一个表法;由于两个子空间都含零向量,θ=θ+θ\boldsymbol{\theta}=\boldsymbol{\theta}+\boldsymbol{\theta} 也是一个合法的平凡表法。由 (2) 的唯一性,w1−v1=θ\boldsymbol{w}_1-\boldsymbol{v}_1=\boldsymbol{\theta}、w2−v2=θ\boldsymbol{w}_2-\boldsymbol{v}_2=\boldsymbol{\theta},两种拆法相同。故任意向量表法唯一,是直和。

(2)⟺(3)。零元素的任何表法形如 θ=u+(−u)\boldsymbol{\theta}=\boldsymbol{u}+(-\boldsymbol{u})(u∈W1\boldsymbol{u}\in W_1,−u∈W2-\boldsymbol{u}\in W_2 当且仅当 u∈W1∩W2\boldsymbol{u}\in W_1\cap W_2)。于是:

  • 若存在非零 u∈W1∩W2\boldsymbol{u}\in W_1\cap W_2,则 θ=θ+θ=u+(−u)\boldsymbol{\theta}=\boldsymbol{\theta}+\boldsymbol{\theta}=\boldsymbol{u}+(-\boldsymbol{u}) 是两个不同表法,(2) 破坏;
  • 反之若 W1∩W2={θ}W_1\cap W_2=\{\boldsymbol{\theta}\},则表法 θ=u+(−u)\boldsymbol{\theta}=\boldsymbol{u}+(-\boldsymbol{u}) 强制 u=θ\boldsymbol{u}=\boldsymbol{\theta},表法唯一。

(3)⟺(4)。由 1.3.9 维数公式(定理 1.3.5),

dim⁡(W1+W2)=dim⁡W1+dim⁡W2−dim⁡(W1∩W2),\dim(W_1+W_2)=\dim W_1+\dim W_2-\dim(W_1\cap W_2),

而 W1∩W2W_1\cap W_2 是子空间(定理 1.2.2),「dim⁡(W1∩W2)=0\dim(W_1\cap W_2)=0」与「W1∩W2={θ}W_1\cap W_2=\{\boldsymbol{\theta}\}」说的是同一件事。

∎
判据怎么选
  • 给定了具体的子空间(平面、直线、解集):查交 W1∩W2W_1\cap W_2 最快——判据 (3)。
  • 只知道维数与秩(矩阵的值域、抽象计数):用维数公式——判据 (4)。
  • 要证表示唯一(坐标、分解式):直接调 (2) 的表述,「零元素表法唯一」就是「两表法相减为零表法」。
  • 四条判据里没有「W1∪W2W_1\cup W_2」的事——并集根本不是子空间(1.2.5),不要混入。
例 1.6.2 · 对称矩阵 ⊕ 反对称矩阵

取 V=Rn×nV=\mathbb R^{n\times n},

W1={A∈V∣AT=A} (对称矩阵),W2={A∈V∣AT=−A} (反对称矩阵),W_1=\{A\in V\mid A^{\mathrm T}=A\}\ \text{(对称矩阵)},\qquad W_2=\{A\in V\mid A^{\mathrm T}=-A\}\ \text{(反对称矩阵)},

证明 V=W1∔W2V=W_1\dotplus W_2。

解答 · 例 1.6.2

先证 V=W1+W2V=W_1+W_2。由 1.2.6(例 1.2.6),任意 AA 可分解为

A=12(AT+A)+12(−AT+A),12(AT+A)∈W1,12(−AT+A)∈W2.A=\tfrac12\big(A^{\mathrm T}+A\big)+\tfrac12\big(-A^{\mathrm T}+A\big),\qquad \tfrac12\big(A^{\mathrm T}+A\big)\in W_1,\quad\tfrac12\big(-A^{\mathrm T}+A\big)\in W_2.

再证是直和。设 B∈W1∩W2B\in W_1\cap W_2,则 BT=BB^{\mathrm T}=B 且 BT=−BB^{\mathrm T}=-B 同时成立,故 B=−BB=-B,即 B=OB=O。由 定理 1.6.1 (3),W1+W2W_1+W_2 是直和。

这正是 1.2.6 末尾悬念的正式答案:当时直接验证了「分解式唯一」,现在只需一句「交为零」——判定定理把唯一性变成了检查交集的举手之劳。

迁移 · 复矩阵的 Hermite 分解

把转置换成共轭转置,同一论证逐字成立:Cn×n=H∔K\mathbb C^{n\times n}=H\dotplus K,其中 HH 是 Hermite 矩阵全体(AH=AA^{\mathrm H}=A,定义 1.4.2),KK 是反 Hermite 矩阵全体(AH=−AA^{\mathrm H}=-A):

A=12(AH+A)+12(A−AH).A=\tfrac12\big(A^{\mathrm H}+A\big)+\tfrac12\big(A-A^{\mathrm H}\big).

交为零:B=BH=−BHB=B^{\mathrm H}=-B^{\mathrm H} 迫使 B=OB=O。复矩阵的「实部 / 虚部」不是逐元素取,而是沿这个直和分解取——谱理论中「Hermite = 实特征值」的起点。

1.6.3 投影:直和分解下的分量

有了直和,「分量」就不再是模糊的说法——分解唯一,分量是一个确定的向量。把「取分量」这个动作正式命名下来,就是上半场的主角:投影。

定义 1.6.2 · 投影 projection

设 W1W_1 与 W2W_2 是线性空间 VV 的两个子空间且 V=W1∔W2V=W_1\dotplus W_2。由直和定义,∀x∈V\forall\boldsymbol{x}\in V 均可唯一地分解成

x=y+z,y∈W1, z∈W2,\boldsymbol{x}=\boldsymbol{y}+\boldsymbol{z},\qquad\boldsymbol{y}\in W_1,\ \boldsymbol{z}\in W_2,

此时称向量 y\boldsymbol{y} 为向量 x\boldsymbol{x} 在 W1W_1 上的投影(z\boldsymbol{z} 相应地是 x\boldsymbol{x} 在 W2W_2 上的投影)。

直和分解下的投影 向量 x 分解为 W1 中的分量 y 与 W2 中的分量 z,两者唯一。 x y ∈ W₁ z ∈ W₂ W₁(平面) W₂(平面) x = y + z,拆法唯一
投影是整个分解的产物:y\boldsymbol{y} 由「W1W_1 配哪个补空间」共同决定,不只是由 W1W_1 决定。

动手投影分量与正交残差

拖动 x\boldsymbol{x} 的端点,或拉动夹角滑块。绿色是 x\boldsymbol{x} 在 y\boldsymbol{y} 方向上的分量,金色是残差;读数里那一行「残差与 y\boldsymbol{y} 的内积恒为 0」就是这个分解的正交性。

投影依附于分解,而不只依附于 W1W_1。同一个 W1W_1 配不同的补空间,投影结果不同。例:R2\mathbb R^2 中 W1=xW_1=x 轴,x=(1,1)T\boldsymbol{x}=(1,1)^{\mathrm T}。配补 W2=yW_2=y 轴:x=(1,0)T+(0,1)T\boldsymbol{x}=(1,0)^{\mathrm T}+(0,1)^{\mathrm T},投影为 (1,0)T(1,0)^{\mathrm T};配补 W2′=span⁡{(1,1)T}W_2'=\operatorname{span}\{(1,1)^{\mathrm T}\}:x=θ+(1,1)T\boldsymbol{x}=\boldsymbol{\theta}+(1,1)^{\mathrm T},投影为 θ\boldsymbol{\theta}。谈投影,必须同时说清沿哪个补空间。(有没有一种补空间,使投影不再依赖选择?有——W1W_1 的「正交补」W1⊥W_1^{\perp},见 1.6.6;沿它落下的投影称为正交投影,见 1.6.7。)

定义只保证投影存在,不告诉你它等于什么。要把投影算出来,就得回到分解本身:把 W1W_1 的基与 W2W_2 的基拼成 VV 的基(直和保证拼起来线性无关、维数正好凑满),求出 x\boldsymbol{x} 在这组基下的坐标,再按归属把坐标分组——落在 W1W_1 那组基上的部分就是 x\boldsymbol{x} 在 W1W_1 上的投影。

例 1.6.3 · 求向量在子空间上的投影

设 V=R3=W1∔W2V=\mathbb R^3=W_1\dotplus W_2(标准内积),其中 W1=span⁡{(1,0,1)T}W_1=\operatorname{span}\{(1,0,1)^{\mathrm T}\},W2={(x1,x2,x3)T∣x3=0}W_2=\{(x_1,x_2,x_3)^{\mathrm T}\mid x_3=0\}(xoyxoy 平面)。求向量 x=(1,1,1)T\boldsymbol{x}=(1,1,1)^{\mathrm T} 在 W2W_2 上的投影。

解答 · 例 1.6.3

第一步(拼基)。W1W_1 的基 ε1=(1,0,1)T\boldsymbol{\varepsilon}_1=(1,0,1)^{\mathrm T} 连同 W2W_2 的基 ε2=(1,0,0)T\boldsymbol{\varepsilon}_2=(1,0,0)^{\mathrm T}、ε3=(0,1,0)T\boldsymbol{\varepsilon}_3=(0,1,0)^{\mathrm T} 构成 VV 的基(三个向量行列式为 1≠01\neq0)。设

x=k1ε1+k2ε2+k3ε3,\boldsymbol{x}=k_1\boldsymbol{\varepsilon}_1+k_2\boldsymbol{\varepsilon}_2+k_3\boldsymbol{\varepsilon}_3,

则 x\boldsymbol{x} 在 W1W_1 和 W2W_2 上的投影分别为 y=k1ε1\boldsymbol{y}=k_1\boldsymbol{\varepsilon}_1 与 z=k2ε2+k3ε3\boldsymbol{z}=k_2\boldsymbol{\varepsilon}_2+k_3\boldsymbol{\varepsilon}_3。

第二步(内积方程组)。分别计算 x\boldsymbol{x} 与 ε1,ε2,ε3\boldsymbol{\varepsilon}_1,\boldsymbol{\varepsilon}_2,\boldsymbol{\varepsilon}_3 的内积,由第一变元线性:

(x,ε1)=k1(ε1,ε1)+k2(ε2,ε1)+k3(ε3,ε1),(x,ε2)=k1(ε1,ε2)+k2(ε2,ε2)+k3(ε3,ε2),(x,ε3)=k1(ε1,ε3)+k2(ε2,ε3)+k3(ε3,ε3), \begin{aligned} (\boldsymbol{x},\boldsymbol{\varepsilon}_1)&=k_1(\boldsymbol{\varepsilon}_1,\boldsymbol{\varepsilon}_1)+k_2(\boldsymbol{\varepsilon}_2,\boldsymbol{\varepsilon}_1)+k_3(\boldsymbol{\varepsilon}_3,\boldsymbol{\varepsilon}_1),\\ (\boldsymbol{x},\boldsymbol{\varepsilon}_2)&=k_1(\boldsymbol{\varepsilon}_1,\boldsymbol{\varepsilon}_2)+k_2(\boldsymbol{\varepsilon}_2,\boldsymbol{\varepsilon}_2)+k_3(\boldsymbol{\varepsilon}_3,\boldsymbol{\varepsilon}_2),\\ (\boldsymbol{x},\boldsymbol{\varepsilon}_3)&=k_1(\boldsymbol{\varepsilon}_1,\boldsymbol{\varepsilon}_3)+k_2(\boldsymbol{\varepsilon}_2,\boldsymbol{\varepsilon}_3)+k_3(\boldsymbol{\varepsilon}_3,\boldsymbol{\varepsilon}_3), \end{aligned}

写成矩阵形式即 Gram 方程组 Gk=cG\boldsymbol{k}=\boldsymbol{c}(gij=(εj,εi)g_{ij}=(\boldsymbol{\varepsilon}_j,\boldsymbol{\varepsilon}_i),定义 1.4.4):

(210110001)(k1k2k3)=((x,ε1)(x,ε2)(x,ε3))=(211). \begin{pmatrix}2&1&0\\1&1&0\\0&0&1\end{pmatrix} \begin{pmatrix}k_1\\k_2\\k_3\end{pmatrix} =\begin{pmatrix}(\boldsymbol{x},\boldsymbol{\varepsilon}_1)\\(\boldsymbol{x},\boldsymbol{\varepsilon}_2)\\(\boldsymbol{x},\boldsymbol{\varepsilon}_3)\end{pmatrix} =\begin{pmatrix}2\\1\\1\end{pmatrix}.

第三步(求解与分组)。前两个方程 2k1+k2=22k_1+k_2=2、k1+k2=1k_1+k_2=1 相减得 k1=1k_1=1,进而 k2=0k_2=0;第三式 k3=1k_3=1。于是

x=ε1+ε3,ε1⏟∈W1+ε3⏟∈W2.\boldsymbol{x}=\boldsymbol{\varepsilon}_1+\boldsymbol{\varepsilon}_3,\qquad \underbrace{\boldsymbol{\varepsilon}_1}_{\in W_1}+\underbrace{\boldsymbol{\varepsilon}_3}_{\in W_2}.

x\boldsymbol{x} 在 W2W_2 上的投影为 z=ε3=(0,1,0)T\boldsymbol{z}=\boldsymbol{\varepsilon}_3=(0,1,0)^{\mathrm T}(在 W1W_1 上的投影为 y=ε1=(1,0,1)T\boldsymbol{y}=\boldsymbol{\varepsilon}_1=(1,0,1)^{\mathrm T})。核对:y+z=(1,1,1)T=x\boldsymbol{y}+\boldsymbol{z}=(1,1,1)^{\mathrm T}=\boldsymbol{x} ✓。

求投影的通用算法(例 1.6.3 的一般化)
  1. 取 W1W_1 的基与 W2W_2 的基,拼成 VV 的基(直和保证拼起来无关、维数凑满);
  2. 解 Gram 方程组 Gk=cG\boldsymbol{k}=\boldsymbol{c},其中 ci=(x,εi)c_i=(\boldsymbol{x},\boldsymbol{\varepsilon}_i)、gij=(εj,εi)g_{ij}=(\boldsymbol{\varepsilon}_j,\boldsymbol{\varepsilon}_i)——GG 正定 Hermite(基的度量矩阵,定义 1.4.4;实空间即对称正定),方程组必有唯一解;
  3. 把坐标按「W1W_1 的基 / W2W_2 的基」分组,分别组装即得两个投影。

本质上这就是 1.3.5 的坐标求解,只是方程组用内积写出——好处是系数矩阵自动对称正定,数值上稳定(高斯消元无需选主元)。

例 1.6.A · 四条判据各验一遍

在 R2\mathbb R^2 中取 W1={(a,0)T}W_1=\{(a,0)^{\mathrm T}\}(xx 轴),W2=span⁡{(1,1)T}W_2=\operatorname{span}\{(1,1)^{\mathrm T}\}。(1) 证明 R2=W1∔W2\mathbb R^2=W_1\dotplus W_2;(2) 求 x=(3,1)T\boldsymbol{x}=(3,1)^{\mathrm T} 在 W1W_1 上的投影;(3) 这个投影是「垂直落下」得到的吗?

解答 · 例 1.6.A

(1) 四条判据逐条看:(1′) 设 (a,b)T=(s,0)T+t(1,1)T(a,b)^{\mathrm T}=(s,0)^{\mathrm T}+t(1,1)^{\mathrm T},比较第二分量得 t=bt=b,再得 s=a−bs=a-b,表法唯一;(2′) 已含于 (1′);(3′) (s,0)T=t(1,1)T(s,0)^{\mathrm T}=t(1,1)^{\mathrm T} 强制 t=0,s=0t=0,s=0,W1∩W2={θ}W_1\cap W_2=\{\boldsymbol{\theta}\};(4′) dim⁡W1+dim⁡W2=1+1=2=dim⁡R2\dim W_1+\dim W_2=1+1=2=\dim\mathbb R^2。四条全部成立(定理保证它们同时成立,验证一条即可,此处仅为演练)。

(2) 沿此分解:(3,1)T=(2,0)T+(1,1)T(3,1)^{\mathrm T}=(2,0)^{\mathrm T}+(1,1)^{\mathrm T},投影为 (2,0)T(2,0)^{\mathrm T}。

(3) 不是。残差 x−y=(1,1)T∈W2\boldsymbol{x}-\boldsymbol{y}=(1,1)^{\mathrm T}\in W_2 与 W1W_1 的内积 (1,1)⋅(1,0)=1≠0(1,1)\cdot(1,0)=1\neq0,不垂直。若换成补空间 yy 轴,投影为 (3,0)T(3,0)^{\mathrm T},残差 (0,1)T(0,1)^{\mathrm T} 与 W1W_1 垂直——同一个 W1W_1,两种补,两个不同的投影,其中只有后者是正交投影。

1.6.4 幂等矩阵:A2=AA^2=A 自动给出直和分解

上半场还剩一个反方向的问题:前面都是「给定分解,算投影」,一个矩阵能不能反过来自带一组直和分解?A2=AA^2=A 给出的答案最干净。

例 1.6.4 · A2=A ⇒ Cn=R(A)∔R(I−A)A^2=A\ \Rightarrow\ \mathbb C^n=R(A)\dotplus R(I-A)

设 A∈Cn×nA\in\mathbb C^{n\times n} 且满足 A2=AA^2=A(称 AA 为幂等矩阵),试证明

Cn=R(A)∔R(I−A).\mathbb C^n=R(A)\dotplus R\big(I-A\big).

分析:须证明(1)R(A)+R(I−A)R(A)+R(I-A) 是直和;(2)R(A)∔R(I−A)R(A)\dotplus R(I-A) 与 Cn\mathbb C^n 相等。

证明(1)直和

设 x∈R(A)\boldsymbol{x}\in R(A)、y∈R(I−A)\boldsymbol{y}\in R(I-A),则存在 z1,z2∈Cn\boldsymbol{z}_1,\boldsymbol{z}_2\in\mathbb C^n 使

x=Az1,y=(I−A)z2.\boldsymbol{x}=A\boldsymbol{z}_1,\qquad\boldsymbol{y}=(I-A)\boldsymbol{z}_2.

进一步(反复用 A2=AA^2=A):

Ax=A2z1=Az1=x,Ay=A(I−A)z2=(A−A2)z2=0.A\boldsymbol{x}=A^2\boldsymbol{z}_1=A\boldsymbol{z}_1=\boldsymbol{x},\qquad A\boldsymbol{y}=A(I-A)\boldsymbol{z}_2=(A-A^2)\boldsymbol{z}_2=\boldsymbol{0}.

即:R(A)R(A) 中的向量被 AA 作用后不变,R(I−A)R(I-A) 中的向量被 AA 作用后变为零向量。令 w∈R(A)∩R(I−A)\boldsymbol{w}\in R(A)\cap R(I-A),则同时有 w=Aw\boldsymbol{w}=A\boldsymbol{w}(因 w∈R(A)\boldsymbol{w}\in R(A))与 w=Aw=0\boldsymbol{w}=A\boldsymbol{w}=\boldsymbol{0}(因 w∈R(I−A)\boldsymbol{w}\in R(I-A)),故 w=0\boldsymbol{w}=\boldsymbol{0}。由 定理 1.6.1 (3),R(A)+R(I−A)R(A)+R(I-A) 是直和。

∎
证明(2)与 Cn\mathbb C^n 相等 · 方法一(两集合相等)

∀x∈Cn\forall\boldsymbol{x}\in\mathbb C^n,

x=Ax+(I−A)x,Ax∈R(A), (I−A)x∈R(I−A),\boldsymbol{x}=A\boldsymbol{x}+(I-A)\boldsymbol{x},\qquad A\boldsymbol{x}\in R(A),\ (I-A)\boldsymbol{x}\in R(I-A),

故 Cn⊆R(A)+R(I−A)\mathbb C^n\subseteq R(A)+R(I-A)。反向包含来自值域的类型:R(A),R(I−A)⊆CnR(A),R(I-A)\subseteq\mathbb C^n,而 Cn\mathbb C^n 对加法封闭,所以 R(A)+R(I−A)⊆CnR(A)+R(I-A)\subseteq\mathbb C^n。因此 Cn=R(A)∔R(I−A)\mathbb C^n=R(A)\dotplus R(I-A)。

∎
证明(2)与 Cn\mathbb C^n 相等 · 方法二(子空间 + 维数相等)

已知 R(A)+R(I−A)R(A)+R(I-A) 一定是 Cn\mathbb C^n 的子空间,故(结合 (1) 已证的直和)

Cn=R(A)∔R(I−A) ⟺ dim⁡R(A)+dim⁡R(I−A)=n ⟺ rank⁡A+rank⁡(I−A)=n.\mathbb C^n=R(A)\dotplus R(I-A)\ \Longleftrightarrow\ \dim R(A)+\dim R(I-A)=n\ \Longleftrightarrow\ \operatorname{rank}A+\operatorname{rank}(I-A)=n.

设 rank⁡A=r\operatorname{rank}A=r,须证 rank⁡(I−A)=n−r\operatorname{rank}(I-A)=n-r。一方面,根据 A(I−A)=OA(I-A)=O 得:I−AI-A 的每一列都是方程组 Ax=0A\boldsymbol{x}=\boldsymbol{0} 的解向量,而该方程组的解空间维数为 n−rn-r(先修工具箱 §4 结论 B),故

rank⁡(I−A)≤n−r.\operatorname{rank}(I-A)\leq n-r.

另一方面,把 I=A+(I−A)I=A+(I-A) 取秩并用次可加性:

n=rank⁡I=rank⁡(A+(I−A))≤rank⁡A+rank⁡(I−A)=r+rank⁡(I−A),n=\operatorname{rank}I=\operatorname{rank}\big(A+(I-A)\big)\leq\operatorname{rank}A+\operatorname{rank}(I-A)=r+\operatorname{rank}(I-A),

故 rank⁡(I−A)≥n−r\operatorname{rank}(I-A)\geq n-r。综上 rank⁡(I−A)=n−r\operatorname{rank}(I-A)=n-r,命题得证。

∎
勘误 E9 · 课件页 11 证明 (1) 中「令 y=x\boldsymbol{y}=\boldsymbol{x}」的跳跃

课件证明 R(A)∩R(I−A)={0}R(A)\cap R(I-A)=\{\boldsymbol{0}\} 时写:「进一步,Ax=xA\boldsymbol{x}=\boldsymbol{x},Ay=0A\boldsymbol{y}=\boldsymbol{0}。令 y=x\boldsymbol{y}=\boldsymbol{x},则有 x=Ax=Ay=0\boldsymbol{x}=A\boldsymbol{x}=A\boldsymbol{y}=\boldsymbol{0}。」两步之间缺了一个关键交代:x\boldsymbol{x} 与 y\boldsymbol{y} 原本取自不同的子空间,不能直接令它们相等;应当先说明「设 w∈R(A)∩R(I−A)\boldsymbol{w}\in R(A)\cap R(I-A),则 w\boldsymbol{w} 既可写成 Az1A\boldsymbol{z}_1(故 Aw=wA\boldsymbol{w}=\boldsymbol{w}),又可写成 (I−A)z2(I-A)\boldsymbol{z}_2(故 Aw=0A\boldsymbol{w}=\boldsymbol{0}),两者联立得 w=0\boldsymbol{w}=\boldsymbol{0}」。本教程 1.6.4 的证明已补足这一层。

幂等矩阵把每个向量拆成「不动部分 + 零化部分」 x 分解为 Ax 与 (I−A)x;A 作用在 Ax 上不变,作用在 (I−A)x 上得到零向量。 x ∈ Cⁿ 任意向量 A x (I−A) x Ax ∈ R(A) A(Ax) = Ax 不动 (I−A)x A 作用后为零 两者之和恒等于 x 相交仅 0:Cⁿ = R(A) ∔ R(I−A)
A2=AA^2=A 的全部信息浓缩为一句:AA 是「沿 R(I−A)R(I-A) 落到 R(A)R(A)」的投影。
幂等矩阵就是投影矩阵

例 1.6.4 说:A2=AA^2=A 时,映射 x↦Ax\boldsymbol{x}\mapsto A\boldsymbol{x} 恰好是「把 x\boldsymbol{x} 沿 R(I−A)R(I-A) 投到 R(A)R(A) 上」的投影。还差一步就能看到全貌:此时 N(A)=R(I−A)N(A)=R(I-A)。证明是一行双向包含:

  • 若 Ax=0A\boldsymbol{x}=\boldsymbol{0},则 x=Ax+(I−A)x=(I−A)x∈R(I−A)\boldsymbol{x}=A\boldsymbol{x}+(I-A)\boldsymbol{x}=(I-A)\boldsymbol{x}\in R(I-A);
  • 若 x∈R(I−A)\boldsymbol{x}\in R(I-A),则 x=(I−A)z\boldsymbol{x}=(I-A)\boldsymbol{z},Ax=(A−A2)z=0A\boldsymbol{x}=(A-A^2)\boldsymbol{z}=\boldsymbol{0}。

于是幂等矩阵给出的是「值域 ∔\dotplus 零空间」分解 Cn=R(A)∔N(A)\mathbb C^n=R(A)\dotplus N(A)——1.2.7 里看似不相干的两个子空间,被 A2=AA^2=A 一根线穿起。检验一个矩阵是否是投影矩阵,只需验证 A2=AA^2=A,值域分解与拆法唯一性随之成立。特别地,若还满足 R(A)⊥N(A)R(A)\perp N(A)(这要求 A=AHA=A^{\mathrm H}),投影就是正交投影——最小二乘法中「法方程的解」正是它在做事,后续课程展开。(例 1.6.7 将补全这条线:对任意矩阵,与 N(A)N(A) 天生正交的不是 R(A)R(A),而是 R(AH)R(A^{\mathrm H})。)

一个简单算例。A=(1000)A=\begin{pmatrix}1&0\\0&0\end{pmatrix},直接相乘得 A2=(1000)=AA^2=\begin{pmatrix}1&0\\0&0\end{pmatrix}=A。R(A)=span⁡{(1,0)T}R(A)=\operatorname{span}\{(1,0)^{\mathrm T}\}(xx 轴),R(I−A)=span⁡{(0,1)T}R(I-A)=\operatorname{span}\{(0,1)^{\mathrm T}\}(yy 轴),C2=x 轴∔ y 轴\mathbb C^2=x\text{ 轴}\dotplus\ y\text{ 轴};AxA\boldsymbol{x} 把 (a,b)T(a,b)^{\mathrm T} 变成 (a,0)T(a,0)^{\mathrm T}——恰是沿 yy 轴向 xx 轴的(正交)投影。把 AA 换成 (1100)\begin{pmatrix}1&1\\0&0\end{pmatrix}(相乘仍得 A2=AA^2=A),R(A)R(A) 不变,但 R(I−A)=span⁡{(1,−1)T}R(I-A)=\operatorname{span}\{(1,-1)^{\mathrm T}\} 变了,投影变成斜投影——再次印证:投影由「子空间 + 补空间」共同决定。

半场小结 · 上半场(1.6.1–1.6.4)停一下

到这里,「和」这条线已经走完。上半场的全部内容可以收成四句:

  1. 和 → 直和:多出的信息只有一条——拆法唯一;把关的判据里「交为零」最快。
  2. 直和 → 投影:正因为拆法唯一,「分量」才是一个确定的向量,才有资格叫投影。
  3. 投影 → 矩阵:幂等矩阵 A2=AA^2=A 把「值域 + 零空间」这套分解压进一个矩阵等式。
  4. 贯穿的前提:投影依附于整个分解(子空间 + 补空间),不是只依附于目标子空间。

下半场只做一件事:让内积接管,把「随便挑一个补空间」升级为「由内积唯一确定的补空间」。从「投影」走到「正交投影」,要补的就是这一步。

1.6.5 正交的子空间与正交直和

1.5.5 定义的是一对向量的正交:(x,y)=0(\boldsymbol{x},\boldsymbol{y})=0。要把内积接进直和与投影,先得把这个定义升级两次——先升到「向量对子空间」,再升到「子空间对子空间」。升级之后,「垂直」这个词反而要更小心地使用:几何直觉会骗人。

定义 1.6.3 · 向量正交于子空间

设 VV 是内积空间,WW 是 VV 的子空间,x∈V\boldsymbol{x}\in V。若对 ∀y∈W\forall\boldsymbol{y}\in W 都有 x⊥y\boldsymbol{x}\perp\boldsymbol{y},则称 x\boldsymbol{x} 正交(或垂直)于子空间 WW,记为 x⊥W\boldsymbol{x}\perp W。

定义 1.6.4 · 两子空间正交

设 W1W_1 与 W2W_2 是内积空间 VV 的子空间。若对 ∀x∈W1\forall\boldsymbol{x}\in W_1 和 ∀y∈W2\forall\boldsymbol{y}\in W_2 都有 x⊥y\boldsymbol{x}\perp\boldsymbol{y},则称 W1W_1 与 W2W_2 正交,记为 W1⊥W2W_1\perp W_2。

检验正交,只需查基对基

定义要求「每一个对每一个」,看似查不完,实际只需检查基与基:设 α1,⋯ ,αs\boldsymbol{\alpha}_1,\cdots,\boldsymbol{\alpha}_s 是 W1W_1 的基、β1,⋯ ,βt\boldsymbol{\beta}_1,\cdots,\boldsymbol{\beta}_t 是 W2W_2 的基,则

W1⊥W2⟺(αi,βj)=0(∀ i,j).W_1\perp W_2\quad\Longleftrightarrow\quad(\boldsymbol{\alpha}_i,\boldsymbol{\beta}_j)=0\quad(\forall\,i,j).

理由是内积的线性:W1W_1 中任意向量是 αi\boldsymbol{\alpha}_i 的组合、W2W_2 中任意向量是 βj\boldsymbol{\beta}_j 的组合,按两个变元把内积逐项拆开,每一项都含某个 (αi,βj)(\boldsymbol{\alpha}_i,\boldsymbol{\beta}_j)。(对照 定理 1.5.2 证明里「两边作内积、正交性消项」的动作——同一个技巧。)

例 1.6.5 · 几何上的「垂直」未必是子空间正交

在 R3\mathbb R^3 中取三个子空间(如图):直线 WW 竖直站立,W1W_1 是水平地面,W2W_2 是竖直墙面,W1W_1 与 W2W_2 摆成「墙角」——几何上互相垂直。考察:(1) WW 与 W1W_1 是否正交?(2) W1W_1 与 W2W_2 是否正交?

解答 · 例 1.6.5

(1) 正交。直线垂直于平面,意味着它与平面内每一条直线都垂直(立体几何的事实);W1W_1 的每个向量都躺在平面内一条过原点的直线上,故 WW 的每个向量与 W1W_1 的每个向量正交。按定义 1.6.4,W⊥W1W\perp W_1。

(2) 不正交。两个平面都过原点,其交 W1∩W2=W3W_1\cap W_2=W_3 是一条过原点的直线(维数公式保证 dim⁡(W1∩W2)≥2+2−3=1\dim(W_1\cap W_2)\geq2+2-3=1;几何上就是墙角的「踢脚线」)。取 W3W_3 中任一非零向量 u\boldsymbol{u}:它既属于 W1W_1 又属于 W2W_2,而 (u,u)=∥u∥2≠0(\boldsymbol{u},\boldsymbol{u})=\|\boldsymbol{u}\|^2\neq0——W1W_1 中存在与 W2W_2 中向量不正交的对子(u\boldsymbol{u} 与它自己)。故 W1W_1 与 W2W_2 不正交。

教训。「墙角式垂直」是逐方向的:墙面内确有不少方向与地面垂直,但并非每一个方向都与地面的每一个方向垂直——踢脚线是例外。子空间正交是全称命题「每一个对每一个」,比几何直观强得多;它还立刻排除「共享非零向量」的可能——这正是下一条定理的全部证明。

例 1.6.5:墙角的三个子空间 水平地面平面 W1,竖直墙面平面 W2 与它交于直线 W3;竖直直线 W 与地面内每条直线垂直。 W ⊥ W₁ ✓  W₁ 与 W₂ ✗ W₁(地面平面) W₂(墙面平面) W₃ = W₁∩W₂(踢脚线) W O 墙面内确有方向 ⊥ 地面, 但踢脚线方向是例外
几何「垂直」是逐方向的;子空间正交要求每一个对每一个——踢脚线 W3W_3 同时躺在两个平面里,非零向量与自己不正交,所以 W1W_1 与 W2W_2 不正交。
定理 1.6.2 · 正交 ⟹ 直和

设 W1W_1 与 W2W_2 是内积空间 VV 的子空间。若 W1⊥W2W_1\perp W_2,则 W1+W2=W1∔W2W_1+W_2=W_1\dotplus W_2。

证明 · 定理 1.6.2

由 定理 1.6.1 (3),只须证 W1∩W2={θ}W_1\cap W_2=\{\boldsymbol{\theta}\}。设 u∈W1∩W2\boldsymbol{u}\in W_1\cap W_2,把 u\boldsymbol{u} 同时当作 W1W_1 的向量与 W2W_2 的向量,则 W1⊥W2W_1\perp W_2 给出 (u,u)=0(\boldsymbol{u},\boldsymbol{u})=0;由正定性(定义 1.4.1 (4)),u=θ\boldsymbol{u}=\boldsymbol{\theta}。∎

一行证明。例 1.6.5 里「踢脚线上不可能有非零向量」的观察,在这里把「查交」这道工序整个免掉了:只要两个子空间正交,最常用的判据 (3) 就自动成立。

∎
定义 1.6.5 · 正交直和与正交直和分解

设 W1W_1 与 W2W_2 是内积空间 VV 的子空间。若 W1⊥W2W_1\perp W_2,则称直和 W1∔W2W_1\dotplus W_2 为 W1W_1 与 W2W_2 的正交直和,记为 W1⊕W2W_1\oplus W_2;若 V=W1⊕W2V=W_1\oplus W_2,则称表达式 V=W1⊕W2V=W_1\oplus W_2 为 VV 的正交直和分解。

记号收束。至此补全 1.6.1 的记号说明:∔\dotplus 表示一般直和(拆法唯一),⊕\oplus 专指正交直和(拆法唯一且两分量互相垂直)——信息更多,值得单独一个记号。有的教材用 ⊕\oplus 兼指两者,阅读时须从上下文分辨;本教程从严区分。

勘误 E11 · 定理 1.6.2–1.6.4 与定义 1.6.5–1.6.7 的空间前提

课件在定义 1.6.3、1.6.4 处正确写了「内积空间」,但从定理 1.6.2 起连续把前提写成「线性空间 VV」(定义 1.6.5–1.6.7、定理 1.6.2–1.6.4 均如此)。「W1⊥W2W_1\perp W_2」「W1⊥W_1^{\perp}」离开内积没有定义——正交是 1.4 引入的几何结构,不是线性结构自带的。本教程把这些条目的前提统一改为内积空间。

1.6.6 正交补:法定的补空间

1.6.1 说过:补空间一般不唯一,谈投影必须说清「沿哪个补」。这带来一个尴尬:同一个 W1W_1,换个补就换个投影,「在 W1W_1 上的投影」还不是 W1W_1 自己说了算的运算。本节要找一个例外——由内积唯一确定、无需任何选择的补空间。

定义 1.6.6 · 子空间正交补

设 W1W_1 是内积空间 VV 的子空间,则集合

W1⊥={x∈V∣x⊥W1}W_1^{\perp}=\{\boldsymbol{x}\in V\mid\boldsymbol{x}\perp W_1\}

称为 W1W_1 的正交补(空间)。

这个定义的读法是:把 VV 中「与 W1W_1 处处垂直」的向量全部收集起来。这个集合天生就是「补」的候选——W1W_1 中的非零向量不可能与自己垂直(正是定理 1.6.2 的推理),所以 W1∩W1⊥={θ}W_1\cap W_1^{\perp}={\boldsymbol{\theta}}。但要当补空间,还得回答两个问题:它是不是子空间?它够不够大?下面两条定理依次作答。

定理 1.6.3 · 正交补是子空间

设 W1W_1 是内积空间 VV 的子空间,则集合 W1⊥W_1^{\perp} 是 VV 的线性子空间。

证明 · 定理 1.6.3

θ\boldsymbol{\theta} 与任何向量正交(例 1.4.1),故 θ∈W1⊥\boldsymbol{\theta}\in W_1^{\perp},集合非空。任取 x1,x2∈W1⊥\boldsymbol{x}_1,\boldsymbol{x}_2\in W_1^{\perp}、k∈Fk\in F、y∈W1\boldsymbol{y}\in W_1。由第一变元线性(定义 1.4.1 (2)(3)):

(x1+x2,y)=(x1,y)+(x2,y)=0,(kx1,y)=k(x1,y)=0,(\boldsymbol{x}_1+\boldsymbol{x}_2,\boldsymbol{y})=(\boldsymbol{x}_1,\boldsymbol{y})+(\boldsymbol{x}_2,\boldsymbol{y})=0,\qquad (k\boldsymbol{x}_1,\boldsymbol{y})=k(\boldsymbol{x}_1,\boldsymbol{y})=0,

故 x1+x2∈W1⊥\boldsymbol{x}_1+\boldsymbol{x}_2\in W_1^{\perp}、kx1∈W1⊥k\boldsymbol{x}_1\in W_1^{\perp}。由子空间判定定理(定理 1.2.1),W1⊥W_1^{\perp} 是 VV 的子空间。∎

(「待验证的向量」被放在内积的第一变元,这正是本教程「第一变元线性」约定的用处;采用相反约定的教材,把论证放到第二变元即可。)

∎
定理 1.6.4 · 正交分解定理

设 W1W_1 是 nn 维内积空间 VV 的子空间,则

V=W1⊕W1⊥.V=W_1\oplus W_1^{\perp}.

证明 · 定理 1.6.4

正交性。按定义 1.6.4 逐字成立:W1W_1 的每个向量与 W1⊥W_1^{\perp} 的每个向量正交,即 W1⊥W1⊥W_1\perp W_1^{\perp};由 定理 1.6.2,和 W1+W1⊥W_1+W_1^{\perp} 已是直和。以下只须证 W1+W1⊥=VW_1+W_1^{\perp}=V。

构造一组「前段张成 W1W_1」的正交基。设 dim⁡W1=m\dim W_1=m。m=0m=0 时 W1⊥=VW_1^{\perp}=V,结论平凡。设 m≥1m\geq1:取 W1W_1 的任一组基 x1,⋯ ,xm\boldsymbol{x}_1,\cdots,\boldsymbol{x}_m,由基扩充定理(推论 1.3.1)扩成 VV 的基 x1,⋯ ,xm,xm+1,⋯ ,xn\boldsymbol{x}_1,\cdots,\boldsymbol{x}_m,\boldsymbol{x}_{m+1},\cdots,\boldsymbol{x}_n,再对整组基施行 Gram–Schmidt(1.5.6),得 VV 的正交基 v1,⋯ ,vn\boldsymbol{v}_1,\cdots,\boldsymbol{v}_n。

这一步全靠 Gram–Schmidt 的一条性质:它逐步保持张成不变(1.5.6:span⁡(v1,⋯ ,vk)=span⁡(x1,⋯ ,xk)\operatorname{span}(\boldsymbol{v}_1,\cdots,\boldsymbol{v}_k)=\operatorname{span}(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_k))。取 k=mk=m 即

span⁡(v1,⋯ ,vm)=span⁡(x1,⋯ ,xm)=W1.\operatorname{span}(\boldsymbol{v}_1,\cdots,\boldsymbol{v}_m)=\operatorname{span}(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_m)=W_1 .

而 vm+1,⋯ ,vn\boldsymbol{v}_{m+1},\cdots,\boldsymbol{v}_n 与 v1,⋯ ,vm\boldsymbol{v}_1,\cdots,\boldsymbol{v}_m 两两正交,故每个 vj (j>m)\boldsymbol{v}_j\ (j>m) 都与 W1W_1 的每个向量正交。

这里有一个容易写错的理由

不要说「W1W_1 的基本来两两正交,所以 GS 不动它们,vi=xi\boldsymbol{v}_i=\boldsymbol{x}_i」——x1,⋯ ,xm\boldsymbol{x}_1,\cdots,\boldsymbol{x}_m 是任取的一组基,一般并不正交,GS 会实实在在改变它们(例如 v2=x2−(x2,v1)(v1,v1)v1≠x2\boldsymbol{v}_2=\boldsymbol{x}_2-\frac{(\boldsymbol{x}_2,\boldsymbol{v}_1)}{(\boldsymbol{v}_1,\boldsymbol{v}_1)}\boldsymbol{v}_1\ne\boldsymbol{x}_2)。

结论靠的是「张成不变」,不是「向量不变」:W1W_1 的正交基未必是原来那 mm 个向量,但它们仍张成 W1W_1——这已经够用了。

拆任意向量。任取 x∈V\boldsymbol{x}\in V,按正交基展开并分组:

x=∑i=1mcivi⏟=: y∈W1+∑i=m+1ncivi⏟=: z,\boldsymbol{x}=\underbrace{\sum_{i=1}^{m}c_i\boldsymbol{v}_i}_{=:\,\boldsymbol{y}\in W_1}+\underbrace{\sum_{i=m+1}^{n}c_i\boldsymbol{v}_i}_{=:\,\boldsymbol{z}},

z\boldsymbol{z} 是 vm+1,⋯ ,vn\boldsymbol{v}_{m+1},\cdots,\boldsymbol{v}_n 的组合,其中每个向量都与 W1W_1 的基正交;由内积的线性,z\boldsymbol{z} 与 W1W_1 的每个向量正交,即 z∈W1⊥\boldsymbol{z}\in W_1^{\perp}。于是 x=y+z∈W1+W1⊥\boldsymbol{x}=\boldsymbol{y}+\boldsymbol{z}\in W_1+W_1^{\perp};反向包含是子空间的类型关系。故 V=W1⊕W1⊥V=W_1\oplus W_1^{\perp}。∎

∎

维数的红利。把 dim⁡V=n\dim V=n 代入正交分解与判据 (4):

dim⁡W1+dim⁡W1⊥=n.\dim W_1+\dim W_1^{\perp}=n .

计数立即过关:R3\mathbb R^3 中平面的正交补是直线、直线的正交补是平面、全空间的正交补是 {θ}\{\boldsymbol{\theta}\}。另一个顺手的推论是 (W1⊥)⊥=W1(W_1^{\perp})^{\perp}=W_1:一方面 W1⊆(W1⊥)⊥W_1\subseteq(W_1^{\perp})^{\perp}(W1W_1 的向量与 W1⊥W_1^{\perp} 的一切向量正交),另一方面两者维数都是 dim⁡W1\dim W_1;有限维空间里「包含 + 等维 ⟹ 相等」。

正交分解里的补空间没有选择余地。考察任意正交直和分解 V=W1⊕W2V=W_1\oplus W_2:按定义,W2⊆W1⊥W_2\subseteq W_1^{\perp};而判据 (4) 用两次给出 dim⁡W2=n−dim⁡W1=dim⁡W1⊥\dim W_2=n-\dim W_1=\dim W_1^{\perp},故

W2=W1⊥.W_2=W_1^{\perp}.

这正是 1.6.3 末尾遗留问题的答案:只有沿正交补的投影不依赖「选哪个补」——它由 W1W_1 与内积唯一确定。1.4 注 3 说内积为线性空间带来「图形化」理解,这里兑现得最彻底:内积替你选好了补空间。

1.6.7 正交投影:沿正交补落下

补空间一旦由内积钉死,投影就不再依赖任何选择,「在 W1W_1 上的投影」也终于可以省掉后半句。这样的投影值得一个专名,也值得一套专门的算法。

定义 1.6.7 · 正交投影

设 W1W_1 与 W2W_2 是内积空间 VV 的两个子空间且 V=W1⊕W2V=W_1\oplus W_2。∀x∈V\forall\boldsymbol{x}\in V 均可唯一地分解成

x=y+z,y∈W1, z∈W2,\boldsymbol{x}=\boldsymbol{y}+\boldsymbol{z},\qquad\boldsymbol{y}\in W_1,\ \boldsymbol{z}\in W_2,

此时称向量 y\boldsymbol{y} 为向量 x\boldsymbol{x} 在 W1W_1 上的正交投影(z\boldsymbol{z} 相应地是 x\boldsymbol{x} 在 W2W_2 上的正交投影),记作 y=Proj⁡W1x\boldsymbol{y}=\operatorname{Proj}_{W_1}\boldsymbol{x}。

定义为何合法(课件未交代)。定义里写的是「某个」W2W_2,看似正交投影仍依赖补空间的选择,但这一点由 1.6.6 末尾的注直接消掉:正交直和分解中的 W2W_2 必定等于 W1⊥W_1^{\perp}。因此「x\boldsymbol{x} 在 W1W_1 上的正交投影」只由 W1W_1(与内积)决定;等价地,可把定义中的分解直接取为 V=W1⊕W1⊥V=W_1\oplus W_1^{\perp}(定理 1.6.4 保证它存在)。与一般投影(定义 1.6.2)对照:一般投影是「沿指定补空间」的运算,正交投影是「沿正交补」的法定运算——谈它时不必再提补空间。

沿正交补落下的正交投影 平面 W 与直线 W⊥ 互相垂直;向量 x 分解为 W 中的 y 与 W⊥ 中的 z,构成矩形。 W(平面) W⊥(直线) O z y x x = y + z(矩形结构)
正交投影的「矩形结构」:x=y+z\boldsymbol{x}=\boldsymbol{y}+\boldsymbol{z},两分量正交,勾股 ∥x∥2=∥y∥2+∥z∥2\|\boldsymbol{x}\|^2=\|\boldsymbol{y}\|^2+\|\boldsymbol{z}\|^2 顺手成立。

勾股与「最近点」。分解 x=y+z\boldsymbol{x}=\boldsymbol{y}+\boldsymbol{z}(y⊥z\boldsymbol{y}\perp\boldsymbol{z})立刻给出勾股等式(1.5.5 注 5):

∥x∥2=∥y∥2+∥z∥2.\|\boldsymbol{x}\|^2=\|\boldsymbol{y}\|^2+\|\boldsymbol{z}\|^2 .

再进一步——课件未展开、值得记住的一步——对任意 w∈W1\boldsymbol{w}\in W_1,由 y−w∈W1\boldsymbol{y}-\boldsymbol{w}\in W_1、x−y=z∈W1⊥\boldsymbol{x}-\boldsymbol{y}=\boldsymbol{z}\in W_1^{\perp} 及勾股:

∥x−w∥2=∥y−w∥2+∥z∥2 ≥ ∥z∥2=∥x−y∥2,\|\boldsymbol{x}-\boldsymbol{w}\|^2=\|\boldsymbol{y}-\boldsymbol{w}\|^2+\|\boldsymbol{z}\|^2\ \geq\ \|\boldsymbol{z}\|^2=\|\boldsymbol{x}-\boldsymbol{y}\|^2,

等号当且仅当 w=y\boldsymbol{w}=\boldsymbol{y}。正交投影是 W1W_1 中离 x\boldsymbol{x} 最近的点(最佳逼近)——最小二乘法「残差最小」的全部秘密就在这一行(习题 B13 要求完整写出)。

例 1.6.6 · 求正交投影的两种方法

在 R3\mathbb R^3(标准内积)中给定线性子空间 W=span⁡{x1,x2}W=\operatorname{span}\{\boldsymbol{x}_1,\boldsymbol{x}_2\},其中

x1=(2,5,−1)T,x2=(−2,1,1)T.\boldsymbol{x}_1=(2,5,-1)^{\mathrm T},\qquad\boldsymbol{x}_2=(-2,1,1)^{\mathrm T}.

求 x=(1,2,3)T\boldsymbol{x}=(1,2,3)^{\mathrm T} 在 WW 和 W⊥W^{\perp} 上的正交投影。

方法一 · 先求补,再相减

先求 W⊥W^{\perp}。设 u=(a,b,c)T\boldsymbol{u}=(a,b,c)^{\mathrm T} 与 x1,x2\boldsymbol{x}_1,\boldsymbol{x}_2 都正交:

(u,x1)=2a+5b−c=0,(u,x2)=−2a+b+c=0,(\boldsymbol{u},\boldsymbol{x}_1)=2a+5b-c=0,\qquad(\boldsymbol{u},\boldsymbol{x}_2)=-2a+b+c=0,

两式相加得 b=0b=0,进而 c=2ac=2a。取 a=1a=1 得 x3=(1,0,2)T\boldsymbol{x}_3=(1,0,2)^{\mathrm T},故 W⊥=span⁡{x3}W^{\perp}=\operatorname{span}\{\boldsymbol{x}_3\}(一维,与维数公式 3−2=13-2=1 一致)。

投到一维子空间。设 α\alpha 为 x\boldsymbol{x} 与 x3\boldsymbol{x}_3 的夹角(定义 1.5.2),则

z=Proj⁡W⊥x=∥x∥cos⁡α⋅x3∥x3∥=(x,x3)(x3,x3) x3=75(1,0,2)T=(75, 0, 145)T,\boldsymbol{z}=\operatorname{Proj}_{W^{\perp}}\boldsymbol{x} =\|\boldsymbol{x}\|\cos\alpha\cdot\frac{\boldsymbol{x}_3}{\|\boldsymbol{x}_3\|} =\frac{(\boldsymbol{x},\boldsymbol{x}_3)}{(\boldsymbol{x}_3,\boldsymbol{x}_3)}\,\boldsymbol{x}_3 =\frac75(1,0,2)^{\mathrm T} =\Big(\frac75,\,0,\,\frac{14}5\Big)^{\mathrm T},

其中第二个等号用了 cos⁡α=(x,x3)∥x∥ ∥x3∥\cos\alpha=\dfrac{(\boldsymbol{x},\boldsymbol{x}_3)}{\|\boldsymbol{x}\|\,\|\boldsymbol{x}_3\|}——这正是 1.5.2 证明里那个使「残差与 x3\boldsymbol{x}_3 正交」的系数。

相减。由 V=W⊕W⊥V=W\oplus W^{\perp} 的唯一拆解:

y=Proj⁡Wx=x−Proj⁡W⊥x=(−25, 2, 15)T.\boldsymbol{y}=\operatorname{Proj}_{W}\boldsymbol{x}=\boldsymbol{x}-\operatorname{Proj}_{W^{\perp}}\boldsymbol{x} =\Big(-\frac25,\,2,\,\frac15\Big)^{\mathrm T}.

核对。z⊥x1,x2\boldsymbol{z}\perp\boldsymbol{x}_1,\boldsymbol{x}_2(145⋅1+145⋅(−1)=0\tfrac{14}5\cdot1+\tfrac{14}5\cdot(-1)=0、−145+145=0-\tfrac{14}5+\tfrac{14}5=0)✓;y=310x1+12x2∈W\boldsymbol{y}=\tfrac3{10}\boldsymbol{x}_1+\tfrac12\boldsymbol{x}_2\in W ✓;y+z=x\boldsymbol{y}+\boldsymbol{z}=\boldsymbol{x} ✓;勾股 ∥x∥2=14=215+495=∥y∥2+∥z∥2\|\boldsymbol{x}\|^2=14=\tfrac{21}5+\tfrac{49}5=\|\boldsymbol{y}\|^2+\|\boldsymbol{z}\|^2 ✓。

方法二 · 直接投到 WW(正交基公式)

先检查题给的基:(x1,x2)=−4+5−1=0(\boldsymbol{x}_1,\boldsymbol{x}_2)=-4+5-1=0,它恰好已是 WW 的正交基,于是可用命题 1.6.1 的公式直接投影:

Proj⁡Wx=(x,x1)∥x1∥2 x1+(x,x2)∥x2∥2 x2=930x1+36x2=(−25, 2, 15)T,\operatorname{Proj}_{W}\boldsymbol{x} =\frac{(\boldsymbol{x},\boldsymbol{x}_1)}{\|\boldsymbol{x}_1\|^2}\,\boldsymbol{x}_1+\frac{(\boldsymbol{x},\boldsymbol{x}_2)}{\|\boldsymbol{x}_2\|^2}\,\boldsymbol{x}_2 =\frac9{30}\boldsymbol{x}_1+\frac36\boldsymbol{x}_2 =\Big(-\frac25,\,2,\,\frac15\Big)^{\mathrm T},

其中 (x,x1)=2+10−3=9(\boldsymbol{x},\boldsymbol{x}_1)=2+10-3=9、∥x1∥2=30\|\boldsymbol{x}_1\|^2=30;(x,x2)=−2+2+3=3(\boldsymbol{x},\boldsymbol{x}_2)=-2+2+3=3、∥x2∥2=6\|\boldsymbol{x}_2\|^2=6。与方法一一致,z=x−y=(75,0,145)T\boldsymbol{z}=\boldsymbol{x}-\boldsymbol{y}=(\tfrac75,0,\tfrac{14}5)^{\mathrm T} 随之重合。两种方法殊途同归并非巧合:正交投影由 WW 与内积唯一确定(定义 1.6.7 的合法性注),路径不同,落点必然相同。

勘误 E12 · 例 1.6.6 方法二提前使用命题 1.6.1,且未交代前提

课件在方法二直接写出 Proj⁡Wx=∑i(x,xi)∥xi∥2xi\operatorname{Proj}_{W}\boldsymbol{x}=\sum_i\frac{(\boldsymbol{x},\boldsymbol{x}_i)}{\|\boldsymbol{x}_i\|^2}\boldsymbol{x}_i,但该公式只对正交基成立(这正是课件下一页命题 1.6.1 的内容),且课件未指出本题 x1⊥x2\boldsymbol{x}_1\perp\boldsymbol{x}_2 恰好使公式合法。若基不正交(如 例 1.6.3 的情形),此式给出的不是投影——反例见习题 A16(c)。本教程在方法二开头补上「先查基是否正交」这一步。

命题 1.6.1 · 正交基下的投影公式

若 WW 是有限维内积空间 VV 的子空间,x1,⋯ ,xn\boldsymbol{x}_1,\cdots,\boldsymbol{x}_n 是 WW 的一组正交基,则对于 VV 中任一向量 y\boldsymbol{y} 均可唯一地表示为

y=Proj⁡Wy+Proj⁡W⊥y,\boldsymbol{y}=\operatorname{Proj}_{W}\boldsymbol{y}+\operatorname{Proj}_{W^{\perp}}\boldsymbol{y},

其中 Proj⁡Wy\operatorname{Proj}_{W}\boldsymbol{y}、Proj⁡W⊥y\operatorname{Proj}_{W^{\perp}}\boldsymbol{y} 分别为 y\boldsymbol{y} 在空间 WW 与补空间 W⊥W^{\perp} 上的正交投影,且

Proj⁡Wy=(y,x1)(x1,x1)x1+⋯+(y,xn)(xn,xn)xn.\operatorname{Proj}_{W}\boldsymbol{y}=\frac{(\boldsymbol{y},\boldsymbol{x}_1)}{(\boldsymbol{x}_1,\boldsymbol{x}_1)}\boldsymbol{x}_1+\cdots+\frac{(\boldsymbol{y},\boldsymbol{x}_n)}{(\boldsymbol{x}_n,\boldsymbol{x}_n)}\boldsymbol{x}_n .

特别地,若 x1,⋯ ,xn\boldsymbol{x}_1,\cdots,\boldsymbol{x}_n 是 WW 的一组标准正交基,则

Proj⁡Wy=(y,x1)x1+⋯+(y,xn)xn.\operatorname{Proj}_{W}\boldsymbol{y}=(\boldsymbol{y},\boldsymbol{x}_1)\boldsymbol{x}_1+\cdots+(\boldsymbol{y},\boldsymbol{x}_n)\boldsymbol{x}_n .

证明 · 命题 1.6.1

构造。令

w=∑j=1n(y,xj)(xj,xj) xj ∈W.\boldsymbol{w}=\sum_{j=1}^{n}\frac{(\boldsymbol{y},\boldsymbol{x}_j)}{(\boldsymbol{x}_j,\boldsymbol{x}_j)}\,\boldsymbol{x}_j\ \in W .

验证残差正交。对每个基向量 xi\boldsymbol{x}_i,由第一变元线性与两两正交(j≠ij\neq i 时 (xj,xi)=0(\boldsymbol{x}_j,\boldsymbol{x}_i)=0):

(y−w, xi)=(y,xi)−∑j=1n(y,xj)(xj,xj)(xj,xi)=(y,xi)−(y,xi)(xi,xi)(xi,xi)=0.(\boldsymbol{y}-\boldsymbol{w},\,\boldsymbol{x}_i)=(\boldsymbol{y},\boldsymbol{x}_i)-\sum_{j=1}^{n}\frac{(\boldsymbol{y},\boldsymbol{x}_j)}{(\boldsymbol{x}_j,\boldsymbol{x}_j)}(\boldsymbol{x}_j,\boldsymbol{x}_i)=(\boldsymbol{y},\boldsymbol{x}_i)-\frac{(\boldsymbol{y},\boldsymbol{x}_i)}{(\boldsymbol{x}_i,\boldsymbol{x}_i)}(\boldsymbol{x}_i,\boldsymbol{x}_i)=0 .

与基正交即与 WW 的每个向量正交(线性),故 y−w∈W⊥\boldsymbol{y}-\boldsymbol{w}\in W^{\perp},于是 y=w+(y−w)\boldsymbol{y}=\boldsymbol{w}+(\boldsymbol{y}-\boldsymbol{w}) 是 V=W⊕W⊥V=W\oplus W^{\perp} 下的一个合法拆解。

认定。由拆解唯一性(直和定义),w=Proj⁡Wy\boldsymbol{w}=\operatorname{Proj}_{W}\boldsymbol{y}、y−w=Proj⁡W⊥y\boldsymbol{y}-\boldsymbol{w}=\operatorname{Proj}_{W^{\perp}}\boldsymbol{y},表示的唯一性随之成立。∎

这段「构造 w\boldsymbol{w}、验证残差正交」的证明,正是定理 1.6.4 中「拆任意向量」一步的直接版本——它不经过基扩充,只要求 WW 自己有一组(有限)正交基。

∎
求正交投影的路线图

设要求 Proj⁡Wx\operatorname{Proj}_{W}\boldsymbol{x},按手头材料选路:

  1. WW 的基是正交基 → 命题 1.6.1 公式直投(例 1.6.6 方法二;先检查基是否正交!)。
  2. 基不正交 → 先 Gram–Schmidt 化为正交基再用公式(习题 C16、C17)。
  3. W⊥W^{\perp} 好求(低维、约束方程简单)→ 先投补再相减:Proj⁡Wx=x−Proj⁡W⊥x\operatorname{Proj}_{W}\boldsymbol{x}=\boldsymbol{x}-\operatorname{Proj}_{W^{\perp}}\boldsymbol{x}(例 1.6.6 方法一)。
  4. 只想解方程组 → 拼基解 Gram 方程组(例 1.6.3 的通用算法)。

四条路线的共同内核:残差 x−Proj⁡Wx\boldsymbol{x}-\operatorname{Proj}_{W}\boldsymbol{x} 正交于 WW——1.5 的母题「减掉成分、留下正交残差」第四次登场(C–S 证明、Gram–Schmidt、命题 1.6.1、正交投影)。

投影公式的矩阵形式(本教程补注)。设 W⊆CmW\subseteq\mathbb C^m,z1,⋯ ,zk\boldsymbol{z}_1,\cdots,\boldsymbol{z}_k 是 WW 的标准正交基,拼成列 Z=(z1,⋯ ,zk)∈Cm×kZ=(\boldsymbol{z}_1,\cdots,\boldsymbol{z}_k)\in\mathbb C^{m\times k}(ZHZ=IkZ^{\mathrm H}Z=I_k)。则命题 1.6.1 的标准正交基版本写成

Proj⁡Wy=∑i=1k(y,zi)zi=∑i=1kzi(ziHy)=ZZHy.\operatorname{Proj}_{W}\boldsymbol{y}=\sum_{i=1}^{k}(\boldsymbol{y},\boldsymbol{z}_i)\boldsymbol{z}_i=\sum_{i=1}^{k}\boldsymbol{z}_i\big(\boldsymbol{z}_i^{\mathrm H}\boldsymbol{y}\big)=ZZ^{\mathrm H}\boldsymbol{y}.

矩阵 P=ZZHP=ZZ^{\mathrm H} 满足 P2=PP^2=P(幂等)与 PH=PP^{\mathrm H}=P(Hermite)——对照 1.6.4 的思考框:幂等 + Hermite = 正交投影矩阵。习题 B14 要求把这条等价链完整证一遍。

1.6.8 标准正交基的存在性与正线上三角过渡矩阵

1.5.6 把 Gram–Schmidt 作为方法给出并验证;课件 1.6(下)把它正式立为定理——它回答了 1.5.5 思考框「正交组规模的上界能达到吗」的疑问。

定理 1.6.5 · 有限维内积空间必存在标准正交基

nn 维内积空间必存在标准正交基。

证(构造性 · 即 Gram–Schmidt 正交化)

任取一组基 x1,⋯ ,xn\boldsymbol{x}_1,\cdots,\boldsymbol{x}_n,令

y1=x1,yk=xk−∑i=1k−1(xk,yi)(yi,yi) yi(k=2,⋯ ,n),\boldsymbol{y}_1=\boldsymbol{x}_1,\qquad \boldsymbol{y}_k=\boldsymbol{x}_k-\sum_{i=1}^{k-1}\frac{(\boldsymbol{x}_k,\boldsymbol{y}_i)}{(\boldsymbol{y}_i,\boldsymbol{y}_i)}\,\boldsymbol{y}_i\quad(k=2,\cdots,n),

再单位化 zk=yk/∥yk∥\boldsymbol{z}_k=\boldsymbol{y}_k/\|\boldsymbol{y}_k\|。1.5.6 已完整验证:y1,⋯ ,yn\boldsymbol{y}_1,\cdots,\boldsymbol{y}_n 两两正交、均非零、张成不变,故 z1,⋯ ,zn\boldsymbol{z}_1,\cdots,\boldsymbol{z}_n 是含 nn 个向量的标准正交向量组,即标准正交基(定义 1.5.4)。∎

几何叙述(课件页 10–13 的逐步图示):y1=x1\boldsymbol{y}_1=\boldsymbol{x}_1 原样保留第一个方向;y2=x2−Proj⁡x1x2\boldsymbol{y}_2=\boldsymbol{x}_2-\operatorname{Proj}_{\boldsymbol{x}_1}\boldsymbol{x}_2 减掉沿 x1\boldsymbol{x}_1 的成分(Proj⁡x1\operatorname{Proj}_{\boldsymbol{x}_1} 是「投到 span⁡{x1}\operatorname{span}\{\boldsymbol{x}_1\}」的缩写);第三个向量则要减掉它在已有两个正交方向上的全部投影:

AD=x3−Proj⁡y1x3−Proj⁡y2x3AD=\boldsymbol{x}_3-\operatorname{Proj}_{\boldsymbol{y}_1}\boldsymbol{x}_3-\operatorname{Proj}_{\boldsymbol{y}_2}\boldsymbol{x}_3

(ADAD 是课件图中从投影终点 DD 指向 x3\boldsymbol{x}_3 终点 AA 的箭头)——1.5.6 图 1–11 的「减成分、留垂直残差」逐轮重复。

∎

用单位化向量改写公式,得到课件页 14 的第二种写法:

yk=xk−∑i=1k−1(xk,yi)(yi,yi) yi=xk−∑i=1k−1(xk,zi) zi,\boldsymbol{y}_k=\boldsymbol{x}_k-\sum_{i=1}^{k-1}\frac{(\boldsymbol{x}_k,\boldsymbol{y}_i)}{(\boldsymbol{y}_i,\boldsymbol{y}_i)},\boldsymbol{y}_i =\boldsymbol{x}_k-\sum_{i=1}^{k-1}(\boldsymbol{x}_k,\boldsymbol{z}_i),\boldsymbol{z}_i ,

第二个等号来自 yi=∥yi∥ zi\boldsymbol{y}_i=|\boldsymbol{y}_i|,\boldsymbol{z}_i(课件未显式定义 zi\boldsymbol{z}_i,本教程在此补上)。推导只用到一条:∥yi∥|\boldsymbol{y}_i| 是实数——按第二变元共轭线性的约定,提出来时不带共轭:

(xk,yi)=(xk,∥yi∥zi)=∥yi∥ (xk,zi),(yi,yi)=∥yi∥2,(\boldsymbol{x}_k,\boldsymbol{y}_i)=(\boldsymbol{x}_k,|\boldsymbol{y}_i|\boldsymbol{z}_i)=|\boldsymbol{y}_i|,(\boldsymbol{x}_k,\boldsymbol{z}_i),\qquad (\boldsymbol{y}_i,\boldsymbol{y}_i)=|\boldsymbol{y}_i|^2,

两式相除再乘回 yi=∥yi∥zi\boldsymbol{y}_i=|\boldsymbol{y}_i|\boldsymbol{z}_i,范数因子全部消去。

从公式读出过渡矩阵。把两组基写成行向量形式,由张成不变可设

(x1,⋯ ,xn)=(z1,⋯ ,zn) A,(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_n)=(\boldsymbol{z}_1,\cdots,\boldsymbol{z}_n),A,

读第 kk 列:xk=∑izi aik\boldsymbol{x}_k=\sum_i\boldsymbol{z}_i,a_{ik}。而第二种写法恰好给出 xk\boldsymbol{x}_k 按 z\boldsymbol{z} 组的展开:

xk=∥yk∥ zk+∑i<k(xk,zi) zi,\boldsymbol{x}_k=&#124;\boldsymbol{y}_k&#124;,\boldsymbol{z}_k+\sum_{i&lt;k}(\boldsymbol{x}_k,\boldsymbol{z}_i),\boldsymbol{z}_i ,

对照系数(表示唯一性,定理 1.3.1):

akk=∥yk∥>0,aik=(xk,zi)  (i<k),aik=0  (i>k),a_{kk}=&#124;\boldsymbol{y}_k&#124;\gt0,\qquad a_{ik}=(\boldsymbol{x}_k,\boldsymbol{z}_i)\ \ (i\lt k),\qquad a_{ik}=0\ \ (i\gt k),

即

A=(∥y1∥(x2,z1)⋯(xn,z1)0∥y2∥⋯(xn,z2)⋮⋮⋱⋮00⋯∥yn∥)A=\begin{pmatrix} &#124;\boldsymbol{y}_1&#124;&amp;(\boldsymbol{x}_2,\boldsymbol{z}_1)&amp;\cdots&amp;(\boldsymbol{x}_n,\boldsymbol{z}_1)\ 0&amp;&#124;\boldsymbol{y}_2&#124;&amp;\cdots&amp;(\boldsymbol{x}_n,\boldsymbol{z}_2)\ \vdots&amp;\vdots&amp;\ddots&amp;\vdots\ 0&amp;0&amp;\cdots&amp;&#124;\boldsymbol{y}_n&#124; \end{pmatrix}

上三角、对角元全正——故称正线上三角矩阵。(课件页 15 的矩阵只在左下角印了一个 00,其余下三角元素省略未印;按上面的推导它们全为 00。)

勘误 E13 · 定理 1.6.5 缺「有限维」前提

课件陈述为「内积空间必存在标准正交基」,未限定维数。按本章 定义 1.3.3 的 Hamel 基理解,该陈述在无限维不成立:例如可分的无穷维 Hilbert 空间中,正交向量组至多可数,而无穷维完备空间的 Hamel 基必不可数(Baire 纲论证),两者永远对不上——这与勘误 E10 的「完备正交系 vs Hamel 基」是同一道边界。Gram–Schmidt 的构造性证明也只在有限个向量上操作。本教程把定理限定为 nn 维内积空间。

Gram–Schmidt:从任意基到标准正交基,过渡矩阵正线上三角 左侧任意基 x 组,右侧标准正交基 z 组,Gram–Schmidt 把前者化为后者;过渡矩阵 A 为对角元全正的上三角矩阵。 x₁, …, xₙ 任意基(一般不正交) Gram–Schmidt 减成分、留垂直残差 ×(n−1) 轮 z₁, …, zₙ 标准正交基(G = I) (x₁, …, xₙ) = (z₁, …, zₙ) A ‖y₁‖ (x₂,z₁) ⋯ (xₙ,z₁) 0 ‖y₂‖ ⋯ (xₙ,z₂) ⋮ ⋱ ⋱ ⋮ 0 0 ⋯ ‖yₙ‖ 上三角 对角元 ‖yₖ‖ > 0 (正线上三角) X = QA:QR 雏形
Gram–Schmidt 不只是「造出正交基」:它同时记录了新旧基之间的关系——过渡矩阵 AA 必是正线上三角,这正是 QR 分解中的 RR。
俯瞰 · Gram–Schmidt 就是 QR 分解

把 x\boldsymbol{x} 组、z\boldsymbol{z} 组按列拼成矩阵 X=(x1,⋯ ,xn)X=(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_n)、Q=(z1,⋯ ,zn)Q=(\boldsymbol{z}_1,\cdots,\boldsymbol{z}_n),则本节的关系式正是

X=QA,QHQ=I,A 正线上三角.X=QA,\qquad Q^{\mathrm H}Q=I,\qquad A\ \text{正线上三角} .

这就是数值代数中的 QR 分解(AA 扮演其中的 RR):任何矩阵都可分解为「酉矩阵 × 上三角矩阵」,而 Gram–Schmidt 是求它的第一条算法。1.4.7 思考框预告的整条技术路线——「Gram–Schmidt 正交化 → 标准正交基 → 酉对角化」——此刻走完第一步;习题 C17 让你对一组具体的基算出 AA。配合命题 1.6.1 的矩阵形式 Proj⁡Wy=ZZHy\operatorname{Proj}_{W}\boldsymbol{y}=ZZ^{\mathrm H}\boldsymbol{y},最小二乘的「QR 解法」只差临门一脚——这条路线的完整展开见附录 B.5。

1.6.9 收官:Cn=N(A)⊕R(AH)\mathbb C^n=N(A)\oplus R(A^{\mathrm H})

上半场以例 1.6.4 收官:A2=AA^2=A 的矩阵自动给出直和分解。下半场的收官例把条件全部撤掉——不做任何假设,任意方阵都自带一个正交直和分解,代价只是「值域」换成了「共轭值域」。

例 1.6.7 · 任意方阵的白送正交分解

设 A=(aij)∈Cn×nA=(a_{ij})\in\mathbb C^{n\times n}(Cn\mathbb C^n 取标准内积),证明:

N(A)⊕R(AH)=Cn,且R(AH)=(N(A))⊥.N(A)\oplus R(A^{\mathrm H})=\mathbb C^n,\qquad\text{且}\qquad R(A^{\mathrm H})=(N(A))^{\perp}.

证明 · 三步

第一步(正交):R(AH)⊥N(A)R(A^{\mathrm H})\perp N(A)。任取 y∈R(AH)\boldsymbol{y}\in R(A^{\mathrm H}),设 y=AHu\boldsymbol{y}=A^{\mathrm H}\boldsymbol{u};任取 x∈N(A)\boldsymbol{x}\in N(A),即 Ax=θA\boldsymbol{x}=\boldsymbol{\theta}。由标准内积 (y,x)=xHy(\boldsymbol{y},\boldsymbol{x})=\boldsymbol{x}^{\mathrm H}\boldsymbol{y}(例 1.4.3):

(y,x)=xHAHu=(Ax)Hu=θHu=0.(\boldsymbol{y},\boldsymbol{x})=\boldsymbol{x}^{\mathrm H}A^{\mathrm H}\boldsymbol{u}=(A\boldsymbol{x})^{\mathrm H}\boldsymbol{u}=\boldsymbol{\theta}^{\mathrm H}\boldsymbol{u}=0 .

由 定理 1.6.2,N(A)+R(AH)N(A)+R(A^{\mathrm H}) 已是直和。

第二步(秩):rank⁡AH=rank⁡A\operatorname{rank}A^{\mathrm H}=\operatorname{rank}A。共轭转置 = 转置再逐元共轭,两步都不改变秩:转置由「行秩 = 列秩」(先修工具箱 §5)保证;逐元共轭保持线性相关性——若 ∑jcja‾j=θ\sum_jc_j\overline{\boldsymbol{a}}_j=\boldsymbol{\theta},取共轭得 ∑jcj‾aj=θ\sum_j\overline{c_j}\boldsymbol{a}_j=\boldsymbol{\theta},非平凡组合一一对应,极大无关组个数不变。

第三步(维数凑满)。由先修工具箱 §4 结论 B,dim⁡N(A)=n−rank⁡A\dim N(A)=n-\operatorname{rank}A;又 dim⁡R(AH)=rank⁡AH=rank⁡A\dim R(A^{\mathrm H})=\operatorname{rank}A^{\mathrm H}=\operatorname{rank}A。于是

dim⁡N(A)+dim⁡R(AH)=(n−rank⁡A)+rank⁡A=n=dim⁡Cn,\dim N(A)+\dim R(A^{\mathrm H})=(n-\operatorname{rank}A)+\operatorname{rank}A=n=\dim\mathbb C^n,

由 定理 1.6.1 (4),Cn=N(A)∔R(AH)\mathbb C^n=N(A)\dotplus R(A^{\mathrm H});又由第一步 R(AH)⊆(N(A))⊥R(A^{\mathrm H})\subseteq(N(A))^{\perp},而

dim⁡(N(A))⊥=n−dim⁡N(A)=rank⁡A=dim⁡R(AH),\dim (N(A))^{\perp}=n-\dim N(A)=\operatorname{rank}A=\dim R(A^{\mathrm H}),

包含 + 等维,故 R(AH)=(N(A))⊥R(A^{\mathrm H})=(N(A))^{\perp},分解是正交直和。∎

∎

「包含 + 等维」这个动作值得单独记。证明 R(AH)=(N(A))⊥R(A^{\mathrm H})=(N(A))^{\perp} 时,我们没有直接证反向包含——那要对每个 y⊥N(A)\boldsymbol{y}\perp N(A) 构造 u\boldsymbol{u} 使 y=AHu\boldsymbol{y}=A^{\mathrm H}\boldsymbol{u},要解方程、用到秩的结构——而是用「R(AH)⊆(N(A))⊥R(A^{\mathrm H})\subseteq(N(A))^{\perp} + 维数相等」绕开构造。这是有限维空间的常用省力技巧,与 (W1⊥)⊥=W1(W_1^{\perp})^{\perp}=W_1 的证法(1.6.6)同一个模板。

例 1.6.7 与其对偶版本:四个基本子空间 左:输入端 ℂⁿ = N(A) ⊕ R(Aᴴ);右:输出端 ℂⁿ = N(Aᴴ) ⊕ R(A)。A 把 R(Aᴴ) 一一映到 R(A),把 N(A) 映为零。 ℂⁿ(输入端) R(Aᴴ) N(A) N(A) ⊕ R(Aᴴ) = ℂⁿ A 作用 R(Aᴴ) → R(A) N(A) → θ ℂⁿ(输出端) R(A) N(Aᴴ) N(Aᴴ) ⊕ R(A) = ℂⁿ
例 1.6.7 与其对偶版本(把 AA 换成 AHA^{\mathrm H})合称四个基本子空间:秩–零化度定理的几何形态,是两个正交分解。
四个基本子空间 · 与例 1.6.4 的会师

把例 1.6.7 用在 AHA^{\mathrm H} 上((AH)H=A(A^{\mathrm H})^{\mathrm H}=A),得对偶版本 Cn=N(AH)⊕R(A)\mathbb C^n=N(A^{\mathrm H})\oplus R(A)。合起来就是著名的四个基本子空间(方阵情形两组都住在 Cn\mathbb C^n;长方阵 m×nm\times n 情形 R(A),N(AH)⊆CmR(A),N(A^{\mathrm H})\subseteq\mathbb C^m):

Cn=N(A)⊕R(AH),Cn=N(AH)⊕R(A),\mathbb C^n=N(A)\oplus R(A^{\mathrm H}),\qquad\mathbb C^n=N(A^{\mathrm H})\oplus R(A),

秩–零化度定理(自测卷 6;严格证明见 2.2.5 与定理 2.3.6)在这里获得几何形态:dim⁡R(A)+dim⁡N(AH)=n\dim R(A)+\dim N(A^{\mathrm H})=n 不只是计数,还是正交分解。与例 1.6.4 会师:若 A2=AA^2=A,则 Cn=R(A)∔N(A)\mathbb C^n=R(A)\dotplus N(A);若还有 A=AHA=A^{\mathrm H},则 R(A)=R(AH)=(N(A))⊥R(A)=R(A^{\mathrm H})=(N(A))^{\perp}(例 1.6.7),分解升级为正交直和——幂等 + Hermite = 正交投影矩阵,上半场的投影理论与下半场的正交理论在此闭合。这四个子空间是后续奇异值分解、最小二乘与 Moore–Penrose 伪逆的共同地基。

1.6.10 小结与常见错误

下面这张表把本节的对象压成一页。读它有一个诀窍:「必须记住」一列记的是判据与依赖关系,「高频错误」一列才是真正扣分的地方——两者往往只差一个前提。

核心对象必须记住高频错误
直和 W1∔W2W_1\dotplus W_2和空间中每个向量拆法唯一只验证「某个向量」表法唯一就下结论
判定定理 1.6.1四条等价:直和 ⟺ 零元表法唯一 ⟺ 交为零 ⟺ 维数相加用 W1∪W2W_1\cup W_2 参与判定;忘记 (4) 依赖维数公式
投影定义在整个分解 V=W1∔W2V=W_1\dotplus W_2 上只说「在 W1W_1 上的投影」不提补空间;默认投影必垂直
求投影拼基 → 解 Gk=cG\boldsymbol{k}=\boldsymbol{c} → 分组组装Gram 下标与内积约定不配套(同 1.4.6 的易错点)
幂等矩阵A2=A⇒Cn=R(A)∔N(A)=R(A)∔R(I−A)A^2=A\Rightarrow\mathbb C^n=R(A)\dotplus N(A)=R(A)\dotplus R(I-A)以为 R(I−A)R(I-A) 与 N(A)N(A) 是两个不同的事实;漏证「相等」只证「直和」
正交子空间W1⊥W2W_1\perp W_2:每一个对每一个;查基对基即可把几何「垂直」当正交(墙角反例 例 1.6.5);只抽查部分方向
正交补 W⊥W^{\perp}V=W⊕W⊥V=W\oplus W^{\perp};dim⁡W⊥=n−dim⁡W\dim W^{\perp}=n-\dim W;(W⊥)⊥=W(W^{\perp})^{\perp}=W把 W⊥W^{\perp} 当「随便一个补」;忘记先有内积才有 W⊥W^{\perp}(勘误 E11)
正交投影沿 W⊥W^{\perp} 落下,只由 WW 与内积决定;最近点谈正交投影还惦记「选补」;以为一般投影自动垂直
投影公式正交基:∑(y,xi)(xi,xi)xi\sum\dfrac{(\boldsymbol{y},\boldsymbol{x}_i)}{(\boldsymbol{x}_i,\boldsymbol{x}_i)}\boldsymbol{x}_i;标准正交基去掉分母对非正交基直接套用(勘误 E12 的教训);用前不查基是否正交
GS 与过渡矩阵(x1,⋯ ,xn)=(z1,⋯ ,zn)A(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_n)=(\boldsymbol{z}_1,\cdots,\boldsymbol{z}_n)A,AA 正线上三角(QR 雏形)把对角元写成 11(应为 ∥yk∥&#124;\boldsymbol{y}_k&#124;);上三角元素下标写反
N(A)⊕R(AH)N(A)\oplus R(A^{\mathrm H})任意方阵白送的正交分解;R(AH)=(N(A))⊥R(A^{\mathrm H})=(N(A))^{\perp}与 R(A)R(A) 混为一谈(仅当 A=AHA=A^{\mathrm H} 时二者相等)

本节主线:和空间中拆法不唯一是常态,「交为零」把不唯一性排除掉,得到直和——四条判据各有适用场合。直和分解让每个向量拥有属于各子空间的唯一分量,也就是投影;幂等矩阵 A2=AA^2=A 再把分解与投影编码进一个矩阵等式。

下半场让内积接管:正交自动排除共享非零向量(定理 1.6.2 一行证明),正交补成为法定的补空间(定理 1.6.4),正交投影随之唯一、并且是 WW 中离 x\boldsymbol{x} 最近的点;Gram–Schmidt 供应投影公式所需的正交基,并把换基关系整理成正线上三角矩阵——QR 分解的雏形。最后,任意方阵自带 Cn=N(A)⊕R(AH)\mathbb C^n=N(A)\oplus R(A^{\mathrm H}),直和、正交补与秩在一行等式里会师。

把这一节放回第一章看:1.1–1.3 搭起线性空间、子空间、基与维数这套线性结构,1.4–1.5 装上内积、长度与正交,本节让两条线在「分解」上合流——线性结构保证拆法唯一,内积再把补空间钉成正交补。全章的两条线索——分解与正交——在这里第一次同时到位;第二章的线性映射、特征值与正交变换,都从这里长出来。

勘误 E14 · 课件页 16–17 页眉沿用 1.5 节标题

课件《1.6 直和与投影》下半部分最后两页(小结页与例 1.6.7 页)的页眉误作「第一章 线性空间引论——向量长度与夹角」,系沿用 1.5 课件模板未改;此前各页页眉均为「直和与投影」。

勘误 E15 · 课件 1.6(下)的排版与图文小疵

不影响数学内容、一并记录的小问题:① 小结页「基本概念」列举句以顿号「正交投影、」收尾,且「重要结论」只收直和判定定理,漏收定理 1.6.3、1.6.4(正交补是子空间、正交分解定理);② 页 4 插图中出现正文未定义的 W3W_3 标签(图文不符,疑复制自例 1.6.5 的图);③ 页 15 过渡矩阵只印出左下角一个 00,其余下三角元素空缺;④ 页 8 公式上标 1\boldsymbol{1} 误用粗体数字、页 14 公式末尾的 yi\boldsymbol{y}_i 误排为细体、页 6 与页 8 插图的原点记号 OO 与 oo 不一致。

即时自测 · 1.6

本节覆盖两次课的内容,自测 6 题。失分点集中在「判定条件用哪个」「投影的依赖对象」,以及下半场的「正交基公式用错场合」「把几何垂直当子空间正交」。

第 1 题 · 记忆

写出直和判定定理的四条等价命题,并给每条标注「适合什么场合使用」。(对应 1.6.2)

第 1 题答案

(1)W1+W2W_1+W_2 是直和(定义,证唯一性时用);(2)零元素表法唯一(证「两表法相减」类问题时用);(3)W1∩W2={θ}W_1\cap W_2=\{\boldsymbol{\theta}\}(给了具体子空间时最快);(4)dim⁡(W1+W2)=dim⁡W1+dim⁡W2\dim(W_1+W_2)=\dim W_1+\dim W_2(只知道维数 / 秩时用,配维数公式)。

第 2 题 · 证明

证明 Cn×n={A∣AH=A}∔{A∣AH=−A}\mathbb C^{n\times n}=\{A\mid A^{\mathrm H}=A\}\dotplus\{A\mid A^{\mathrm H}=-A\}(Hermite ⊕ 反 Hermite),并写出任意复方阵的分解式。(对应 1.6.2 的迁移思考)

第 2 题答案

分解式 A=12(AH+A)+12(A−AH)A=\tfrac12(A^{\mathrm H}+A)+\tfrac12(A-A^{\mathrm H}),前项满足 [12(AH+A)]H\big[\tfrac12(A^{\mathrm H}+A)\big]^{\mathrm H} 对称于自身(Hermite),后项反 Hermite,故和覆盖全空间。若 B=BH=−BHB=B^{\mathrm H}=-B^{\mathrm H},则 B=−BB=-B 即 B=OB=O,交为零,由判定定理 (3) 得直和。

第 3 题 · 应用

R3\mathbb R^3 中 W1=span⁡{(1,0,1)T}W_1=\operatorname{span}\{(1,0,1)^{\mathrm T}\},W2={(x1,x2,x3)T∣x3=0}W_2=\{(x_1,x_2,x_3)^{\mathrm T}\mid x_3=0\}。求 x=(2,1,2)T\boldsymbol{x}=(2,1,2)^{\mathrm T} 在 W1W_1 与 W2W_2 上的投影(沿分解 V=W1∔W2V=W_1\dotplus W_2)。(对应 1.6.3)

第 3 题答案

x=(2,1,2)T=2ε1+ε3\boldsymbol{x}=(2,1,2)^{\mathrm T}=2\boldsymbol{\varepsilon}_1+\boldsymbol{\varepsilon}_3(ε1=(1,0,1)T\boldsymbol{\varepsilon}_1=(1,0,1)^{\mathrm T},ε3=(0,1,0)T\boldsymbol{\varepsilon}_3=(0,1,0)^{\mathrm T}),故在 W1W_1 上的投影为 2ε1=(2,0,2)T2\boldsymbol{\varepsilon}_1=(2,0,2)^{\mathrm T},在 W2W_2 上的投影为 ε3=(0,1,0)T\boldsymbol{\varepsilon}_3=(0,1,0)^{\mathrm T}。核对:和为 (2,1,2)T(2,1,2)^{\mathrm T} ✓。本题数字恰好可以直接读出系数;若系数不能直接读出,就按例 1.6.3 的三步算法走。

第 4 题 · 辨析

(1) 「y\boldsymbol{y} 是 x\boldsymbol{x} 在 W1W_1 上的投影」这句话缺了什么信息?(2) A2=AA^2=A 时 N(A)N(A) 等于什么?需要几步证明?(对应 1.6.3、1.6.4)

第 4 题答案

(1) 缺「沿哪个补空间」:同一 W1W_1 配不同补给出不同投影(R2\mathbb R^2 中 xx 轴分别配 yy 轴与配 span⁡{(1,1)}\operatorname{span}\{(1,1)\},(1,1)T(1,1)^{\mathrm T} 的投影分别是 (1,0)T(1,0)^{\mathrm T} 与 θ\boldsymbol{\theta})。只有补取正交补时投影才唯一且「垂直落下」。

(2) N(A)=R(I−A)N(A)=R(I-A),两步双向包含(见 1.6.4 的思考框):Ax=θ⇒x=(I−A)x∈R(I−A)A\boldsymbol{x}=\boldsymbol{\theta}\Rightarrow\boldsymbol{x}=(I-A)\boldsymbol{x}\in R(I-A);x∈R(I−A)⇒Ax=θ\boldsymbol{x}\in R(I-A)\Rightarrow A\boldsymbol{x}=\boldsymbol{\theta}。

第 5 题 · 应用

R3\mathbb R^3 中 W=span⁡{(1,1,0)T,(1,1,2)T}W=\operatorname{span}\{(1,1,0)^{\mathrm T},(1,1,2)^{\mathrm T}\}。求 W⊥W^{\perp} 与其维数,并求 x=(1,2,3)T\boldsymbol{x}=(1,2,3)^{\mathrm T} 的正交投影两分量(先补后投)。(对应 1.6.6、1.6.7)

第 5 题答案

设 u=(a,b,c)T⊥W\boldsymbol{u}=(a,b,c)^{\mathrm T}\perp W:a+b=0a+b=0、a+b+2c=0a+b+2c=0,解得 b=−ab=-a、c=0c=0,故 W⊥=span⁡{(1,−1,0)T}W^{\perp}=\operatorname{span}\{(1,-1,0)^{\mathrm T}\}(一维 =3−2=3-2 ✓)。于是

z=Proj⁡W⊥x=(x,u)(u,u)u=−12(1,−1,0)T=(−12,12,0)T,\boldsymbol{z}=\operatorname{Proj}_{W^{\perp}}\boldsymbol{x}=\frac{(\boldsymbol{x},\boldsymbol{u})}{(\boldsymbol{u},\boldsymbol{u})}\boldsymbol{u}=\frac{-1}{2}(1,-1,0)^{\mathrm T}=\Big(-\tfrac12,\tfrac12,0\Big)^{\mathrm T},

y=x−z=(32,32,3)T=32(1,1,2)T∈W ✓.\boldsymbol{y}=\boldsymbol{x}-\boldsymbol{z}=\Big(\tfrac32,\tfrac32,3\Big)^{\mathrm T}=\tfrac32(1,1,2)^{\mathrm T}\in W\ \checkmark .

勾股核对:∥x∥2=14=272+12=∥y∥2+∥z∥2\|\boldsymbol{x}\|^2=14=\tfrac{27}{2}+\tfrac12=\|\boldsymbol{y}\|^2+\|\boldsymbol{z}\|^2 ✓。

第 6 题 · 证明

写出例 1.6.7 的三步证明骨架,并回答:证 R(AH)=(N(A))⊥R(A^{\mathrm H})=(N(A))^{\perp} 为什么用「包含 + 维数相等」而不用双向包含?(对应 1.6.9)

第 6 题答案

① R(AH)⊥N(A)R(A^{\mathrm H})\perp N(A):y=AHu\boldsymbol{y}=A^{\mathrm H}\boldsymbol{u}、Ax=θA\boldsymbol{x}=\boldsymbol{\theta} 时 (y,x)=xHAHu=(Ax)Hu=0(\boldsymbol{y},\boldsymbol{x})=\boldsymbol{x}^{\mathrm H}A^{\mathrm H}\boldsymbol{u}=(A\boldsymbol{x})^{\mathrm H}\boldsymbol{u}=0;② rank⁡AH=rank⁡A\operatorname{rank}A^{\mathrm H}=\operatorname{rank}A(转置由行秩 = 列秩;共轭保持非平凡组合的一一对应);③ dim⁡N(A)+dim⁡R(AH)=(n−r)+r=n\dim N(A)+\dim R(A^{\mathrm H})=(n-r)+r=n,判据 (4) 给出直和,再由 ① 的包含与等维得 (N(A))⊥=R(AH)(N(A))^{\perp}=R(A^{\mathrm H})。

反向包含需要对每个 y⊥N(A)\boldsymbol{y}\perp N(A) 构造 u\boldsymbol{u} 使 y=AHu\boldsymbol{y}=A^{\mathrm H}\boldsymbol{u}(解方程、用秩的结构);「包含 + 等维」绕开构造,是有限维的省力模板(同 (W⊥)⊥=W(W^{\perp})^{\perp}=W)。