Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

1.5 向量长度与夹角

1.4 为线性空间装上了内积,但还没有真正「用」它。本节从内积中提取三个几何量——长度、夹角、正交,并证明第一个不平凡的定理:Cauchy–Schwarz 不等式。有了它,三角不等式、夹角公式、Gram 行列式的面积解释才能逐一落地。随后把「两两正交」的向量组升级为正交基与标准正交基:在这组特殊的基下,1.4 的度量矩阵坍缩为单位矩阵,内积计算退化为坐标的标准内积——这是贯穿后续全课程的技术支点。

先抓住一件事

本节公式虽多,核心动作只有一个:从向量中减去已有方向上的成分,留下正交残差。Cauchy–Schwarz 的证明、Gram–Schmidt 算法与下一节的投影都围绕这个动作展开。

1.5.1 长度:从内积中提取「大小」

内积把一对向量变成了一个数;本节要做的第一件事,是让向量与自己做内积再开方,从中取出它的长度——三维空间里熟悉的长度公式,从此适用于任意内积空间。

定义 1.5.1 · 长度 length / 模 norm

设 FF 是实数域或复数域,VV 是定义在 FF 上的内积空间。对任意 x∈V\boldsymbol{x}\in V,实数

∥x∥=(x,x)\|\boldsymbol{x}\|=\sqrt{(\boldsymbol{x},\boldsymbol{x})}

称为 x\boldsymbol{x} 的长度(或模)。长度为 11 的向量称为单位向量。

注 1。实数的绝对值和复数的模值都是向量长度的特例:取 V=R1V=\mathbb R^1 或 C1\mathbb C^1,标准内积下的 ∥x∥=(x,x)\|x\|=\sqrt{(x,x)} 恰好就是 ∣x∣|x|。定义 1.5.1 把「数的大小」推广成了「向量的大小」。

正定性(定义 1.4.1 第 (4) 条)保证了根号下的数非负、且只有零向量长度为零,所以这个定义是合法的。但定义只是一行公式,好不好用要看它在具体空间里算出什么——下面三个空间共用同一个定义,内积却各不相同。

例 1.5.A · 三个空间中的长度

(1) x=(1,i)T∈C2\boldsymbol{x}=(1,i)^{\mathrm T}\in\mathbb C^2(标准内积);(2) p(t)=t∈P2(t)p(t)=t\in P_2(t)(1.4.5 的积分内积 (p,q)=∫01p(t)q(t) dt(p,q)=\int_0^1p(t)q(t)\,\mathrm dt);(3) 单位矩阵 In∈Cn×nI_n\in\mathbb C^{n\times n}(Frobenius 内积,例 1.4.C)。分别求长度。

解答 · 例 1.5.A

(1) ∥x∥=∣1∣2+∣i∣2=2\|\boldsymbol{x}\|=\sqrt{|1|^2+|i|^2}=\sqrt2。复向量的长度必须逐分量取模平方 ∣xi∣2=xixi‾|x_i|^2=x_i\overline{x_i},而不是平方 xi2x_i^2——后者对 x1=1,x2=ix_1=1,x_2=i 会算出 00,与「非零向量长度非零」矛盾。

(2) ∥t∥=∫01t2 dt=13=13\|t\|=\sqrt{\int_0^1t^2\,\mathrm dt}=\sqrt{\tfrac13}=\tfrac{1}{\sqrt3}。同一多项式换成区间 [−π,π][-\pi,\pi] 上的内积长度就不同——长度由内积决定,内积变了长度就变(对照 1.4.5 的内积例库)。

(3) ∥In∥F=tr⁡(InHIn)=n\|I_n\|_F=\sqrt{\operatorname{tr}(I_n^{\mathrm H}I_n)}=\sqrt n。

长度有下面四条基本性质;其中第 (4) 条三角不等式的证明要等 1.5.2 的 Cauchy–Schwarz 不等式就位后再补(这正是课件此处留白的原因,见下方勘误 E5)。

命题 1.5.1 · 长度性质

∀x,y∈V\forall\boldsymbol{x},\boldsymbol{y}\in V 和 k∈Fk\in F,有:

(1)正定性:∥x∥≥0\|\boldsymbol{x}\|\geq0,且 ∥x∥=0\|\boldsymbol{x}\|=0 当且仅当 x=θ\boldsymbol{x}=\boldsymbol{\theta};
(2)齐次性:∥kx∥=∣k∣ ∥x∥\|k\boldsymbol{x}\|=|k|\,\|\boldsymbol{x}\|;
(3)平行四边形法则:∥x+y∥2+∥x−y∥2=2(∥x∥2+∥y∥2)\|\boldsymbol{x}+\boldsymbol{y}\|^2+\|\boldsymbol{x}-\boldsymbol{y}\|^2=2\big(\|\boldsymbol{x}\|^2+\|\boldsymbol{y}\|^2\big);
(4)三角不等式:∥x+y∥≤∥x∥+∥y∥\|\boldsymbol{x}+\boldsymbol{y}\|\leq\|\boldsymbol{x}\|+\|\boldsymbol{y}\|。

((4) 与 Re⁡(x,y)≤∥x∥ ∥y∥\operatorname{Re}(\boldsymbol{x},\boldsymbol{y})\leq\|\boldsymbol{x}\|\,\|\boldsymbol{y}\| 等价——把 ∥x+y∥2\|\boldsymbol{x}+\boldsymbol{y}\|^2 按内积展开、两边约去 ∥x∥2+∥y∥2\|\boldsymbol{x}\|^2+\|\boldsymbol{y}\|^2 即见。后者是 Cauchy–Schwarz 的直接推论,故不在命题内单列,证明见 1.5.2。)

证((1)–(3))

(1) 即内积的正定性,开方不改变「非负、等于零」的判断。

(2) ∥kx∥2=(kx,kx)=kk‾(x,x)=∣k∣2∥x∥2\|k\boldsymbol{x}\|^2=(k\boldsymbol{x},k\boldsymbol{x})=k\overline{k}(\boldsymbol{x},\boldsymbol{x})=|k|^2\|\boldsymbol{x}\|^2,开方即得。数乘系数取的是模 ∣k∣|k|,而不是 kk 本身——复空间中 kk 可以是复数。

(3) 按「第一变元线性、第二变元共轭线性」展开(利用 (y,x)=(x,y)‾(\boldsymbol{y},\boldsymbol{x})=\overline{(\boldsymbol{x},\boldsymbol{y})}):

∥x+y∥2=(x,x)+(x,y)+(y,x)+(y,y)=∥x∥2+2Re⁡(x,y)+∥y∥2,\|\boldsymbol{x}+\boldsymbol{y}\|^2=(\boldsymbol{x},\boldsymbol{x})+(\boldsymbol{x},\boldsymbol{y})+(\boldsymbol{y},\boldsymbol{x})+(\boldsymbol{y},\boldsymbol{y})=\|\boldsymbol{x}\|^2+2\operatorname{Re}(\boldsymbol{x},\boldsymbol{y})+\|\boldsymbol{y}\|^2,

把 y\boldsymbol{y} 换成 −y-\boldsymbol{y} 得 ∥x−y∥2=∥x∥2−2Re⁡(x,y)+∥y∥2\|\boldsymbol{x}-\boldsymbol{y}\|^2=\|\boldsymbol{x}\|^2-2\operatorname{Re}(\boldsymbol{x},\boldsymbol{y})+\|\boldsymbol{y}\|^2。两式相加,交叉项抵消:

∥x+y∥2+∥x−y∥2=2(∥x∥2+∥y∥2).\|\boldsymbol{x}+\boldsymbol{y}\|^2+\|\boldsymbol{x}-\boldsymbol{y}\|^2=2\big(\|\boldsymbol{x}\|^2+\|\boldsymbol{y}\|^2\big).

∎
平行四边形法则的几何图像 以 x 与 y 为邻边的平行四边形,两条对角线分别是 x+y 与 x−y;两对角线长度的平方和等于四边长度的平方和。 x y x + y x − y 对角线 = 和向量与差向量
平行四边形法则(命题 1.5.1 (3)):两条对角线的平方和恒等于 2(∥x∥2+∥y∥2)2(\|\boldsymbol{x}\|^2+\|\boldsymbol{y}\|^2),与夹角无关。

平行四边形法则反过来刻画了内积空间:一般的线性空间没有长度;即便在赋范空间里,平行四边形法则也不是每条范数都满足——它恰好刻画「这个范数能否由某个内积诱导」。遇到新范数时,可以用它作第一道检验。

1.5.2 Cauchy–Schwarz 不等式

长度之后,下一个自然的问题是:内积能有多大?下面的不等式把「内积的大小」钉死在「长度的乘积」之内,是本节其余全部结论的共同源头。

定理 1.5.1 · Cauchy–Schwarz 不等式

设 VV 是 FF 上的内积空间,∀x,y∈V\forall\boldsymbol{x},\boldsymbol{y}\in V,

∣(x,y)∣≤∥x∥ ∥y∥,|(\boldsymbol{x},\boldsymbol{y})|\leq\|\boldsymbol{x}\|\,\|\boldsymbol{y}\|,

其中等号 ∣(x,y)∣=∥x∥ ∥y∥|(\boldsymbol{x},\boldsymbol{y})|=\|\boldsymbol{x}\|\,\|\boldsymbol{y}\| 当且仅当 x,y\boldsymbol{x},\boldsymbol{y} 线性相关时成立。

证明 · 定理 1.5.1

若 y=θ\boldsymbol{y}=\boldsymbol{\theta},两边都是零,结论成立(零向量与任何向量线性相关)。设 y≠θ\boldsymbol{y}\neq\boldsymbol{\theta},则 (y,y)>0(\boldsymbol{y},\boldsymbol{y})\gt0。对任意 λ∈F\lambda\in F,由正定性,

0≤(x−λy, x−λy)=(x,x)−λ‾(x,y)−λ(y,x)+∣λ∣2(y,y).\boldsymbol{0}\leq(\boldsymbol{x}-\lambda\boldsymbol{y},\,\boldsymbol{x}-\lambda\boldsymbol{y}) =(\boldsymbol{x},\boldsymbol{x})-\overline{\lambda}(\boldsymbol{x},\boldsymbol{y})-\lambda(\boldsymbol{y},\boldsymbol{x})+|\lambda|^2(\boldsymbol{y},\boldsymbol{y}).

记 c=(x,y)c=(\boldsymbol{x},\boldsymbol{y})、d=(y,y)>0d=(\boldsymbol{y},\boldsymbol{y})>0,取 λ=c/d\lambda=c/d(于是 λ‾=c‾/d\overline\lambda=\overline c/d,且 (y,x)=c‾(\boldsymbol y,\boldsymbol x)=\overline c)。三个含 λ\lambda 的项逐项成为

−λ‾c=−∣c∣2d,−λc‾=−∣c∣2d,∣λ∣2d=∣c∣2d.-\overline\lambda c=-\frac{|c|^2}{d},\qquad-\lambda\overline c=-\frac{|c|^2}{d},\qquad |\lambda|^2d=\frac{|c|^2}{d}.

前两项与后一项合并,净剩 −∣c∣2/d-|c|^2/d,于是

0≤(x,x)−∣(x,y)∣2(y,y),\boldsymbol{0}\leq(\boldsymbol{x},\boldsymbol{x})-\frac{|(\boldsymbol{x},\boldsymbol{y})|^2}{(\boldsymbol{y},\boldsymbol{y})},

即 ∣(x,y)∣2≤(x,x)(y,y)|(\boldsymbol{x},\boldsymbol{y})|^2\leq(\boldsymbol{x},\boldsymbol{x})(\boldsymbol{y},\boldsymbol{y}),开方即得。

等号条件。上述推导中等号成立当且仅当 (x−λy, x−λy)=0(\boldsymbol{x}-\lambda\boldsymbol{y},\,\boldsymbol{x}-\lambda\boldsymbol{y})=0,即 x=λy\boldsymbol{x}=\lambda\boldsymbol{y}。反过来,若 x,y\boldsymbol{x},\boldsymbol{y} 线性相关,不妨设 x=ky\boldsymbol{x}=k\boldsymbol{y}(k∈Fk\in F),则 ∣(x,y)∣=∣k∣ (y,y)=∥x∥ ∥y∥|(\boldsymbol{x},\boldsymbol{y})|=|k|\,(\boldsymbol{y},\boldsymbol{y})=\|\boldsymbol{x}\|\,\|\boldsymbol{y}\|,等号成立。

∎

证明的几何读法。取 λ=(x,y)/(y,y)\lambda=(\boldsymbol{x},\boldsymbol{y})/(\boldsymbol{y},\boldsymbol{y}) 后,向量 x−λy\boldsymbol{x}-\lambda\boldsymbol{y} 满足

(x−λy,y)=(x,y)−λ(y,y)=0,(\boldsymbol{x}-\lambda\boldsymbol{y},\boldsymbol{y})=(\boldsymbol{x},\boldsymbol{y})-\lambda(\boldsymbol{y},\boldsymbol{y})=0,

即残差与 y\boldsymbol{y} 正交:从 x\boldsymbol{x} 里减去它沿 y\boldsymbol{y} 方向的「成分」,剩下的部分垂直于 y\boldsymbol{y}。Cauchy–Schwarz 不等式说的正是「成分不超过全长」;这个「减掉投影、留下正交残差」的动作,就是 1.5.6 Gram–Schmidt 正交化的每一步,也是 1.6 投影概念的雏形。

向量分成投影成分与正交残差 向量 x 分解为沿 y 方向的投影和与 y 正交的残差,形成直角三角形。 span{y} x λy(沿 y 的成分) r=x−λy O x = λy + r 其中 (r,y)=0;等号成立 ⇔ r=0 ⇔ x 与 y 共线
C–S 的等号条件也能直接看见。投影成分不可能比斜边 x\boldsymbol x 更长;只有残差消失、两向量共线时,投影才等于全长。

动手Cauchy–Schwarz 的两端,永远差一个夹角余弦

拖动两个向量,看 ∣(x,y)∣|(\boldsymbol{x},\boldsymbol{y})| 与 ∥x∥∥y∥\|\boldsymbol{x}\|\|\boldsymbol{y}\| 的比值。它恒 ≤1\le 1,只在两向量共线时取到 11——这就是等号条件的几何含义。

例 1.5.C · 用一个数值例子看见 C–S 证明里的每个对象

在 R2\mathbb R^2 的标准内积下,取 x=(2,1)T\boldsymbol x=(2,1)^{\mathrm T}、y=(1,0)T\boldsymbol y=(1,0)^{\mathrm T}。求证明中选择的 λ\lambda、正交残差 r\boldsymbol r,并验证 Cauchy–Schwarz 不等式。再说明怎样修改 x\boldsymbol x 才会取等号。

解答 · 例 1.5.C

λ=(x,y)(y,y)=21=2,r=x−λy=(0,1)T.\lambda=\frac{(\boldsymbol x,\boldsymbol y)}{(\boldsymbol y,\boldsymbol y)}=\frac2{1}=2,\qquad \boldsymbol r=\boldsymbol x-\lambda\boldsymbol y=(0,1)^{\mathrm T}.

确有 (r,y)=0(\boldsymbol r,\boldsymbol y)=0。不等式两边分别是

∣(x,y)∣=2,∥x∥ ∥y∥=5,|(\boldsymbol x,\boldsymbol y)|=2,\qquad \|\boldsymbol x\|\,\|\boldsymbol y\|=\sqrt5,

所以 2<52&lt;\sqrt5。证明中的「余量」也可直接核对:

∥x∥2−∣(x,y)∣2∥y∥2=5−4=1=∥r∥2.\|\boldsymbol x\|^2-\frac{|(\boldsymbol x,\boldsymbol y)|^2}{\|\boldsymbol y\|^2}=5-4=1=\|\boldsymbol r\|^2.

若把 x\boldsymbol x 改成 (2,0)T=2y(2,0)^{\mathrm T}=2\boldsymbol y,残差变为零,此时两边都等于 22,恰好取等号。这个例子把「严格不等号来自非零正交残差」完整显示出来。

注 2。定义不同内积,可得到不同的 Cauchy 不等式。对 x=(x1,⋯ ,xn)T\boldsymbol{x}=(x_1,\cdots,x_n)^{\mathrm T}、y=(y1,⋯ ,yn)T∈Rn\boldsymbol{y}=(y_1,\cdots,y_n)^{\mathrm T}\in\mathbb R^n,标准内积给出经典 Cauchy 不等式:

∣∑i=1nxiyi∣≤(∑i=1nxi2)1/2(∑i=1nyi2)1/2;\Big|\sum_{i=1}^{n}x_i y_i\Big|\leq\Big(\sum_{i=1}^{n}x_i^2\Big)^{1/2}\Big(\sum_{i=1}^{n}y_i^2\Big)^{1/2};

把内积换成 例 1.4.B 的积分内积 (f,g)=∫01f(t)g(t) dt(f,g)=\int_0^1f(t)g(t)\,\mathrm dt,同一份证明逐字照抄,就得到 Schwarz 不等式:

∣∫01f(t)g(t) dt∣≤(∫01f(t)2 dt)1/2(∫01g(t)2 dt)1/2.\Big|\int_0^1f(t)g(t)\,\mathrm dt\Big|\leq\Big(\int_0^1f(t)^2\,\mathrm dt\Big)^{1/2}\Big(\int_0^1g(t)^2\,\mathrm dt\Big)^{1/2}.

一个定理、两副面孔——差别只在「内积是什么」。

现在回头补上命题 1.5.1 (4) 欠下的证明。

命题 1.5.1 (4) 的证明(此时 C-S 已就位)

利用 1.5.1 证明 (3) 时展开的 ∥x+y∥2=∥x∥2+2Re⁡(x,y)+∥y∥2\|\boldsymbol{x}+\boldsymbol{y}\|^2=\|\boldsymbol{x}\|^2+2\operatorname{Re}(\boldsymbol{x},\boldsymbol{y})+\|\boldsymbol{y}\|^2,把实部放缩成模、再用 C-S:

∥x+y∥2≤∥x∥2+2∣(x,y)∣+∥y∥2≤∥x∥2+2∥x∥ ∥y∥+∥y∥2=(∥x∥+∥y∥)2,\|\boldsymbol{x}+\boldsymbol{y}\|^2 \leq\|\boldsymbol{x}\|^2+2|(\boldsymbol{x},\boldsymbol{y})|+\|\boldsymbol{y}\|^2 \leq\|\boldsymbol{x}\|^2+2\|\boldsymbol{x}\|\,\|\boldsymbol{y}\|+\|\boldsymbol{y}\|^2 =\big(\|\boldsymbol{x}\|+\|\boldsymbol{y}\|\big)^2,

开方即得三角不等式。特别地,链条的第一环 Re⁡(x,y)≤∣(x,y)∣≤∥x∥ ∥y∥\operatorname{Re}(\boldsymbol{x},\boldsymbol{y})\leq|(\boldsymbol{x},\boldsymbol{y})|\leq\|\boldsymbol{x}\|\,\|\boldsymbol{y}\| 正是课件与命题并列写出的那条不等式。

∎
勘误 E5 · 课件页 4 的占位框与证明顺序

课件在三角不等式一页只画了平行四边形示意图,证明处留下一个「在此处键入公式。」的空占位框(PowerPoint 模板残留),证明没有给出;且此时证不了——三角不等式需要 Re⁡(x,y)≤∣(x,y)∣≤∥x∥ ∥y∥\operatorname{Re}(\boldsymbol{x},\boldsymbol{y})\leq|(\boldsymbol{x},\boldsymbol{y})|\leq\|\boldsymbol{x}\|\,\|\boldsymbol{y}\|,而 Cauchy–Schwarz 不等式在课件下一页才出现,构成循环。本教程的处理:先证 (1)–(3),把 (4) 悬置到 C-S 之后补全(如上)。

1.5.3 夹角:内积与方向的桥梁

夹角的定义不是凭空写下的,它从平面几何的余弦定理倒推出来。设三角形两边由向量 a=AB→\boldsymbol{a}=\overrightarrow{AB}、b=AC→\boldsymbol{b}=\overrightarrow{AC} 构成,夹角 α\alpha 在顶点 AA 处,第三边对应 c=b−a\boldsymbol{c}=\boldsymbol{b}-\boldsymbol{a}。余弦定理说

cos⁡α=∥b∥2+∥a∥2−∥c∥22∥a∥ ∥b∥.\cos\alpha=\frac{&#124;\boldsymbol{b}&#124;^2+&#124;\boldsymbol{a}&#124;^2-&#124;\boldsymbol{c}&#124;^2}{2&#124;\boldsymbol{a}&#124;,&#124;\boldsymbol{b}&#124;}.

把 c=b−a\boldsymbol{c}=\boldsymbol{b}-\boldsymbol{a} 代入分子,用 1.5.1 展开差的平方(实空间中 Re⁡(a,b)=(a,b)\operatorname{Re}(\boldsymbol{a},\boldsymbol{b})=(\boldsymbol{a},\boldsymbol{b})):

∥b∥2+∥a∥2−∥b−a∥2=2(a,b),&#124;\boldsymbol{b}&#124;^2+&#124;\boldsymbol{a}&#124;^2-&#124;\boldsymbol{b}-\boldsymbol{a}&#124;^2=2(\boldsymbol{a},\boldsymbol{b}),

分子恰好是内积的两倍。于是余弦定理等价于

cos⁡α=(a,b)∥a∥ ∥b∥.\cos\alpha=\frac{(\boldsymbol{a},\boldsymbol{b})}{&#124;\boldsymbol{a}&#124;,&#124;\boldsymbol{b}&#124;}.

既然右边只用到内积与长度,就把它当作定义搬进任意(实)内积空间:

定义 1.5.2 · 向量夹角 angle

设 VV 是实内积空间,∀x,y∈V\forall\boldsymbol{x},\boldsymbol{y}\in V(x,y≠θ\boldsymbol{x},\boldsymbol{y}\neq\boldsymbol{\theta}),定义向量 x\boldsymbol{x} 和 y\boldsymbol{y} 的夹角为

α=arccos⁡(x,y)∥x∥ ∥y∥∈[0,π].\alpha=\arccos\frac{(\boldsymbol{x},\boldsymbol{y})}{\|\boldsymbol{x}\|\,\|\boldsymbol{y}\|}\in[0,\pi].

定义的合法性由 C-S 保证:比值落在 [−1,1][-1,1] 内,arccos⁡\arccos 有定义;夹角与「谁先谁后」无关(实空间内积对称)。复空间的情况见下方勘误 E6——复空间里真正有定义的对象是正交,而不是夹角。

注 3。夹角是内积带来的新概念,它给线性空间补上了一层「图形化」的理解:cos⁡α=0\cos\alpha=0 对应垂直,cos⁡α=±1\cos\alpha=\pm1 对应平行(即线性相关——与 定理 1.5.1 的等号条件一致),介于其间的角度把「方向接近程度」变成了可以计算的数。

勘误 E6 · 课件页 8 的夹角定义未区分实与复

课件把定义 1.5.2 写在一般内积空间上,但复内积空间中 (x,y)(\boldsymbol{x},\boldsymbol{y}) 是复数,而 arccos⁡\arccos 只接受 [−1,1][-1,1] 内的实参数,公式无定义。标准处理有两种:① 夹角概念限于实内积空间(本教程采用);② 复空间中把分子换成 Re⁡(x,y)\operatorname{Re}(\boldsymbol{x},\boldsymbol{y})(它仍满足 ∣Re⁡(x,y)∣≤∥x∥ ∥y∥\big|\operatorname{Re}(\boldsymbol{x},\boldsymbol{y})\big|\leq\|\boldsymbol{x}\|\,\|\boldsymbol{y}\|)。复空间中真正重要、且定义无歧义的是「正交」:(x,y)=0(\boldsymbol{x},\boldsymbol{y})=0 对复数照样有意义,见 1.5.5。

1.5.4 Gram 行列式的几何意义

夹角可算之后,1.4 节引入的度量矩阵就不再只是记账工具。二阶情形最简单,也最能把它的几何含义说清楚:一个行列式,恰好等于一块面积。

例 1.5.1 · R2\mathbb R^2 中度量矩阵行列式的几何含义

R2\mathbb R^2 关于基 x1,x2\boldsymbol{x}_1,\boldsymbol{x}_2 的度量矩阵为

G(x1,x2)=((x1,x1)(x1,x2)(x2,x1)(x2,x2))G(\boldsymbol{x}_1,\boldsymbol{x}_2)=\begin{pmatrix}(\boldsymbol{x}_1,\boldsymbol{x}_1)&amp;(\boldsymbol{x}_1,\boldsymbol{x}_2)\\(\boldsymbol{x}_2,\boldsymbol{x}_1)&amp;(\boldsymbol{x}_2,\boldsymbol{x}_2)\end{pmatrix}

(按 定义 1.4.4 的下标约定 gij=(xj,xi)g_{ij}=(\boldsymbol{x}_j,\boldsymbol{x}_i),实空间中 (x2,x1)=(x1,x2)(\boldsymbol{x}_2,\boldsymbol{x}_1)=(\boldsymbol{x}_1,\boldsymbol{x}_2))。问:行列式 det⁡G(x1,x2)\det G(\boldsymbol{x}_1,\boldsymbol{x}_2) 的几何含义是什么?

解答 · 例 1.5.1

直接展开(实空间,(x1,x2)(\boldsymbol{x}_1,\boldsymbol{x}_2) 是实数):

det⁡G(x1,x2)=(x1,x1)(x2,x2)−(x1,x2)2=∥x1∥2∥x2∥2−(∥x1∥ ∥x2∥cos⁡α)2,\det G(\boldsymbol{x}_1,\boldsymbol{x}_2) =(\boldsymbol{x}_1,\boldsymbol{x}_1)(\boldsymbol{x}_2,\boldsymbol{x}_2)-(\boldsymbol{x}_1,\boldsymbol{x}_2)^2 =\|\boldsymbol{x}_1\|^2\|\boldsymbol{x}_2\|^2-\big(\|\boldsymbol{x}_1\|\,\|\boldsymbol{x}_2\|\cos\alpha\big)^2,

其中 α\alpha 是 x1\boldsymbol{x}_1 与 x2\boldsymbol{x}_2 的夹角(定义 1.5.2)。于是

det⁡G(x1,x2)=∥x1∥2∥x2∥2(1−cos⁡2α)=∥x1∥2∥x2∥2sin⁡2α.\det G(\boldsymbol{x}_1,\boldsymbol{x}_2)=\|\boldsymbol{x}_1\|^2\|\boldsymbol{x}_2\|^2\big(1-\cos^2\alpha\big)=\|\boldsymbol{x}_1\|^2\|\boldsymbol{x}_2\|^2\sin^2\alpha.

而「∥x1∥ ∥x2∥sin⁡α\|\boldsymbol{x}_1\|\,\|\boldsymbol{x}_2\|\sin\alpha」正是以 x1,x2\boldsymbol{x}_1,\boldsymbol{x}_2 为邻边的平行四边形的面积。所以:

det⁡G(x1,x2)\det G(\boldsymbol{x}_1,\boldsymbol{x}_2) 恰是以 x1\boldsymbol{x}_1 与 x2\boldsymbol{x}_2 为邻边的平行四边形面积的平方。

Gram 行列式 = 平行四边形面积的平方 两个基向量张成的平行四边形,其面积等于两个向量长度之积乘以夹角的正弦;面积的平方恰是 Gram 矩阵的行列式。 α x₁ x₂ 面积 = ‖x₁‖‖x₂‖ sin α det G = 面积²
基「张开」的程度被 Gram 行列式精确记录:det⁡G=0\det G=0 ⟺ 面积为零 ⟺ x1,x2\boldsymbol{x}_1,\boldsymbol{x}_2 线性相关 ⟺ GG 奇异。

这个几何解释与 1.4 的代数结论严丝合缝:x1,x2\boldsymbol{x}_1,\boldsymbol{x}_2 是基(线性无关)⟺\Longleftrightarrow GG 正定 ⟺\Longleftrightarrow det⁡G>0\det G\gt0(面积非零)。几何(面积)与代数(正定性)在此对齐。

复空间中的推广。课件中该例限定在 R2\mathbb R^2(实空间),上式成立。若要把结论搬到复内积空间,只需把平方换成模平方(因为此时 (x1,x2)(\boldsymbol{x}_1,\boldsymbol{x}_2) 是复数,而 (x2,x1)=(x1,x2)‾(\boldsymbol{x}_2,\boldsymbol{x}_1)=\overline{(\boldsymbol{x}_1,\boldsymbol{x}_2)}):

det⁡G(x1,x2)=∥x1∥2∥x2∥2−∣(x1,x2)∣2=∥x1∥2∥x2∥2(1−∣(x1,x2)∣2∥x1∥2∥x2∥2)≥0,\det G(\boldsymbol{x}_1,\boldsymbol{x}_2)=\|\boldsymbol{x}_1\|^2\|\boldsymbol{x}_2\|^2-\big|(\boldsymbol{x}_1,\boldsymbol{x}_2)\big|^2=\|\boldsymbol{x}_1\|^2\|\boldsymbol{x}_2\|^2\left(1-\frac{\big|(\boldsymbol{x}_1,\boldsymbol{x}_2)\big|^2}{\|\boldsymbol{x}_1\|^2\|\boldsymbol{x}_2\|^2}\right)\geq0,

非负性正是 C-S。这里刻意保留了比值、没有写成 cos⁡α\cos\alpha:复空间中夹角 α\alpha 本身没有定义(见 定义 1.5.2 与勘误 E6),只有这个比值有意义;实空间中该比值就是 cos⁡2α\cos^2\alpha,于是与课件的写法一致。

推广 · 高维的「体积」

Rn\mathbb R^n 中 nn 个向量 x1,⋯ ,xn\boldsymbol{x}_1,\cdots,\boldsymbol{x}_n 拼成的平行多面体,其体积的平方同样等于 det⁡G(x1,⋯ ,xn)\det G(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_n)(完整归纳证明见附录 A.2,那里还顺带得到著名的 Hadamard 不等式)。于是「GG 正定 ⟺ 基」的几何读法在高维依然成立:基就是张满体积的向量组。这个观点在数值分析中化身为「矩阵体积」与最小二乘的法方程条件数,此处只埋个伏笔。

1.5.5 正交、勾股定理与正交向量组

夹角里有一个取值值得单独定义——π2\tfrac{\pi}{2},此时内积恰好为零。抓住「内积为零」这个条件,就可以脱离夹角公式本身来定义垂直:

定义 1.5.3 · 正交与正交向量组 orthogonal

设 VV 是内积空间。对 VV 中向量 x\boldsymbol{x} 和 y\boldsymbol{y},若 (x,y)=0(\boldsymbol{x},\boldsymbol{y})=0,则称 x\boldsymbol{x} 与 y\boldsymbol{y} 正交(或垂直),记为 x⊥y\boldsymbol{x}\perp\boldsymbol{y}。若一组非零向量两两正交,则称为正交向量组。单位向量构成的正交向量组称为标准正交向量组。

注 4。零向量 θ\boldsymbol{\theta} 与任何向量均正交((θ,y)=0(\boldsymbol{\theta},\boldsymbol{y})=0,见 例 1.4.1);正因如此,「正交向量组」的定义里必须写明非零,否则零向量混进来会破坏下面定理 1.5.2 的价值。(x,y)=0(\boldsymbol{x},\boldsymbol{y})=0 这条判据在复空间中同样合法——共轭对称性保证 (x,y)=0⟺(y,x)=0(\boldsymbol{x},\boldsymbol{y})=0\Longleftrightarrow(\boldsymbol{y},\boldsymbol{x})=0,正交关系是对称的。

注 5 · 勾股定理。(实内积空间中)x\boldsymbol{x} 与 y\boldsymbol{y} 正交当且仅当

∥x+y∥2=∥x∥2+∥y∥2,\|\boldsymbol{x}+\boldsymbol{y}\|^2=\|\boldsymbol{x}\|^2+\|\boldsymbol{y}\|^2,

该结果可推广至任意有限多个两两正交的向量:∥x1+⋯+xs∥2=∥x1∥2+⋯+∥xs∥2\|\boldsymbol{x}_1+\cdots+\boldsymbol{x}_s\|^2=\|\boldsymbol{x}_1\|^2+\cdots+\|\boldsymbol{x}_s\|^2。

证:由 1.5.1 的展开式 ∥x+y∥2=∥x∥2+2Re⁡(x,y)+∥y∥2\|\boldsymbol{x}+\boldsymbol{y}\|^2=\|\boldsymbol{x}\|^2+2\operatorname{Re}(\boldsymbol{x},\boldsymbol{y})+\|\boldsymbol{y}\|^2,实空间中 (x,y)=0(\boldsymbol{x},\boldsymbol{y})=0 就是 Re⁡(x,y)=0\operatorname{Re}(\boldsymbol{x},\boldsymbol{y})=0,反之亦然。多向量情形对展开式逐项观察:两两正交使全部交叉项消失。

勘误 E7 · 课件页 11 注 5 的「当且仅当」在复空间不成立

复内积空间中,正交((x,y)=0(\boldsymbol{x},\boldsymbol{y})=0)仍推出勾股等式,但反过来不行:勾股等式只约束 Re⁡(x,y)=0\operatorname{Re}(\boldsymbol{x},\boldsymbol{y})=0,虚部可以非零。反例:V=C1V=\mathbb C^1,x=1x=1,y=iy=i,则 ∥x+y∥2=∣1+i∣2=2=∥x∥2+∥y∥2\|x+y\|^2=|1+i|^2=2=\|x\|^2+\|y\|^2,但 (x,y)=i‾⋅1=−i≠0(x,y)=\overline{i}\cdot1=-i\neq0。故「当且仅当」需限定在实内积空间(或把条件加强为 Re⁡\operatorname{Re} 与 Im⁡\operatorname{Im} 同时为零,那恰好就是 (x,y)=0(\boldsymbol{x},\boldsymbol{y})=0)。

勘误 E8 · 课件 1.5 的注编号重复

课件 1.5 的注依次编为:页 2「注 1」、页 5「注 2」、页 8「注 3」、页 11「注 4」「注 5」、页 18 又出现一个「注 4」(内容与前面无关,讲标准正交基与单位度量矩阵),且没有注 6。本教程按出现顺序重排为注 1–6,正文相应处已注明(见 1.5.7)。

定理 1.5.2 · 正交向量组线性无关

设 x1,x2,⋯ ,xs\boldsymbol{x}_1,\boldsymbol{x}_2,\cdots,\boldsymbol{x}_s(s≥1s\geq1)是内积空间 VV 的正交向量组,则它们线性无关。

证明 · 定理 1.5.2

考查方程

k1x1+k2x2+⋯+ksxs=θ.k_1\boldsymbol{x}_1+k_2\boldsymbol{x}_2+\cdots+k_s\boldsymbol{x}_s=\boldsymbol{\theta}.

用 xi\boldsymbol{x}_i(i=1,2,⋯ ,si=1,2,\cdots,s)与上式两端作内积。右端 (θ,xi)=0(\boldsymbol{\theta},\boldsymbol{x}_i)=0;左端由第一变元线性逐项展开:

(k1x1+⋯+ksxs, xi)=∑j=1skj(xj,xi)=ki(xi,xi),\big(k_1\boldsymbol{x}_1+\cdots+k_s\boldsymbol{x}_s,\ \boldsymbol{x}_i\big) =\sum_{j=1}^{s}k_j(\boldsymbol{x}_j,\boldsymbol{x}_i) =k_i(\boldsymbol{x}_i,\boldsymbol{x}_i),

最后一步用了两两正交:j≠ij\neq i 时 (xj,xi)=0(\boldsymbol{x}_j,\boldsymbol{x}_i)=0。于是

ki(xi,xi)=0.k_i(\boldsymbol{x}_i,\boldsymbol{x}_i)=0.

由正交向量组的定义 xi≠θ\boldsymbol{x}_i\neq\boldsymbol{\theta},故 (xi,xi)=∥xi∥2>0(\boldsymbol{x}_i,\boldsymbol{x}_i)=\|\boldsymbol{x}_i\|^2\gt0,迫使 ki=0k_i=0。ii 任意,故线性无关。

∎
推论 1.5.1 · 正交组规模的上界

在 nn 维内积空间中,正交向量组中的向量不会超过 nn 个。

证明 · 推论 1.5.1

正交向量组线性无关(定理 1.5.2),而 nn 维空间中无关组至多含 nn 个向量(1.3.6 计数引理)。

∎
思考 · 上界能达到吗?

在 nn 维内积空间 VV 中,能否一定找到包含 nn 个向量的正交向量组(从而凑成正交基)?——能。任取一组基,用下一小节的 Gram–Schmidt 正交化即可。直观上:nn 维空间里有 nn 个互相独立的方向,就容得下 nn 根互相垂直的「轴」。

1.5.6 Gram–Schmidt 正交化

上一小节的思考题已给出答案:任取一组基,执行 Gram–Schmidt 正交化。下面把它展开成可逐步执行的公式——逐个减掉新向量里属于已有方向的成分,剩下的部分自动与前面全部正交。

Gram–Schmidt 正交化

设 x1,⋯ ,xn\boldsymbol{x}_1,\cdots,\boldsymbol{x}_n 是 VV 的一组基,y1,⋯ ,yn\boldsymbol{y}_1,\cdots,\boldsymbol{y}_n 是待定的正交向量组。构造:

y1=x1,yk=xk−∑i=1k−1(xk,yi)(yi,yi) yi,k=2,⋯ ,n.\boldsymbol{y}_1=\boldsymbol{x}_1,\qquad \boldsymbol{y}_k=\boldsymbol{x}_k-\sum_{i=1}^{k-1}\frac{(\boldsymbol{x}_k,\boldsymbol{y}_i)}{(\boldsymbol{y}_i,\boldsymbol{y}_i)}\,\boldsymbol{y}_i,\qquad k=2,\cdots,n.

读法:从 xk\boldsymbol{x}_k 里逐个减掉它在已有正交方向 y1,⋯ ,yk−1\boldsymbol{y}_1,\cdots,\boldsymbol{y}_{k-1} 上的「成分」(xk,yi)(yi,yi)yi\dfrac{(\boldsymbol{x}_k,\boldsymbol{y}_i)}{(\boldsymbol{y}_i,\boldsymbol{y}_i)}\boldsymbol{y}_i——这正是 定理 1.5.1 证明中「减成分、留垂直残差」的动作重复 k−1k-1 次。

验证(正交性 · 张成不变 · 非零性)

正交性。对 k>jk\gt j,用 yj\boldsymbol{y}_j 与 yk\boldsymbol{y}_k 的构造式作内积(第一变元线性):

(yk,yj)=(xk,yj)−∑i=1k−1(xk,yi)(yi,yi)(yi,yj)=(xk,yj)−(xk,yj)(yj,yj)(yj,yj)=0,(\boldsymbol{y}_k,\boldsymbol{y}_j)=(\boldsymbol{x}_k,\boldsymbol{y}_j)-\sum_{i=1}^{k-1}\frac{(\boldsymbol{x}_k,\boldsymbol{y}_i)}{(\boldsymbol{y}_i,\boldsymbol{y}_i)}(\boldsymbol{y}_i,\boldsymbol{y}_j)=(\boldsymbol{x}_k,\boldsymbol{y}_j)-\frac{(\boldsymbol{x}_k,\boldsymbol{y}_j)}{(\boldsymbol{y}_j,\boldsymbol{y}_j)}(\boldsymbol{y}_j,\boldsymbol{y}_j)=0,

中间一步用了已归纳建立的两两正交(i≠ji\neq j 的项全为零)。

张成不变。yk\boldsymbol{y}_k 是 x1,⋯ ,xk\boldsymbol{x}_1,\cdots,\boldsymbol{x}_k 的线性组合;反过来构造式可改写为 xk=yk+∑i(xk,yi)(yi,yi)yi\boldsymbol{x}_k=\boldsymbol{y}_k+\sum_i\frac{(\boldsymbol{x}_k,\boldsymbol{y}_i)}{(\boldsymbol{y}_i,\boldsymbol{y}_i)}\boldsymbol{y}_i。故对每个 kk 都有 span⁡(y1,⋯ ,yk)=span⁡(x1,⋯ ,xk)\operatorname{span}(\boldsymbol{y}_1,\cdots,\boldsymbol{y}_k)=\operatorname{span}(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_k)。

非零性。若 yk=θ\boldsymbol{y}_k=\boldsymbol{\theta},则 xk∈span⁡(x1,⋯ ,xk−1)\boldsymbol{x}_k\in\operatorname{span}(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_{k-1})(由张成不变),与 x1,⋯ ,xn\boldsymbol{x}_1,\cdots,\boldsymbol{x}_n 是基矛盾。

三者合起来:y1,⋯ ,yn\boldsymbol{y}_1,\cdots,\boldsymbol{y}_n 是含 nn 个向量的正交向量组——回答了课件的思考题。再逐个单位化 qk=yk/∥yk∥\boldsymbol{q}_k=\boldsymbol{y}_k/\|\boldsymbol{y}_k\|,即得标准正交向量组。

∎
Gram–Schmidt 的每一步:减掉成分,留下垂直残差 向量 x2 减去它在 y1 方向上的投影成分,得到与 y1 垂直的 y2。 y₁ = x₁ x₂ 成分(沿 y₁,虚线) y₂ ⊥ y₁ 减掉在已有正交方向上的 全部成分,剩下的必垂直
「减成分、留垂直残差」重复 n−1n-1 轮,就把任意基变成正交基;单位化后得标准正交基。

动手一步步看 Gram–Schmidt 把斜基掰成正交基

按「下一步」看构造过程。拖动图中金色端点可以换一个 x2\boldsymbol{x}_2,观察 b2\boldsymbol{b}_2 始终垂直于 b1\boldsymbol{b}_1——无论 x2\boldsymbol{x}_2 怎么动,减掉投影之后剩下的必然垂直。

例 1.5.B · 对一组基执行 Gram–Schmidt

(1) 基取自 例 1.4.D:x1=(1,0)T\boldsymbol{x}_1=(1,0)^{\mathrm T},x2=(1,1)T\boldsymbol{x}_2=(1,1)^{\mathrm T}(R2\mathbb R^2 标准内积);(2) x1=(1,1,0)T\boldsymbol{x}_1=(1,1,0)^{\mathrm T},x2=(1,0,1)T\boldsymbol{x}_2=(1,0,1)^{\mathrm T},x3=(0,1,1)T\boldsymbol{x}_3=(0,1,1)^{\mathrm T}(R3\mathbb R^3 标准内积)。分别正交化并单位化。

解答 · 例 1.5.B

(1) y1=(1,0)T\boldsymbol{y}_1=(1,0)^{\mathrm T};

y2=x2−(x2,y1)(y1,y1)y1=(1,1)T−11(1,0)T=(0,1)T.\boldsymbol{y}_2=\boldsymbol{x}_2-\frac{(\boldsymbol{x}_2,\boldsymbol{y}_1)}{(\boldsymbol{y}_1,\boldsymbol{y}_1)}\boldsymbol{y}_1=(1,1)^{\mathrm T}-\frac{1}{1}(1,0)^{\mathrm T}=(0,1)^{\mathrm T}.

单位化:q1=(1,0)T\boldsymbol{q}_1=(1,0)^{\mathrm T},q2=(0,1)T\boldsymbol{q}_2=(0,1)^{\mathrm T}——斜基化为标准正交基。用 q1,q2\boldsymbol{q}_1,\boldsymbol{q}_2 算内积当然比用原来的斜基(G=(1112)G=\begin{pmatrix}1&amp;1\\1&amp;2\end{pmatrix})省事,这正是标准正交基的价值。

(2) y1=(1,1,0)T\boldsymbol{y}_1=(1,1,0)^{\mathrm T},(y1,y1)=2(\boldsymbol{y}_1,\boldsymbol{y}_1)=2;

y2=x2−(x2,y1)2y1=(1,0,1)T−12(1,1,0)T=(12,−12,1)T,(y2,y2)=32;\boldsymbol{y}_2=\boldsymbol{x}_2-\frac{(\boldsymbol{x}_2,\boldsymbol{y}_1)}{2}\boldsymbol{y}_1=(1,0,1)^{\mathrm T}-\tfrac12(1,1,0)^{\mathrm T}=\big(\tfrac12,-\tfrac12,1\big)^{\mathrm T},\qquad(\boldsymbol{y}_2,\boldsymbol{y}_2)=\tfrac32;

y3=x3−(x3,y1)2y1−(x3,y2)3/2y2=(0,1,1)T−12(1,1,0)T−13(12,−12,1)T=(−23,23,23)T.\boldsymbol{y}_3=\boldsymbol{x}_3-\frac{(\boldsymbol{x}_3,\boldsymbol{y}_1)}{2}\boldsymbol{y}_1-\frac{(\boldsymbol{x}_3,\boldsymbol{y}_2)}{3/2}\boldsymbol{y}_2=(0,1,1)^{\mathrm T}-\tfrac12(1,1,0)^{\mathrm T}-\tfrac13\big(\tfrac12,-\tfrac12,1\big)^{\mathrm T}=\big(-\tfrac23,\tfrac23,\tfrac23\big)^{\mathrm T}.

核算:(y1,y2)=12−12+0=0(\boldsymbol{y}_1,\boldsymbol{y}_2)=\tfrac12-\tfrac12+0=0 ✓,(y1,y3)=−23+23=0(\boldsymbol{y}_1,\boldsymbol{y}_3)=-\tfrac23+\tfrac23=0 ✓,(y2,y3)=−13−13+23=0(\boldsymbol{y}_2,\boldsymbol{y}_3)=-\tfrac13-\tfrac13+\tfrac23=0 ✓。单位化(∥y1∥=2\|\boldsymbol{y}_1\|=\sqrt2,∥y2∥=3/2\|\boldsymbol{y}_2\|=\sqrt{3/2},∥y3∥=23\|\boldsymbol{y}_3\|=\tfrac{2}{\sqrt3}):

q1=12(1,1,0)T,q2=16(1,−1,2)T,q3=13(−1,1,1)T.\boldsymbol{q}_1=\tfrac{1}{\sqrt2}(1,1,0)^{\mathrm T},\qquad \boldsymbol{q}_2=\tfrac{1}{\sqrt6}(1,-1,2)^{\mathrm T},\qquad \boldsymbol{q}_3=\tfrac{1}{\sqrt3}(-1,1,1)^{\mathrm T}.

(y2\boldsymbol{y}_2 乘以 22、y3\boldsymbol{y}_3 乘以 32\tfrac32 只改变长度不改变方向,正交性不受影响——用整数形式验证更方便。)

1.5.7 正交基、标准正交基与三角函数系

正交组的规模有上界(推论 1.5.1)。达到这个上界的正交组最有用:它恰好能像普通基那样给向量安上坐标,内积的计算也随之简化。这类正交组值得单独命名。

定义 1.5.4 · 正交基与标准正交基

在 nn 维内积空间中,由 nn 个向量组成的正交向量组称为正交基。由单位向量组成的正交基称为标准正交基。

定义的合理性由 定理 1.5.2 保证:nn 个两两正交的非零向量自动线性无关,从而自动是基。标准正交基 q1,⋯ ,qn\boldsymbol{q}_1,\cdots,\boldsymbol{q}_n 满足

(qi,qj)=δij={1,i=j,0,i≠j,(\boldsymbol{q}_i,\boldsymbol{q}_j)=\delta_{ij}=\begin{cases}1,&amp;i=j,\0,&amp;i\neq j,\end{cases}

其中 δij\delta_{ij} 是 Kronecker 记号。

注 6。设 q1,⋯ ,qn\boldsymbol{q}_1,\cdots,\boldsymbol{q}_n 是 VV 的一组基,则它是标准正交基,当且仅当 VV 关于它的度量矩阵为单位矩阵:G(q1,⋯ ,qn)=InG(\boldsymbol{q}_1,\cdots,\boldsymbol{q}_n)=I_n。在标准正交基下,内积的运算变得更加简单(见例 1.5.3)。(前提不可省:度量矩阵按 定义 1.4.4 只对基定义,所以「G=IG=I」这句话本身已经假定了 q\boldsymbol{q} 组是基;若把 GG 推广到任意向量组,dim⁡V>n\dim V&gt;n 时 G=IG=I 不再蕴含「是基」。课件的注编号有重复,本教程按出现顺序重排,详见勘误 E8。)

例 1.5.2 · 光滑函数空间与三角函数系:正交不等于代数基

考查定义在 [−π,π][-\pi,\pi] 的光滑函数空间 SS,定义内积为 ∀f(t),g(t)∈S\forall f(t),g(t)\in S,

(f,g)=∫−ππf(t)g(t) dt.(f,g)=\int_{-\pi}^{\pi}f(t)g(t)\,\mathrm dt.

证明三角函数组 1, cos⁡t, sin⁡t, ⋯ , cos⁡kt, sin⁡kt, ⋯1,\ \cos t,\ \sin t,\ \cdots,\ \cos kt,\ \sin kt,\ \cdots 是正交向量组,并辨析课件把它称为线性空间 SS 的「正交基」时省略了什么前提。

解答 · 例 1.5.2

内积合法性(对称、线性、正定)与 例 1.4.B 完全同理。逐类验证正交性——被积函数的奇偶性与积化和差使积分直接为零:

  • 与常数 11 正交:k≥1k\geq1 时 ∫−ππcos⁡kt dt=∫−ππsin⁡kt dt=0\displaystyle\int_{-\pi}^{\pi}\cos kt\,\mathrm dt=\int_{-\pi}^{\pi}\sin kt\,\mathrm dt=0(整周期积分;sin⁡kt\sin kt 还是奇函数);
  • sin⁡\sin 与 cos⁡\cos 交叉:∫−ππsin⁡mtcos⁡nt dt=0\displaystyle\int_{-\pi}^{\pi}\sin mt\cos nt\,\mathrm dt=0(对任意 m,nm,n:被积函数是奇函数,对称区间积分自动为零);
  • 同类不同频(m≠nm\neq n):积化和差把 cos⁡mtcos⁡nt\cos mt\cos nt、sin⁡mtsin⁡nt\sin mt\sin nt 化为 12[cos⁡(m−n)t±cos⁡(m+n)t]\tfrac12\big[\cos(m-n)t\pm\cos(m+n)t\big],而 ∫−ππcos⁡lt dt=0\int_{-\pi}^{\pi}\cos lt\,\mathrm dt=0(l≠0l\neq0 整数),故两个积分都为零。

各向量的长度平方为:(1,1)=2π(1,1)=2\pi,(cos⁡kt,cos⁡kt)=(sin⁡kt,sin⁡kt)=π(\cos kt,\cos kt)=(\sin kt,\sin kt)=\pi。于是三角函数系两两正交、每个函数都非零,确实构成一个正交向量组。

但按本章定义 1.3.3 的代数定义,「基」要求每个向量都能写成基向量的有限线性组合。三角函数系的有限线性组合只是三角多项式,不能覆盖所有光滑函数;因此它不是光滑函数空间 SS 的 Hamel 基。傅里叶分析中常说的「正交基」,实际指在 L2[−π,π]L^2[-\pi,\pi] 的范数与收敛意义下的完备正交系:允许用无穷级数逼近或表示函数。这需要先给空间规定范数、极限和完备性,已经超出本章的纯代数框架。

这一段可以稍后再读

上面这段辨析用到了「范数、极限、完备性、L2L^2」等后续课程的概念。它不属于本章的考核范围——现在只需记住结论:「代数基(有限组合)」与「完备正交系(无穷级数)」是两件事,课件把它们混用了(勘误 E10)。等学过函数分析或傅里叶分析后回来重读,这一段会变得完全透明。

在满足相应收敛条件时,光滑函数 f(t)f(t) 的傅里叶级数写成

f(t)=a02+∑n=1∞(ancos⁡nt+bnsin⁡nt)(傅里叶三角级数),f(t)=\frac{a_0}{2}+\sum_{n=1}^{\infty}\big(a_n\cos nt+b_n\sin nt\big)\qquad\text{(傅里叶三角级数)},

各系数由「与对应的正交函数作内积、再除以该函数自身的长度平方」得到。这与有限维正交基求坐标的公式同构,但无穷级数还多了一道必须单独处理的收敛问题。

勘误 E10 · 「正交向量组」不能直接升级为「光滑函数空间的基」

课件把上述三角函数系称为光滑函数空间 SS 的正交基。按本章的 Hamel 基定义,这不成立:有限线性组合只能得到三角多项式。若要使用傅里叶分析中的「正交基」说法,应把空间与拓扑语境改为 L2[−π,π]L^2[-\pi,\pi],并说明这里的「基」是完备正交系,展开按 L2L^2 范数收敛。正文已将「代数基」和「完备正交系」分开陈述。

课程预告 · 傅里叶系数

用 cos⁡nt\cos nt、sin⁡nt\sin nt 与展开式两边作内积,正交性使无穷多项里只剩一项,立刻得到

an=(f,cos⁡nt)π=1π∫−ππf(t)cos⁡nt dt,bn=(f,sin⁡nt)π=1π∫−ππf(t)sin⁡nt dt,a0=(f,1)π.a_n=\frac{(f,\cos nt)}{\pi}=\frac{1}{\pi}\int_{-\pi}^{\pi}f(t)\cos nt\,\mathrm dt,\qquad b_n=\frac{(f,\sin nt)}{\pi}=\frac{1}{\pi}\int_{-\pi}^{\pi}f(t)\sin nt\,\mathrm dt,\qquad a_0=\frac{(f,1)}{\pi}.

「正交系 + 内积 = 广义坐标」这套机制从 Rn\mathbb R^n 搬到了函数空间,这正是傅里叶分析的起点。有限维里求和总会停止;函数空间里通常出现无穷级数,因此「能否展开、以什么方式收敛、极限是否仍在空间中」都成为新问题。它们属于后续的函数分析或傅里叶分析课程。

最后回到有限维,看标准正交基在内积计算上究竟省掉了哪一步:

例 1.5.3 · 标准正交基下的内积公式

设 q1,⋯ ,qn\boldsymbol{q}_1,\cdots,\boldsymbol{q}_n 是线性空间 VV 的标准正交基,α\boldsymbol{\alpha} 和 β\boldsymbol{\beta} 分别是 VV 中向量 x\boldsymbol{x} 和 y\boldsymbol{y} 在该基下的坐标。证明:

(x,y)=βHG(q1,⋯ ,qn)α=βHα.(\boldsymbol{x},\boldsymbol{y})=\boldsymbol{\beta}^{\mathrm H}G(\boldsymbol{q}_1,\cdots,\boldsymbol{q}_n)\boldsymbol{\alpha}=\boldsymbol{\beta}^{\mathrm H}\boldsymbol{\alpha}.

解答 · 例 1.5.3

这是 定义 1.4.4 坐标公式 (x,y)=ηHGEξ(\boldsymbol{x},\boldsymbol{y})=\boldsymbol{\eta}^{\mathrm H}G_{\mathcal E}\boldsymbol{\xi} 的特例:标准正交基满足 (qi,qj)=δij(\boldsymbol{q}_i,\boldsymbol{q}_j)=\delta_{ij},故度量矩阵的每个元素恰按 InI_n 摆放,G(q1,⋯ ,qn)=InG(\boldsymbol{q}_1,\cdots,\boldsymbol{q}_n)=I_n,于是

(x,y)=βHα=∑i=1nαiβi‾.(\boldsymbol{x},\boldsymbol{y})=\boldsymbol{\beta}^{\mathrm H}\boldsymbol{\alpha}=\sum_{i=1}^{n}\alpha_i\overline{\beta_i}.

标准正交基把任意(实 / 复)内积空间的内积运算,变成坐标向量的标准内积——长度与正交的判定全部可以在 Cn\mathbb C^n 里完成(夹角只对实空间有定义,见勘误 E6)。1.4 节引入的「度量矩阵」在此兑现:它一般不是 II,但 Gram–Schmidt 正交化保证总能换到一组使它是 II 的基。

1.5.8 小结与常见错误

下表把本节的对象与易错点放在一起对照:第三列几乎覆盖了本节的全部勘误,值得逐条读一遍。

核心对象必须记住高频错误
长度 ∥x∥&#124;\boldsymbol{x}&#124;(x,x)\sqrt{(\boldsymbol{x},\boldsymbol{x})};齐次性取 ∣k∣|k|复向量长度用 xi2x_i^2 而非 ∣xi∣2|x_i|^2 求和
C-S 不等式∣(x,y)∣≤∥x∥ ∥y∥|(\boldsymbol{x},\boldsymbol{y})|\leq&#124;\boldsymbol{x}&#124;,&#124;\boldsymbol{y}&#124;,等号 ⟺ 相关(实、复空间都成立)等号条件漏掉模(写成 (x,y)=∥x∥ ∥y∥(\boldsymbol{x},\boldsymbol{y})=&#124;\boldsymbol{x}&#124;,&#124;\boldsymbol{y}&#124; 会把 y=−xy=-x 判错);先证三角不等式后证 C-S(顺序颠倒,勘误 E5)
夹角arccos⁡(x,y)∥x∥ ∥y∥\arccos\dfrac{(\boldsymbol{x},\boldsymbol{y})}{&#124;\boldsymbol{x}&#124;,&#124;\boldsymbol{y}&#124;} 限实空间在复空间直接套 arccos(勘误 E6)
Gram 行列式=∥x1∥2∥x2∥2−∣(x1,x2)∣2=&#124;\boldsymbol{x}_1&#124;^2&#124;\boldsymbol{x}_2&#124;^2-\big|(\boldsymbol{x}_1,\boldsymbol{x}_2)\big|^2 = 面积²复情形把模平方写成平方(见 1.5.4 的推广注)
正交(x,y)=0(\boldsymbol{x},\boldsymbol{y})=0;正交组必无关把「零向量与一切都正交」当成正交组成员;复空间勾股「当且仅当」误用(勘误 E7)
Gram–Schmidtyk=xk−∑(xk,yi)(yi,yi)yi\boldsymbol{y}_k=\boldsymbol{x}_k-\sum\dfrac{(\boldsymbol{x}_k,\boldsymbol{y}_i)}{(\boldsymbol{y}_i,\boldsymbol{y}_i)}\boldsymbol{y}_i减错方向(拿 xi\boldsymbol{x}_i 当被投影对象);忘记单位化才能得「标准」正交基
标准正交基G=IG=I,(x,y)=βHα(\boldsymbol{x},\boldsymbol{y})=\boldsymbol{\beta}^{\mathrm H}\boldsymbol{\alpha}在一般基下直接用 βHα\boldsymbol{\beta}^{\mathrm H}\boldsymbol{\alpha} 算内积(漏乘 GG)

本节主线:内积给出长度;C-S 不等式把「内积的大小」钉死在「长度的乘积」之内,三角不等式与夹角定义随之落地;正交是夹角的极端情形,正交组自动无关;Gram–Schmidt 把任意基改造成正交基,单位化后度量矩阵成为 II——一切内积计算退化为坐标的标准内积。

即时自测 · 1.5

本节最容易失分的地方:复空间与实空间的差别(C-S 必须带模、夹角公式只限实空间、勾股逆命题在复空间失效)与 Gram–Schmidt 的公式细节。

第 1 题 · 记忆

写出长度的定义与四条性质(正定、齐次、平行四边形法则、三角不等式)。齐次性里为什么是 ∣k∣|k| 而不是 kk?(对应 1.5.1)

第 1 题答案

∥x∥=(x,x)\|\boldsymbol{x}\|=\sqrt{(\boldsymbol{x},\boldsymbol{x})};(1) ∥x∥≥0\|\boldsymbol{x}\|\geq0 且 =0⟺x=θ=0\Longleftrightarrow\boldsymbol{x}=\boldsymbol{\theta};(2) ∥kx∥=∣k∣∥x∥\|k\boldsymbol{x}\|=|k|\|\boldsymbol{x}\|;(3) ∥x+y∥2+∥x−y∥2=2(∥x∥2+∥y∥2)\|\boldsymbol{x}+\boldsymbol{y}\|^2+\|\boldsymbol{x}-\boldsymbol{y}\|^2=2(\|\boldsymbol{x}\|^2+\|\boldsymbol{y}\|^2);(4) ∥x+y∥≤∥x∥+∥y∥\|\boldsymbol{x}+\boldsymbol{y}\|\leq\|\boldsymbol{x}\|+\|\boldsymbol{y}\|(证明见 1.5.2)。

齐次性推导 ∥kx∥2=kk‾(x,x)=∣k∣2∥x∥2\|k\boldsymbol{x}\|^2=k\overline{k}(\boldsymbol{x},\boldsymbol{x})=|k|^2\|\boldsymbol{x}\|^2:复空间中 kk 是复数,k2k^2 可能是负数或复数,只有 ∣k∣2=kk‾|k|^2= k\overline{k} 保证非负实数,开方后得到 ∣k∣|k|。

第 2 题 · 证明

完整证明 Cauchy–Schwarz 不等式,并说明证明中 λ\lambda 的选取有什么几何含义。等号何时成立?(对应 1.5.2)

第 2 题答案

y≠θ\boldsymbol{y}\neq\boldsymbol{\theta} 时对 0≤(x−λy,x−λy)0\leq(\boldsymbol{x}-\lambda\boldsymbol{y},\boldsymbol{x}-\lambda\boldsymbol{y}) 取 λ=(x,y)(y,y)\lambda=\frac{(\boldsymbol{x},\boldsymbol{y})}{(\boldsymbol{y},\boldsymbol{y})},展开得 (x,x)−λ(y,x)−λ‾(x,y)+∣λ∣2(y,y)(\boldsymbol{x},\boldsymbol{x})-\lambda(y,x)-\overline{\lambda}(x,y)+|\lambda|^2(\boldsymbol{y},\boldsymbol{y});三项合并为 −∣(x,y)∣2(y,y)-\frac{|(\boldsymbol{x},\boldsymbol{y})|^2}{(\boldsymbol{y},\boldsymbol{y})}(两项带负号、一项带正号:λ‾(x,y)\overline{\lambda}(\boldsymbol{x},\boldsymbol{y}) 与 λ(y,x)\lambda(\boldsymbol{y},\boldsymbol{x}) 各贡献 −∣(x,y)∣2(y,y)-\frac{|(\boldsymbol{x},\boldsymbol{y})|^2}{(\boldsymbol{y},\boldsymbol{y})},∣λ∣2(y,y)|\lambda|^2(\boldsymbol{y},\boldsymbol{y}) 贡献 +∣(x,y)∣2(y,y)+\frac{|(\boldsymbol{x},\boldsymbol{y})|^2}{(\boldsymbol{y},\boldsymbol{y})}),于是

0≤(x,x)−∣(x,y)∣2(y,y)⟹(x,x)≥∣(x,y)∣2(y,y).0\leq(\boldsymbol{x},\boldsymbol{x})-\frac{|(\boldsymbol{x},\boldsymbol{y})|^2}{(\boldsymbol{y},\boldsymbol{y})}\quad\Longrightarrow\quad(\boldsymbol{x},\boldsymbol{x})\geq\frac{|(\boldsymbol{x},\boldsymbol{y})|^2}{(\boldsymbol{y},\boldsymbol{y})}.

几何含义:这个 λ\lambda 恰好使残差 x−λy\boldsymbol{x}-\lambda\boldsymbol{y} 与 y\boldsymbol{y} 正交((x−λy,y)=0(\boldsymbol{x}-\lambda\boldsymbol{y},\boldsymbol{y})=0)——「减掉沿 y\boldsymbol{y} 的成分」。等号成立 ⟺ 残差为零 ⟺ x=λy\boldsymbol{x}=\lambda\boldsymbol{y} ⟺ 线性相关。

第 3 题 · 应用

对 x1=(1,1,0)T\boldsymbol{x}_1=(1,1,0)^{\mathrm T}、x2=(1,0,1)T\boldsymbol{x}_2=(1,0,1)^{\mathrm T}、x3=(0,1,1)T\boldsymbol{x}_3=(0,1,1)^{\mathrm T} 执行 Gram–Schmidt,并把结果单位化。(对应 1.5.6)

第 3 题答案

y1=(1,1,0)T\boldsymbol{y}_1=(1,1,0)^{\mathrm T};y2=(12,−12,1)T\boldsymbol{y}_2=(\tfrac12,-\tfrac12,1)^{\mathrm T};y3=(−23,23,23)T\boldsymbol{y}_3=(-\tfrac23,\tfrac23,\tfrac23)^{\mathrm T}(计算过程见 例 1.5.B)。单位化:

q1=12(1,1,0)T\boldsymbol{q}_1=\tfrac{1}{\sqrt2}(1,1,0)^{\mathrm T},q2=16(1,−1,2)T\boldsymbol{q}_2=\tfrac{1}{\sqrt6}(1,-1,2)^{\mathrm T},q3=13(−1,1,1)T\boldsymbol{q}_3=\tfrac{1}{\sqrt3}(-1,1,1)^{\mathrm T}。

自检:三个向量长度均为 11,两两内积为 00;行列式 det⁡(q1,q2,q3)\det(\boldsymbol{q}_1,\boldsymbol{q}_2,\boldsymbol{q}_3) 应为 ±1\pm1(正交矩阵的行列式)。

第 4 题 · 辨析

标准正交基下度量矩阵是什么?此时 (x,y)(\boldsymbol{x},\boldsymbol{y}) 的坐标公式如何退化?「夹角」「勾股定理的当且仅当」各在什么空间里成立?(对应 1.5.7、勘误 E6 / E7)

第 4 题答案

G=InG=I_n((qi,qj)=δij(\boldsymbol{q}_i,\boldsymbol{q}_j)=\delta_{ij} 恰按单位矩阵摆放),于是 (x,y)=βHα=∑iαiβi‾(\boldsymbol{x},\boldsymbol{y})=\boldsymbol{\beta}^{\mathrm H}\boldsymbol{\alpha}=\sum_i\alpha_i\overline{\beta_i}——任意内积空间的计算退化为 Cn\mathbb C^n 的标准内积。

夹角公式(arccos)与「正交 ⟺ 勾股等式」的当且仅当都只在实内积空间成立;复空间中:正交 ⟹ 勾股成立,反之不然(反例 x=1,y=ix=1,y=i:勾股成立但 (x,y)=−i≠0(x,y)=-i\neq0)。