1.4 为线性空间装上了内积,但还没有真正「用」它。本节从内积中提取三个几何量——长度、夹角、正交,并证明第一个不平凡的定理:Cauchy–Schwarz 不等式。有了它,三角不等式、夹角公式、Gram 行列式的面积解释才能逐一落地。随后把「两两正交」的向量组升级为正交基与标准正交基:在这组特殊的基下,1.4 的度量矩阵坍缩为单位矩阵,内积计算退化为坐标的标准内积——这是贯穿后续全课程的技术支点。
先抓住一件事
本节公式虽多,核心动作只有一个:从向量中减去已有方向上的成分,留下正交残差。 Cauchy–Schwarz 的证明、Gram–Schmidt 算法与下一节的投影都围绕这个动作展开。
内积把一对向量变成了一个数;本节要做的第一件事,是让向量与自己做内积再开方,从中取出它的长度——三维空间里熟悉的长度公式,从此适用于任意内积空间。
定义 1.5.1 · 长度 length / 模 norm
设 F F F 是实数域或复数域,V V V 是定义在 F F F 上的内积空间。对任意 x ∈ V \boldsymbol{x}\in V x ∈ V ,实数
∥ x ∥ = ( x , x ) \|\boldsymbol{x}\|=\sqrt{(\boldsymbol{x},\boldsymbol{x})} ∥ x ∥ = ( x , x )
称为 x \boldsymbol{x} x 的长度 (或模 )。长度为 1 1 1 的向量称为单位向量 。
注 1。 实数的绝对值和复数的模值都是向量长度的特例:取 V = R 1 V=\mathbb R^1 V = R 1 或 C 1 \mathbb C^1 C 1 ,标准内积下的 ∥ x ∥ = ( x , x ) \|x\|=\sqrt{(x,x)} ∥ x ∥ = ( x , x ) 恰好就是 ∣ x ∣ |x| ∣ x ∣ 。定义 1.5.1 把「数的大小」推广成了「向量的大小」。
正定性(定义 1.4.1 第 (4) 条)保证了根号下的数非负、且只有零向量长度为零,所以这个定义是合法的。但定义只是一行公式,好不好用要看它在具体空间里算出什么——下面三个空间共用同一个定义,内积却各不相同。
例 1.5.A · 三个空间中的长度
(1) x = ( 1 , i ) T ∈ C 2 \boldsymbol{x}=(1,i)^{\mathrm T}\in\mathbb C^2 x = ( 1 , i ) T ∈ C 2 (标准内积);(2) p ( t ) = t ∈ P 2 ( t ) p(t)=t\in P_2(t) p ( t ) = t ∈ P 2 ( t ) (1.4.5 的积分内积 ( p , q ) = ∫ 0 1 p ( t ) q ( t ) d t (p,q)=\int_0^1p(t)q(t)\,\mathrm dt ( p , q ) = ∫ 0 1 p ( t ) q ( t ) d t );(3) 单位矩阵 I n ∈ C n × n I_n\in\mathbb C^{n\times n} I n ∈ C n × n (Frobenius 内积,例 1.4.C )。分别求长度。
解答 · 例 1.5.A
(1) ∥ x ∥ = ∣ 1 ∣ 2 + ∣ i ∣ 2 = 2 \|\boldsymbol{x}\|=\sqrt{|1|^2+|i|^2}=\sqrt2 ∥ x ∥ = ∣1 ∣ 2 + ∣ i ∣ 2 = 2 。复向量的长度必须逐分量取模平方 ∣ x i ∣ 2 = x i x i ‾ |x_i|^2=x_i\overline{x_i} ∣ x i ∣ 2 = x i x i ,而不是平方 x i 2 x_i^2 x i 2 ——后者对 x 1 = 1 , x 2 = i x_1=1,x_2=i x 1 = 1 , x 2 = i 会算出 0 0 0 ,与「非零向量长度非零」矛盾。
(2) ∥ t ∥ = ∫ 0 1 t 2 d t = 1 3 = 1 3 \|t\|=\sqrt{\int_0^1t^2\,\mathrm dt}=\sqrt{\tfrac13}=\tfrac{1}{\sqrt3} ∥ t ∥ = ∫ 0 1 t 2 d t = 3 1 = 3 1 。同一多项式换成区间 [ − π , π ] [-\pi,\pi] [ − π , π ] 上的内积长度就不同——长度由内积决定,内积变了长度就变 (对照 1.4.5 的内积例库)。
(3) ∥ I n ∥ F = tr ( I n H I n ) = n \|I_n\|_F=\sqrt{\operatorname{tr}(I_n^{\mathrm H}I_n)}=\sqrt n ∥ I n ∥ F = tr ( I n H I n ) = n 。
长度有下面四条 基本性质;其中第 (4) 条三角不等式的证明要等 1.5.2 的 Cauchy–Schwarz 不等式就位后再补(这正是课件此处留白的原因,见下方勘误 E5)。
命题 1.5.1 · 长度性质
∀ x , y ∈ V \forall\boldsymbol{x},\boldsymbol{y}\in V ∀ x , y ∈ V 和 k ∈ F k\in F k ∈ F ,有:
(1)正定性 :∥ x ∥ ≥ 0 \|\boldsymbol{x}\|\geq0 ∥ x ∥ ≥ 0 ,且 ∥ x ∥ = 0 \|\boldsymbol{x}\|=0 ∥ x ∥ = 0 当且仅当 x = θ \boldsymbol{x}=\boldsymbol{\theta} x = θ ; (2)齐次性 :∥ k x ∥ = ∣ k ∣ ∥ x ∥ \|k\boldsymbol{x}\|=|k|\,\|\boldsymbol{x}\| ∥ k x ∥ = ∣ k ∣ ∥ x ∥ ; (3)平行四边形法则 :∥ x + y ∥ 2 + ∥ x − y ∥ 2 = 2 ( ∥ x ∥ 2 + ∥ y ∥ 2 ) \|\boldsymbol{x}+\boldsymbol{y}\|^2+\|\boldsymbol{x}-\boldsymbol{y}\|^2=2\big(\|\boldsymbol{x}\|^2+\|\boldsymbol{y}\|^2\big) ∥ x + y ∥ 2 + ∥ x − y ∥ 2 = 2 ( ∥ x ∥ 2 + ∥ y ∥ 2 ) ; (4)三角不等式 :∥ x + y ∥ ≤ ∥ x ∥ + ∥ y ∥ \|\boldsymbol{x}+\boldsymbol{y}\|\leq\|\boldsymbol{x}\|+\|\boldsymbol{y}\| ∥ x + y ∥ ≤ ∥ x ∥ + ∥ y ∥ 。
((4) 与 Re ( x , y ) ≤ ∥ x ∥ ∥ y ∥ \operatorname{Re}(\boldsymbol{x},\boldsymbol{y})\leq\|\boldsymbol{x}\|\,\|\boldsymbol{y}\| Re ( x , y ) ≤ ∥ x ∥ ∥ y ∥ 等价——把 ∥ x + y ∥ 2 \|\boldsymbol{x}+\boldsymbol{y}\|^2 ∥ x + y ∥ 2 按内积展开、两边约去 ∥ x ∥ 2 + ∥ y ∥ 2 \|\boldsymbol{x}\|^2+\|\boldsymbol{y}\|^2 ∥ x ∥ 2 + ∥ y ∥ 2 即见。后者是 Cauchy–Schwarz 的直接推论,故不在命题内单列,证明见 1.5.2 。)
证((1)–(3))
(1) 即内积的正定性,开方不改变「非负、等于零」的判断。
(2) ∥ k x ∥ 2 = ( k x , k x ) = k k ‾ ( x , x ) = ∣ k ∣ 2 ∥ x ∥ 2 \|k\boldsymbol{x}\|^2=(k\boldsymbol{x},k\boldsymbol{x})=k\overline{k}(\boldsymbol{x},\boldsymbol{x})=|k|^2\|\boldsymbol{x}\|^2 ∥ k x ∥ 2 = ( k x , k x ) = k k ( x , x ) = ∣ k ∣ 2 ∥ x ∥ 2 ,开方即得。数乘系数取的是模 ∣ k ∣ |k| ∣ k ∣ ,而不是 k k k 本身——复空间中 k k k 可以是复数。
(3) 按「第一变元线性、第二变元共轭线性」展开(利用 ( y , x ) = ( x , y ) ‾ (\boldsymbol{y},\boldsymbol{x})=\overline{(\boldsymbol{x},\boldsymbol{y})} ( y , x ) = ( x , y ) ):
∥ x + y ∥ 2 = ( x , x ) + ( x , y ) + ( y , x ) + ( y , y ) = ∥ x ∥ 2 + 2 Re ( x , y ) + ∥ y ∥ 2 , \|\boldsymbol{x}+\boldsymbol{y}\|^2=(\boldsymbol{x},\boldsymbol{x})+(\boldsymbol{x},\boldsymbol{y})+(\boldsymbol{y},\boldsymbol{x})+(\boldsymbol{y},\boldsymbol{y})=\|\boldsymbol{x}\|^2+2\operatorname{Re}(\boldsymbol{x},\boldsymbol{y})+\|\boldsymbol{y}\|^2, ∥ x + y ∥ 2 = ( x , x ) + ( x , y ) + ( y , x ) + ( y , y ) = ∥ x ∥ 2 + 2 Re ( x , y ) + ∥ y ∥ 2 ,
把 y \boldsymbol{y} y 换成 − y -\boldsymbol{y} − y 得 ∥ x − y ∥ 2 = ∥ x ∥ 2 − 2 Re ( x , y ) + ∥ y ∥ 2 \|\boldsymbol{x}-\boldsymbol{y}\|^2=\|\boldsymbol{x}\|^2-2\operatorname{Re}(\boldsymbol{x},\boldsymbol{y})+\|\boldsymbol{y}\|^2 ∥ x − y ∥ 2 = ∥ x ∥ 2 − 2 Re ( x , y ) + ∥ y ∥ 2 。两式相加,交叉项抵消:
∥ x + y ∥ 2 + ∥ x − y ∥ 2 = 2 ( ∥ x ∥ 2 + ∥ y ∥ 2 ) . \|\boldsymbol{x}+\boldsymbol{y}\|^2+\|\boldsymbol{x}-\boldsymbol{y}\|^2=2\big(\|\boldsymbol{x}\|^2+\|\boldsymbol{y}\|^2\big). ∥ x + y ∥ 2 + ∥ x − y ∥ 2 = 2 ( ∥ x ∥ 2 + ∥ y ∥ 2 ) .
∎
平行四边形法则的几何图像
以 x 与 y 为邻边的平行四边形,两条对角线分别是 x+y 与 x−y;两对角线长度的平方和等于四边长度的平方和。
x
y
x + y
x − y
对角线 = 和向量与差向量
平行四边形法则(命题 1.5.1 (3)):两条对角线的平方和恒等于 2 ( ∥ x ∥ 2 + ∥ y ∥ 2 ) 2(\|\boldsymbol{x}\|^2+\|\boldsymbol{y}\|^2) 2 ( ∥ x ∥ 2 + ∥ y ∥ 2 ) ,与夹角无关。
平行四边形法则反过来刻画了内积空间:一般的线性空间没有长度;即便在赋范空间里,平行四边形法则也不是 每条范数都满足——它恰好刻画「这个范数能否由某个内积诱导」。遇到新范数时,可以用它作第一道检验。
长度之后,下一个自然的问题是:内积能有多大?下面的不等式把「内积的大小」钉死在「长度的乘积」之内,是本节其余全部结论的共同源头。
定理 1.5.1 · Cauchy–Schwarz 不等式
设 V V V 是 F F F 上的内积空间,∀ x , y ∈ V \forall\boldsymbol{x},\boldsymbol{y}\in V ∀ x , y ∈ V ,
∣ ( x , y ) ∣ ≤ ∥ x ∥ ∥ y ∥ , |(\boldsymbol{x},\boldsymbol{y})|\leq\|\boldsymbol{x}\|\,\|\boldsymbol{y}\|, ∣ ( x , y ) ∣ ≤ ∥ x ∥ ∥ y ∥ ,
其中等号 ∣ ( x , y ) ∣ = ∥ x ∥ ∥ y ∥ |(\boldsymbol{x},\boldsymbol{y})|=\|\boldsymbol{x}\|\,\|\boldsymbol{y}\| ∣ ( x , y ) ∣ = ∥ x ∥ ∥ y ∥ 当且仅当 x , y \boldsymbol{x},\boldsymbol{y} x , y 线性相关时成立。
证明 · 定理 1.5.1
若 y = θ \boldsymbol{y}=\boldsymbol{\theta} y = θ ,两边都是零,结论成立(零向量与任何向量线性相关)。设 y ≠ θ \boldsymbol{y}\neq\boldsymbol{\theta} y = θ ,则 ( y , y ) > 0 (\boldsymbol{y},\boldsymbol{y})\gt0 ( y , y ) > 0 。对任意 λ ∈ F \lambda\in F λ ∈ F ,由正定性,
0 ≤ ( x − λ y , x − λ y ) = ( x , x ) − λ ‾ ( x , y ) − λ ( y , x ) + ∣ λ ∣ 2 ( y , y ) . \boldsymbol{0}\leq(\boldsymbol{x}-\lambda\boldsymbol{y},\,\boldsymbol{x}-\lambda\boldsymbol{y}) =(\boldsymbol{x},\boldsymbol{x})-\overline{\lambda}(\boldsymbol{x},\boldsymbol{y})-\lambda(\boldsymbol{y},\boldsymbol{x})+|\lambda|^2(\boldsymbol{y},\boldsymbol{y}). 0 ≤ ( x − λ y , x − λ y ) = ( x , x ) − λ ( x , y ) − λ ( y , x ) + ∣ λ ∣ 2 ( y , y ) .
记 c = ( x , y ) c=(\boldsymbol{x},\boldsymbol{y}) c = ( x , y ) 、d = ( y , y ) > 0 d=(\boldsymbol{y},\boldsymbol{y})>0 d = ( y , y ) > 0 ,取 λ = c / d \lambda=c/d λ = c / d (于是 λ ‾ = c ‾ / d \overline\lambda=\overline c/d λ = c / d ,且 ( y , x ) = c ‾ (\boldsymbol y,\boldsymbol x)=\overline c ( y , x ) = c )。三个含 λ \lambda λ 的项逐项成为
− λ ‾ c = − ∣ c ∣ 2 d , − λ c ‾ = − ∣ c ∣ 2 d , ∣ λ ∣ 2 d = ∣ c ∣ 2 d . -\overline\lambda c=-\frac{|c|^2}{d},\qquad-\lambda\overline c=-\frac{|c|^2}{d},\qquad |\lambda|^2d=\frac{|c|^2}{d}. − λ c = − d ∣ c ∣ 2 , − λ c = − d ∣ c ∣ 2 , ∣ λ ∣ 2 d = d ∣ c ∣ 2 .
前两项与后一项合并,净剩 − ∣ c ∣ 2 / d -|c|^2/d − ∣ c ∣ 2 / d ,于是
0 ≤ ( x , x ) − ∣ ( x , y ) ∣ 2 ( y , y ) , \boldsymbol{0}\leq(\boldsymbol{x},\boldsymbol{x})-\frac{|(\boldsymbol{x},\boldsymbol{y})|^2}{(\boldsymbol{y},\boldsymbol{y})}, 0 ≤ ( x , x ) − ( y , y ) ∣ ( x , y ) ∣ 2 ,
即 ∣ ( x , y ) ∣ 2 ≤ ( x , x ) ( y , y ) |(\boldsymbol{x},\boldsymbol{y})|^2\leq(\boldsymbol{x},\boldsymbol{x})(\boldsymbol{y},\boldsymbol{y}) ∣ ( x , y ) ∣ 2 ≤ ( x , x ) ( y , y ) ,开方即得。
等号条件。 上述推导中等号成立当且仅当 ( x − λ y , x − λ y ) = 0 (\boldsymbol{x}-\lambda\boldsymbol{y},\,\boldsymbol{x}-\lambda\boldsymbol{y})=0 ( x − λ y , x − λ y ) = 0 ,即 x = λ y \boldsymbol{x}=\lambda\boldsymbol{y} x = λ y 。反过来,若 x , y \boldsymbol{x},\boldsymbol{y} x , y 线性相关,不妨设 x = k y \boldsymbol{x}=k\boldsymbol{y} x = k y (k ∈ F k\in F k ∈ F ),则 ∣ ( x , y ) ∣ = ∣ k ∣ ( y , y ) = ∥ x ∥ ∥ y ∥ |(\boldsymbol{x},\boldsymbol{y})|=|k|\,(\boldsymbol{y},\boldsymbol{y})=\|\boldsymbol{x}\|\,\|\boldsymbol{y}\| ∣ ( x , y ) ∣ = ∣ k ∣ ( y , y ) = ∥ x ∥ ∥ y ∥ ,等号成立。
∎
证明的几何读法。 取 λ = ( x , y ) / ( y , y ) \lambda=(\boldsymbol{x},\boldsymbol{y})/(\boldsymbol{y},\boldsymbol{y}) λ = ( x , y ) / ( y , y ) 后,向量 x − λ y \boldsymbol{x}-\lambda\boldsymbol{y} x − λ y 满足
( x − λ y , y ) = ( x , y ) − λ ( y , y ) = 0 , (\boldsymbol{x}-\lambda\boldsymbol{y},\boldsymbol{y})=(\boldsymbol{x},\boldsymbol{y})-\lambda(\boldsymbol{y},\boldsymbol{y})=0, ( x − λ y , y ) = ( x , y ) − λ ( y , y ) = 0 ,
即残差与 y \boldsymbol{y} y 正交 :从 x \boldsymbol{x} x 里减去它沿 y \boldsymbol{y} y 方向的「成分」,剩下的部分垂直于 y \boldsymbol{y} y 。Cauchy–Schwarz 不等式说的正是「成分不超过全长」;这个「减掉投影、留下正交残差」的动作,就是 1.5.6 Gram–Schmidt 正交化的每一步,也是 1.6 投影概念的雏形。
向量分成投影成分与正交残差
向量 x 分解为沿 y 方向的投影和与 y 正交的残差,形成直角三角形。
span{y}
x
λy(沿 y 的成分)
r=x−λy
O
x = λy + r
其中 (r,y)=0;等号成立 ⇔ r=0 ⇔ x 与 y 共线
C–S 的等号条件也能直接看见。 投影成分不可能比斜边 x \boldsymbol x x 更长;只有残差消失、两向量共线时,投影才等于全长。
例 1.5.C · 用一个数值例子看见 C–S 证明里的每个对象
在 R 2 \mathbb R^2 R 2 的标准内积下,取 x = ( 2 , 1 ) T \boldsymbol x=(2,1)^{\mathrm T} x = ( 2 , 1 ) T 、y = ( 1 , 0 ) T \boldsymbol y=(1,0)^{\mathrm T} y = ( 1 , 0 ) T 。求证明中选择的 λ \lambda λ 、正交残差 r \boldsymbol r r ,并验证 Cauchy–Schwarz 不等式。再说明怎样修改 x \boldsymbol x x 才会取等号。
解答 · 例 1.5.C
λ = ( x , y ) ( y , y ) = 2 1 = 2 , r = x − λ y = ( 0 , 1 ) T . \lambda=\frac{(\boldsymbol x,\boldsymbol y)}{(\boldsymbol y,\boldsymbol y)}=\frac2{1}=2,\qquad \boldsymbol r=\boldsymbol x-\lambda\boldsymbol y=(0,1)^{\mathrm T}. λ = ( y , y ) ( x , y ) = 1 2 = 2 , r = x − λ y = ( 0 , 1 ) T .
确有 ( r , y ) = 0 (\boldsymbol r,\boldsymbol y)=0 ( r , y ) = 0 。不等式两边分别是
∣ ( x , y ) ∣ = 2 , ∥ x ∥ ∥ y ∥ = 5 , |(\boldsymbol x,\boldsymbol y)|=2,\qquad \|\boldsymbol x\|\,\|\boldsymbol y\|=\sqrt5, ∣ ( x , y ) ∣ = 2 , ∥ x ∥ ∥ y ∥ = 5 ,
所以 2 < 5 2<\sqrt5 2 < 5 。证明中的「余量」也可直接核对:
∥ x ∥ 2 − ∣ ( x , y ) ∣ 2 ∥ y ∥ 2 = 5 − 4 = 1 = ∥ r ∥ 2 . \|\boldsymbol x\|^2-\frac{|(\boldsymbol x,\boldsymbol y)|^2}{\|\boldsymbol y\|^2}=5-4=1=\|\boldsymbol r\|^2. ∥ x ∥ 2 − ∥ y ∥ 2 ∣ ( x , y ) ∣ 2 = 5 − 4 = 1 = ∥ r ∥ 2 .
若把 x \boldsymbol x x 改成 ( 2 , 0 ) T = 2 y (2,0)^{\mathrm T}=2\boldsymbol y ( 2 , 0 ) T = 2 y ,残差变为零,此时两边都等于 2 2 2 ,恰好取等号。这个例子把「严格不等号来自非零正交残差」完整显示出来。
注 2。 定义不同内积,可得到不同的 Cauchy 不等式。对 x = ( x 1 , ⋯ , x n ) T \boldsymbol{x}=(x_1,\cdots,x_n)^{\mathrm T} x = ( x 1 , ⋯ , x n ) T 、y = ( y 1 , ⋯ , y n ) T ∈ R n \boldsymbol{y}=(y_1,\cdots,y_n)^{\mathrm T}\in\mathbb R^n y = ( y 1 , ⋯ , y n ) T ∈ R n ,标准内积给出经典 Cauchy 不等式:
∣ ∑ i = 1 n x i y i ∣ ≤ ( ∑ i = 1 n x i 2 ) 1 / 2 ( ∑ i = 1 n y i 2 ) 1 / 2 ; \Big|\sum_{i=1}^{n}x_i y_i\Big|\leq\Big(\sum_{i=1}^{n}x_i^2\Big)^{1/2}\Big(\sum_{i=1}^{n}y_i^2\Big)^{1/2}; i = 1 ∑ n x i y i ≤ ( i = 1 ∑ n x i 2 ) 1/2 ( i = 1 ∑ n y i 2 ) 1/2 ;
把内积换成 例 1.4.B 的积分内积 ( f , g ) = ∫ 0 1 f ( t ) g ( t ) d t (f,g)=\int_0^1f(t)g(t)\,\mathrm dt ( f , g ) = ∫ 0 1 f ( t ) g ( t ) d t ,同一份证明逐字照抄,就得到 Schwarz 不等式 :
∣ ∫ 0 1 f ( t ) g ( t ) d t ∣ ≤ ( ∫ 0 1 f ( t ) 2 d t ) 1 / 2 ( ∫ 0 1 g ( t ) 2 d t ) 1 / 2 . \Big|\int_0^1f(t)g(t)\,\mathrm dt\Big|\leq\Big(\int_0^1f(t)^2\,\mathrm dt\Big)^{1/2}\Big(\int_0^1g(t)^2\,\mathrm dt\Big)^{1/2}. ∫ 0 1 f ( t ) g ( t ) d t ≤ ( ∫ 0 1 f ( t ) 2 d t ) 1/2 ( ∫ 0 1 g ( t ) 2 d t ) 1/2 .
一个定理、两副面孔——差别只在「内积是什么」。
现在回头补上命题 1.5.1 (4) 欠下的证明。
命题 1.5.1 (4) 的证明(此时 C-S 已就位)
利用 1.5.1 证明 (3) 时展开的 ∥ x + y ∥ 2 = ∥ x ∥ 2 + 2 Re ( x , y ) + ∥ y ∥ 2 \|\boldsymbol{x}+\boldsymbol{y}\|^2=\|\boldsymbol{x}\|^2+2\operatorname{Re}(\boldsymbol{x},\boldsymbol{y})+\|\boldsymbol{y}\|^2 ∥ x + y ∥ 2 = ∥ x ∥ 2 + 2 Re ( x , y ) + ∥ y ∥ 2 ,把实部放缩成模、再用 C-S:
∥ x + y ∥ 2 ≤ ∥ x ∥ 2 + 2 ∣ ( x , y ) ∣ + ∥ y ∥ 2 ≤ ∥ x ∥ 2 + 2 ∥ x ∥ ∥ y ∥ + ∥ y ∥ 2 = ( ∥ x ∥ + ∥ y ∥ ) 2 , \|\boldsymbol{x}+\boldsymbol{y}\|^2 \leq\|\boldsymbol{x}\|^2+2|(\boldsymbol{x},\boldsymbol{y})|+\|\boldsymbol{y}\|^2 \leq\|\boldsymbol{x}\|^2+2\|\boldsymbol{x}\|\,\|\boldsymbol{y}\|+\|\boldsymbol{y}\|^2 =\big(\|\boldsymbol{x}\|+\|\boldsymbol{y}\|\big)^2, ∥ x + y ∥ 2 ≤ ∥ x ∥ 2 + 2∣ ( x , y ) ∣ + ∥ y ∥ 2 ≤ ∥ x ∥ 2 + 2∥ x ∥ ∥ y ∥ + ∥ y ∥ 2 = ( ∥ x ∥ + ∥ y ∥ ) 2 ,
开方即得三角不等式。特别地,链条的第一环 Re ( x , y ) ≤ ∣ ( x , y ) ∣ ≤ ∥ x ∥ ∥ y ∥ \operatorname{Re}(\boldsymbol{x},\boldsymbol{y})\leq|(\boldsymbol{x},\boldsymbol{y})|\leq\|\boldsymbol{x}\|\,\|\boldsymbol{y}\| Re ( x , y ) ≤ ∣ ( x , y ) ∣ ≤ ∥ x ∥ ∥ y ∥ 正是课件与命题并列写出的那条不等式。
∎
勘误 E5 · 课件页 4 的占位框与证明顺序
课件在三角不等式一页只画了平行四边形示意图,证明处留下一个「在此处键入公式。」的空占位框(PowerPoint 模板残留),证明没有给出;且此时证不了 ——三角不等式需要 Re ( x , y ) ≤ ∣ ( x , y ) ∣ ≤ ∥ x ∥ ∥ y ∥ \operatorname{Re}(\boldsymbol{x},\boldsymbol{y})\leq|(\boldsymbol{x},\boldsymbol{y})|\leq\|\boldsymbol{x}\|\,\|\boldsymbol{y}\| Re ( x , y ) ≤ ∣ ( x , y ) ∣ ≤ ∥ x ∥ ∥ y ∥ ,而 Cauchy–Schwarz 不等式在课件下一页才出现,构成循环。本教程的处理:先证 (1)–(3),把 (4) 悬置到 C-S 之后补全(如上)。
夹角的定义不是凭空写下的,它从平面几何的余弦定理倒推 出来。设三角形两边由向量 a = A B → \boldsymbol{a}=\overrightarrow{AB} a = A B 、b = A C → \boldsymbol{b}=\overrightarrow{AC} b = A C 构成,夹角 α \alpha α 在顶点 A A A 处,第三边对应 c = b − a \boldsymbol{c}=\boldsymbol{b}-\boldsymbol{a} c = b − a 。余弦定理说
cos α = ∥ b ∥ 2 + ∥ a ∥ 2 − ∥ c ∥ 2 2 ∥ a ∥ ∥ b ∥ . \cos\alpha=\frac{|\boldsymbol{b}|^2+|\boldsymbol{a}|^2-|\boldsymbol{c}|^2}{2|\boldsymbol{a}|,|\boldsymbol{b}|}. cos α = 2∥ a ∥ ∥ b ∥ ∥ b ∥ 2 + ∥ a ∥ 2 − ∥ c ∥ 2 .
把 c = b − a \boldsymbol{c}=\boldsymbol{b}-\boldsymbol{a} c = b − a 代入分子,用 1.5.1 展开差的平方(实空间中 Re ( a , b ) = ( a , b ) \operatorname{Re}(\boldsymbol{a},\boldsymbol{b})=(\boldsymbol{a},\boldsymbol{b}) Re ( a , b ) = ( a , b ) ):
∥ b ∥ 2 + ∥ a ∥ 2 − ∥ b − a ∥ 2 = 2 ( a , b ) , |\boldsymbol{b}|^2+|\boldsymbol{a}|^2-|\boldsymbol{b}-\boldsymbol{a}|^2=2(\boldsymbol{a},\boldsymbol{b}), ∥ b ∥ 2 + ∥ a ∥ 2 − ∥ b − a ∥ 2 = 2 ( a , b ) ,
分子恰好是内积的两倍。于是余弦定理等价于
cos α = ( a , b ) ∥ a ∥ ∥ b ∥ . \cos\alpha=\frac{(\boldsymbol{a},\boldsymbol{b})}{|\boldsymbol{a}|,|\boldsymbol{b}|}. cos α = ∥ a ∥ ∥ b ∥ ( a , b ) .
既然右边只用到内积与长度,就把它当作定义 搬进任意(实)内积空间:
定义 1.5.2 · 向量夹角 angle
设 V V V 是实 内积空间,∀ x , y ∈ V \forall\boldsymbol{x},\boldsymbol{y}\in V ∀ x , y ∈ V (x , y ≠ θ \boldsymbol{x},\boldsymbol{y}\neq\boldsymbol{\theta} x , y = θ ),定义向量 x \boldsymbol{x} x 和 y \boldsymbol{y} y 的夹角为
α = arccos ( x , y ) ∥ x ∥ ∥ y ∥ ∈ [ 0 , π ] . \alpha=\arccos\frac{(\boldsymbol{x},\boldsymbol{y})}{\|\boldsymbol{x}\|\,\|\boldsymbol{y}\|}\in[0,\pi]. α = arccos ∥ x ∥ ∥ y ∥ ( x , y ) ∈ [ 0 , π ] .
定义的合法性由 C-S 保证:比值落在 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] 内,arccos \arccos arccos 有定义;夹角与「谁先谁后」无关(实空间内积对称)。复空间的情况见下方勘误 E6——复空间里真正有定义的对象是正交,而不是夹角。
注 3。 夹角是内积带来的新概念,它给线性空间补上了一层「图形化」的理解:cos α = 0 \cos\alpha=0 cos α = 0 对应垂直,cos α = ± 1 \cos\alpha=\pm1 cos α = ± 1 对应平行(即线性相关——与 定理 1.5.1 的等号条件一致),介于其间的角度把「方向接近程度」变成了可以计算的数。
勘误 E6 · 课件页 8 的夹角定义未区分实与复
课件把定义 1.5.2 写在一般内积空间上,但复内积空间中 ( x , y ) (\boldsymbol{x},\boldsymbol{y}) ( x , y ) 是复数 ,而 arccos \arccos arccos 只接受 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] 内的实参数,公式无定义。标准处理有两种:① 夹角概念限于实内积空间(本教程采用);② 复空间中把分子换成 Re ( x , y ) \operatorname{Re}(\boldsymbol{x},\boldsymbol{y}) Re ( x , y ) (它仍满足 ∣ Re ( x , y ) ∣ ≤ ∥ x ∥ ∥ y ∥ \big|\operatorname{Re}(\boldsymbol{x},\boldsymbol{y})\big|\leq\|\boldsymbol{x}\|\,\|\boldsymbol{y}\| Re ( x , y ) ≤ ∥ x ∥ ∥ y ∥ )。复空间中真正重要、且定义无歧义的是「正交」:( x , y ) = 0 (\boldsymbol{x},\boldsymbol{y})=0 ( x , y ) = 0 对复数照样有意义,见 1.5.5 。
夹角可算之后,1.4 节引入的度量矩阵就不再只是记账工具。二阶情形最简单,也最能把它的几何含义说清楚:一个行列式,恰好等于一块面积。
例 1.5.1 · R 2 \mathbb R^2 R 2 中度量矩阵行列式的几何含义
R 2 \mathbb R^2 R 2 关于基 x 1 , x 2 \boldsymbol{x}_1,\boldsymbol{x}_2 x 1 , x 2 的度量矩阵为
G ( x 1 , x 2 ) = ( ( x 1 , x 1 ) ( x 1 , x 2 ) ( x 2 , x 1 ) ( x 2 , x 2 ) ) G(\boldsymbol{x}_1,\boldsymbol{x}_2)=\begin{pmatrix}(\boldsymbol{x}_1,\boldsymbol{x}_1)&(\boldsymbol{x}_1,\boldsymbol{x}_2)\\(\boldsymbol{x}_2,\boldsymbol{x}_1)&(\boldsymbol{x}_2,\boldsymbol{x}_2)\end{pmatrix} G ( x 1 , x 2 ) = ( ( x 1 , x 1 ) ( x 2 , x 1 ) ( x 1 , x 2 ) ( x 2 , x 2 ) )
(按 定义 1.4.4 的下标约定 g i j = ( x j , x i ) g_{ij}=(\boldsymbol{x}_j,\boldsymbol{x}_i) g ij = ( x j , x i ) ,实空间中 ( x 2 , x 1 ) = ( x 1 , x 2 ) (\boldsymbol{x}_2,\boldsymbol{x}_1)=(\boldsymbol{x}_1,\boldsymbol{x}_2) ( x 2 , x 1 ) = ( x 1 , x 2 ) )。问:行列式 det G ( x 1 , x 2 ) \det G(\boldsymbol{x}_1,\boldsymbol{x}_2) det G ( x 1 , x 2 ) 的几何含义是什么?
解答 · 例 1.5.1
直接展开(实空间,( x 1 , x 2 ) (\boldsymbol{x}_1,\boldsymbol{x}_2) ( x 1 , x 2 ) 是实数):
det G ( x 1 , x 2 ) = ( x 1 , x 1 ) ( x 2 , x 2 ) − ( x 1 , x 2 ) 2 = ∥ x 1 ∥ 2 ∥ x 2 ∥ 2 − ( ∥ x 1 ∥ ∥ x 2 ∥ cos α ) 2 , \det G(\boldsymbol{x}_1,\boldsymbol{x}_2) =(\boldsymbol{x}_1,\boldsymbol{x}_1)(\boldsymbol{x}_2,\boldsymbol{x}_2)-(\boldsymbol{x}_1,\boldsymbol{x}_2)^2 =\|\boldsymbol{x}_1\|^2\|\boldsymbol{x}_2\|^2-\big(\|\boldsymbol{x}_1\|\,\|\boldsymbol{x}_2\|\cos\alpha\big)^2, det G ( x 1 , x 2 ) = ( x 1 , x 1 ) ( x 2 , x 2 ) − ( x 1 , x 2 ) 2 = ∥ x 1 ∥ 2 ∥ x 2 ∥ 2 − ( ∥ x 1 ∥ ∥ x 2 ∥ cos α ) 2 ,
其中 α \alpha α 是 x 1 \boldsymbol{x}_1 x 1 与 x 2 \boldsymbol{x}_2 x 2 的夹角(定义 1.5.2)。于是
det G ( x 1 , x 2 ) = ∥ x 1 ∥ 2 ∥ x 2 ∥ 2 ( 1 − cos 2 α ) = ∥ x 1 ∥ 2 ∥ x 2 ∥ 2 sin 2 α . \det G(\boldsymbol{x}_1,\boldsymbol{x}_2)=\|\boldsymbol{x}_1\|^2\|\boldsymbol{x}_2\|^2\big(1-\cos^2\alpha\big)=\|\boldsymbol{x}_1\|^2\|\boldsymbol{x}_2\|^2\sin^2\alpha. det G ( x 1 , x 2 ) = ∥ x 1 ∥ 2 ∥ x 2 ∥ 2 ( 1 − cos 2 α ) = ∥ x 1 ∥ 2 ∥ x 2 ∥ 2 sin 2 α .
而「∥ x 1 ∥ ∥ x 2 ∥ sin α \|\boldsymbol{x}_1\|\,\|\boldsymbol{x}_2\|\sin\alpha ∥ x 1 ∥ ∥ x 2 ∥ sin α 」正是以 x 1 , x 2 \boldsymbol{x}_1,\boldsymbol{x}_2 x 1 , x 2 为邻边的平行四边形的面积。所以:
det G ( x 1 , x 2 ) \det G(\boldsymbol{x}_1,\boldsymbol{x}_2) det G ( x 1 , x 2 ) 恰是以 x 1 \boldsymbol{x}_1 x 1 与 x 2 \boldsymbol{x}_2 x 2 为邻边的平行四边形面积的平方。
Gram 行列式 = 平行四边形面积的平方
两个基向量张成的平行四边形,其面积等于两个向量长度之积乘以夹角的正弦;面积的平方恰是 Gram 矩阵的行列式。
α
x₁
x₂
面积 = ‖x₁‖‖x₂‖ sin α
det G = 面积²
基「张开」的程度被 Gram 行列式精确记录:det G = 0 \det G=0 det G = 0 ⟺ 面积为零 ⟺ x 1 , x 2 \boldsymbol{x}_1,\boldsymbol{x}_2 x 1 , x 2 线性相关 ⟺ G G G 奇异。
这个几何解释与 1.4 的代数结论严丝合缝:x 1 , x 2 \boldsymbol{x}_1,\boldsymbol{x}_2 x 1 , x 2 是基(线性无关)⟺ \Longleftrightarrow ⟺ G G G 正定 ⟺ \Longleftrightarrow ⟺ det G > 0 \det G\gt0 det G > 0 (面积非零)。几何(面积)与代数(正定性)在此对齐。
复空间中的推广。 课件中该例限定在 R 2 \mathbb R^2 R 2 (实空间),上式成立。若要把结论搬到复内积空间,只需把平方换成模平方(因为此时 ( x 1 , x 2 ) (\boldsymbol{x}_1,\boldsymbol{x}_2) ( x 1 , x 2 ) 是复数,而 ( x 2 , x 1 ) = ( x 1 , x 2 ) ‾ (\boldsymbol{x}_2,\boldsymbol{x}_1)=\overline{(\boldsymbol{x}_1,\boldsymbol{x}_2)} ( x 2 , x 1 ) = ( x 1 , x 2 ) ):
det G ( x 1 , x 2 ) = ∥ x 1 ∥ 2 ∥ x 2 ∥ 2 − ∣ ( x 1 , x 2 ) ∣ 2 = ∥ x 1 ∥ 2 ∥ x 2 ∥ 2 ( 1 − ∣ ( x 1 , x 2 ) ∣ 2 ∥ x 1 ∥ 2 ∥ x 2 ∥ 2 ) ≥ 0 , \det G(\boldsymbol{x}_1,\boldsymbol{x}_2)=\|\boldsymbol{x}_1\|^2\|\boldsymbol{x}_2\|^2-\big|(\boldsymbol{x}_1,\boldsymbol{x}_2)\big|^2=\|\boldsymbol{x}_1\|^2\|\boldsymbol{x}_2\|^2\left(1-\frac{\big|(\boldsymbol{x}_1,\boldsymbol{x}_2)\big|^2}{\|\boldsymbol{x}_1\|^2\|\boldsymbol{x}_2\|^2}\right)\geq0, det G ( x 1 , x 2 ) = ∥ x 1 ∥ 2 ∥ x 2 ∥ 2 − ( x 1 , x 2 ) 2 = ∥ x 1 ∥ 2 ∥ x 2 ∥ 2 ( 1 − ∥ x 1 ∥ 2 ∥ x 2 ∥ 2 ( x 1 , x 2 ) 2 ) ≥ 0 ,
非负性正是 C-S。这里刻意保留了比值、没有写成 cos α \cos\alpha cos α :复空间中夹角 α \alpha α 本身没有定义(见 定义 1.5.2 与勘误 E6),只有这个比值有意义;实空间中该比值就是 cos 2 α \cos^2\alpha cos 2 α ,于是与课件的写法一致。
推广 · 高维的「体积」
R n \mathbb R^n R n 中 n n n 个向量 x 1 , ⋯ , x n \boldsymbol{x}_1,\cdots,\boldsymbol{x}_n x 1 , ⋯ , x n 拼成的平行多面体,其体积的平方同样等于 det G ( x 1 , ⋯ , x n ) \det G(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_n) det G ( x 1 , ⋯ , x n ) (完整归纳证明见附录 A.2 ,那里还顺带得到著名的 Hadamard 不等式)。于是「G G G 正定 ⟺ 基」的几何读法在高维依然成立:基就是张满体积的向量组 。这个观点在数值分析中化身为「矩阵体积」与最小二乘的法方程条件数,此处只埋个伏笔。
夹角里有一个取值值得单独定义——π 2 \tfrac{\pi}{2} 2 π ,此时内积恰好为零。抓住「内积为零」这个条件,就可以脱离夹角公式本身来定义垂直:
定义 1.5.3 · 正交与正交向量组 orthogonal
设 V V V 是内积空间。对 V V V 中向量 x \boldsymbol{x} x 和 y \boldsymbol{y} y ,若 ( x , y ) = 0 (\boldsymbol{x},\boldsymbol{y})=0 ( x , y ) = 0 ,则称 x \boldsymbol{x} x 与 y \boldsymbol{y} y 正交 (或垂直 ),记为 x ⊥ y \boldsymbol{x}\perp\boldsymbol{y} x ⊥ y 。若一组非零 向量两两正交,则称为正交向量组 。单位向量构成的正交向量组称为标准正交向量组 。
注 4。 零向量 θ \boldsymbol{\theta} θ 与任何向量均正交(( θ , y ) = 0 (\boldsymbol{\theta},\boldsymbol{y})=0 ( θ , y ) = 0 ,见 例 1.4.1 );正因如此,「正交向量组」的定义里必须写明非零 ,否则零向量混进来会破坏下面定理 1.5.2 的价值。( x , y ) = 0 (\boldsymbol{x},\boldsymbol{y})=0 ( x , y ) = 0 这条判据在复空间中同样合法——共轭对称性保证 ( x , y ) = 0 ⟺ ( y , x ) = 0 (\boldsymbol{x},\boldsymbol{y})=0\Longleftrightarrow(\boldsymbol{y},\boldsymbol{x})=0 ( x , y ) = 0 ⟺ ( y , x ) = 0 ,正交关系是对称的。
注 5 · 勾股定理。 (实内积空间中)x \boldsymbol{x} x 与 y \boldsymbol{y} y 正交当且仅当
∥ x + y ∥ 2 = ∥ x ∥ 2 + ∥ y ∥ 2 , \|\boldsymbol{x}+\boldsymbol{y}\|^2=\|\boldsymbol{x}\|^2+\|\boldsymbol{y}\|^2, ∥ x + y ∥ 2 = ∥ x ∥ 2 + ∥ y ∥ 2 ,
该结果可推广至任意有限多个两两正交的向量:∥ x 1 + ⋯ + x s ∥ 2 = ∥ x 1 ∥ 2 + ⋯ + ∥ x s ∥ 2 \|\boldsymbol{x}_1+\cdots+\boldsymbol{x}_s\|^2=\|\boldsymbol{x}_1\|^2+\cdots+\|\boldsymbol{x}_s\|^2 ∥ x 1 + ⋯ + x s ∥ 2 = ∥ x 1 ∥ 2 + ⋯ + ∥ x s ∥ 2 。
证: 由 1.5.1 的展开式 ∥ x + y ∥ 2 = ∥ x ∥ 2 + 2 Re ( x , y ) + ∥ y ∥ 2 \|\boldsymbol{x}+\boldsymbol{y}\|^2=\|\boldsymbol{x}\|^2+2\operatorname{Re}(\boldsymbol{x},\boldsymbol{y})+\|\boldsymbol{y}\|^2 ∥ x + y ∥ 2 = ∥ x ∥ 2 + 2 Re ( x , y ) + ∥ y ∥ 2 ,实空间中 ( x , y ) = 0 (\boldsymbol{x},\boldsymbol{y})=0 ( x , y ) = 0 就是 Re ( x , y ) = 0 \operatorname{Re}(\boldsymbol{x},\boldsymbol{y})=0 Re ( x , y ) = 0 ,反之亦然。多向量情形对展开式逐项观察:两两正交使全部交叉项消失。
勘误 E7 · 课件页 11 注 5 的「当且仅当」在复空间不成立
复内积空间中,正交(( x , y ) = 0 (\boldsymbol{x},\boldsymbol{y})=0 ( x , y ) = 0 )仍推出 勾股等式,但反过来不行:勾股等式只约束 Re ( x , y ) = 0 \operatorname{Re}(\boldsymbol{x},\boldsymbol{y})=0 Re ( x , y ) = 0 ,虚部可以非零。反例:V = C 1 V=\mathbb C^1 V = C 1 ,x = 1 x=1 x = 1 ,y = i y=i y = i ,则 ∥ x + y ∥ 2 = ∣ 1 + i ∣ 2 = 2 = ∥ x ∥ 2 + ∥ y ∥ 2 \|x+y\|^2=|1+i|^2=2=\|x\|^2+\|y\|^2 ∥ x + y ∥ 2 = ∣1 + i ∣ 2 = 2 = ∥ x ∥ 2 + ∥ y ∥ 2 ,但 ( x , y ) = i ‾ ⋅ 1 = − i ≠ 0 (x,y)=\overline{i}\cdot1=-i\neq0 ( x , y ) = i ⋅ 1 = − i = 0 。故「当且仅当」需限定在实内积空间(或把条件加强为 Re \operatorname{Re} Re 与 Im \operatorname{Im} Im 同时为零,那恰好就是 ( x , y ) = 0 (\boldsymbol{x},\boldsymbol{y})=0 ( x , y ) = 0 )。
勘误 E8 · 课件 1.5 的注编号重复
课件 1.5 的注依次编为:页 2「注 1」、页 5「注 2」、页 8「注 3」、页 11「注 4」「注 5」、页 18 又出现一个「注 4」(内容与前面无关,讲标准正交基与单位度量矩阵),且没有注 6 。本教程按出现顺序重排为注 1–6,正文相应处已注明(见 1.5.7 )。
定理 1.5.2 · 正交向量组线性无关
设 x 1 , x 2 , ⋯ , x s \boldsymbol{x}_1,\boldsymbol{x}_2,\cdots,\boldsymbol{x}_s x 1 , x 2 , ⋯ , x s (s ≥ 1 s\geq1 s ≥ 1 )是内积空间 V V V 的正交向量组,则它们线性无关。
证明 · 定理 1.5.2
考查方程
k 1 x 1 + k 2 x 2 + ⋯ + k s x s = θ . k_1\boldsymbol{x}_1+k_2\boldsymbol{x}_2+\cdots+k_s\boldsymbol{x}_s=\boldsymbol{\theta}. k 1 x 1 + k 2 x 2 + ⋯ + k s x s = θ .
用 x i \boldsymbol{x}_i x i (i = 1 , 2 , ⋯ , s i=1,2,\cdots,s i = 1 , 2 , ⋯ , s )与上式两端作内积。右端 ( θ , x i ) = 0 (\boldsymbol{\theta},\boldsymbol{x}_i)=0 ( θ , x i ) = 0 ;左端由第一变元线性逐项展开:
( k 1 x 1 + ⋯ + k s x s , x i ) = ∑ j = 1 s k j ( x j , x i ) = k i ( x i , x i ) , \big(k_1\boldsymbol{x}_1+\cdots+k_s\boldsymbol{x}_s,\ \boldsymbol{x}_i\big) =\sum_{j=1}^{s}k_j(\boldsymbol{x}_j,\boldsymbol{x}_i) =k_i(\boldsymbol{x}_i,\boldsymbol{x}_i), ( k 1 x 1 + ⋯ + k s x s , x i ) = j = 1 ∑ s k j ( x j , x i ) = k i ( x i , x i ) ,
最后一步用了两两正交:j ≠ i j\neq i j = i 时 ( x j , x i ) = 0 (\boldsymbol{x}_j,\boldsymbol{x}_i)=0 ( x j , x i ) = 0 。于是
k i ( x i , x i ) = 0. k_i(\boldsymbol{x}_i,\boldsymbol{x}_i)=0. k i ( x i , x i ) = 0.
由正交向量组的定义 x i ≠ θ \boldsymbol{x}_i\neq\boldsymbol{\theta} x i = θ ,故 ( x i , x i ) = ∥ x i ∥ 2 > 0 (\boldsymbol{x}_i,\boldsymbol{x}_i)=\|\boldsymbol{x}_i\|^2\gt0 ( x i , x i ) = ∥ x i ∥ 2 > 0 ,迫使 k i = 0 k_i=0 k i = 0 。i i i 任意,故线性无关。
∎
推论 1.5.1 · 正交组规模的上界
在 n n n 维内积空间中,正交向量组中的向量不会超过 n n n 个。
证明 · 推论 1.5.1
正交向量组线性无关(定理 1.5.2 ),而 n n n 维空间中无关组至多含 n n n 个向量(1.3.6 计数引理)。
∎
思考 · 上界能达到吗?
在 n n n 维内积空间 V V V 中,能否一定 找到包含 n n n 个向量的正交向量组(从而凑成正交基)?——能。任取一组基,用下一小节的 Gram–Schmidt 正交化即可。直观上:n n n 维空间里有 n n n 个互相独立的方向,就容得下 n n n 根互相垂直的「轴」。
上一小节的思考题已给出答案:任取一组基,执行 Gram–Schmidt 正交化。下面把它展开成可逐步执行的公式——逐个减掉新向量里属于已有方向的成分,剩下的部分自动与前面全部正交。
Gram–Schmidt 正交化
设 x 1 , ⋯ , x n \boldsymbol{x}_1,\cdots,\boldsymbol{x}_n x 1 , ⋯ , x n 是 V V V 的一组基,y 1 , ⋯ , y n \boldsymbol{y}_1,\cdots,\boldsymbol{y}_n y 1 , ⋯ , y n 是待定的正交向量组。构造:
y 1 = x 1 , y k = x k − ∑ i = 1 k − 1 ( x k , y i ) ( y i , y i ) y i , k = 2 , ⋯ , n . \boldsymbol{y}_1=\boldsymbol{x}_1,\qquad \boldsymbol{y}_k=\boldsymbol{x}_k-\sum_{i=1}^{k-1}\frac{(\boldsymbol{x}_k,\boldsymbol{y}_i)}{(\boldsymbol{y}_i,\boldsymbol{y}_i)}\,\boldsymbol{y}_i,\qquad k=2,\cdots,n. y 1 = x 1 , y k = x k − i = 1 ∑ k − 1 ( y i , y i ) ( x k , y i ) y i , k = 2 , ⋯ , n .
读法: 从 x k \boldsymbol{x}_k x k 里逐个减掉它在已有正交方向 y 1 , ⋯ , y k − 1 \boldsymbol{y}_1,\cdots,\boldsymbol{y}_{k-1} y 1 , ⋯ , y k − 1 上的「成分」( x k , y i ) ( y i , y i ) y i \dfrac{(\boldsymbol{x}_k,\boldsymbol{y}_i)}{(\boldsymbol{y}_i,\boldsymbol{y}_i)}\boldsymbol{y}_i ( y i , y i ) ( x k , y i ) y i ——这正是 定理 1.5.1 证明中「减成分、留垂直残差」的动作重复 k − 1 k-1 k − 1 次。
验证(正交性 · 张成不变 · 非零性)
正交性。 对 k > j k\gt j k > j ,用 y j \boldsymbol{y}_j y j 与 y k \boldsymbol{y}_k y k 的构造式作内积(第一变元线性):
( y k , y j ) = ( x k , y j ) − ∑ i = 1 k − 1 ( x k , y i ) ( y i , y i ) ( y i , y j ) = ( x k , y j ) − ( x k , y j ) ( y j , y j ) ( y j , y j ) = 0 , (\boldsymbol{y}_k,\boldsymbol{y}_j)=(\boldsymbol{x}_k,\boldsymbol{y}_j)-\sum_{i=1}^{k-1}\frac{(\boldsymbol{x}_k,\boldsymbol{y}_i)}{(\boldsymbol{y}_i,\boldsymbol{y}_i)}(\boldsymbol{y}_i,\boldsymbol{y}_j)=(\boldsymbol{x}_k,\boldsymbol{y}_j)-\frac{(\boldsymbol{x}_k,\boldsymbol{y}_j)}{(\boldsymbol{y}_j,\boldsymbol{y}_j)}(\boldsymbol{y}_j,\boldsymbol{y}_j)=0, ( y k , y j ) = ( x k , y j ) − i = 1 ∑ k − 1 ( y i , y i ) ( x k , y i ) ( y i , y j ) = ( x k , y j ) − ( y j , y j ) ( x k , y j ) ( y j , y j ) = 0 ,
中间一步用了已归纳建立的两两正交(i ≠ j i\neq j i = j 的项全为零)。
张成不变。 y k \boldsymbol{y}_k y k 是 x 1 , ⋯ , x k \boldsymbol{x}_1,\cdots,\boldsymbol{x}_k x 1 , ⋯ , x k 的线性组合;反过来构造式可改写为 x k = y k + ∑ i ( x k , y i ) ( y i , y i ) y i \boldsymbol{x}_k=\boldsymbol{y}_k+\sum_i\frac{(\boldsymbol{x}_k,\boldsymbol{y}_i)}{(\boldsymbol{y}_i,\boldsymbol{y}_i)}\boldsymbol{y}_i x k = y k + ∑ i ( y i , y i ) ( x k , y i ) y i 。故对每个 k k k 都有 span ( y 1 , ⋯ , y k ) = span ( x 1 , ⋯ , x k ) \operatorname{span}(\boldsymbol{y}_1,\cdots,\boldsymbol{y}_k)=\operatorname{span}(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_k) span ( y 1 , ⋯ , y k ) = span ( x 1 , ⋯ , x k ) 。
非零性。 若 y k = θ \boldsymbol{y}_k=\boldsymbol{\theta} y k = θ ,则 x k ∈ span ( x 1 , ⋯ , x k − 1 ) \boldsymbol{x}_k\in\operatorname{span}(\boldsymbol{x}_1,\cdots,\boldsymbol{x}_{k-1}) x k ∈ span ( x 1 , ⋯ , x k − 1 ) (由张成不变),与 x 1 , ⋯ , x n \boldsymbol{x}_1,\cdots,\boldsymbol{x}_n x 1 , ⋯ , x n 是基矛盾。
三者合起来:y 1 , ⋯ , y n \boldsymbol{y}_1,\cdots,\boldsymbol{y}_n y 1 , ⋯ , y n 是含 n n n 个向量的正交向量组——回答了课件的思考题。再逐个单位化 q k = y k / ∥ y k ∥ \boldsymbol{q}_k=\boldsymbol{y}_k/\|\boldsymbol{y}_k\| q k = y k /∥ y k ∥ ,即得标准正交向量组 。
∎
Gram–Schmidt 的每一步:减掉成分,留下垂直残差
向量 x2 减去它在 y1 方向上的投影成分,得到与 y1 垂直的 y2。
y₁ = x₁
x₂
成分(沿 y₁,虚线)
y₂ ⊥ y₁
减掉在已有正交方向上的
全部成分,剩下的必垂直
「减成分、留垂直残差」重复 n − 1 n-1 n − 1 轮,就把任意基变成正交基;单位化后得标准正交基。
例 1.5.B · 对一组基执行 Gram–Schmidt
(1) 基取自 例 1.4.D :x 1 = ( 1 , 0 ) T \boldsymbol{x}_1=(1,0)^{\mathrm T} x 1 = ( 1 , 0 ) T ,x 2 = ( 1 , 1 ) T \boldsymbol{x}_2=(1,1)^{\mathrm T} x 2 = ( 1 , 1 ) T (R 2 \mathbb R^2 R 2 标准内积);(2) x 1 = ( 1 , 1 , 0 ) T \boldsymbol{x}_1=(1,1,0)^{\mathrm T} x 1 = ( 1 , 1 , 0 ) T ,x 2 = ( 1 , 0 , 1 ) T \boldsymbol{x}_2=(1,0,1)^{\mathrm T} x 2 = ( 1 , 0 , 1 ) T ,x 3 = ( 0 , 1 , 1 ) T \boldsymbol{x}_3=(0,1,1)^{\mathrm T} x 3 = ( 0 , 1 , 1 ) T (R 3 \mathbb R^3 R 3 标准内积)。分别正交化并单位化。
解答 · 例 1.5.B
(1) y 1 = ( 1 , 0 ) T \boldsymbol{y}_1=(1,0)^{\mathrm T} y 1 = ( 1 , 0 ) T ;
y 2 = x 2 − ( x 2 , y 1 ) ( y 1 , y 1 ) y 1 = ( 1 , 1 ) T − 1 1 ( 1 , 0 ) T = ( 0 , 1 ) T . \boldsymbol{y}_2=\boldsymbol{x}_2-\frac{(\boldsymbol{x}_2,\boldsymbol{y}_1)}{(\boldsymbol{y}_1,\boldsymbol{y}_1)}\boldsymbol{y}_1=(1,1)^{\mathrm T}-\frac{1}{1}(1,0)^{\mathrm T}=(0,1)^{\mathrm T}. y 2 = x 2 − ( y 1 , y 1 ) ( x 2 , y 1 ) y 1 = ( 1 , 1 ) T − 1 1 ( 1 , 0 ) T = ( 0 , 1 ) T .
单位化:q 1 = ( 1 , 0 ) T \boldsymbol{q}_1=(1,0)^{\mathrm T} q 1 = ( 1 , 0 ) T ,q 2 = ( 0 , 1 ) T \boldsymbol{q}_2=(0,1)^{\mathrm T} q 2 = ( 0 , 1 ) T ——斜基化为标准正交基。用 q 1 , q 2 \boldsymbol{q}_1,\boldsymbol{q}_2 q 1 , q 2 算内积当然比用原来的斜基(G = ( 1 1 1 2 ) G=\begin{pmatrix}1&1\\1&2\end{pmatrix} G = ( 1 1 1 2 ) )省事,这正是标准正交基的价值。
(2) y 1 = ( 1 , 1 , 0 ) T \boldsymbol{y}_1=(1,1,0)^{\mathrm T} y 1 = ( 1 , 1 , 0 ) T ,( y 1 , y 1 ) = 2 (\boldsymbol{y}_1,\boldsymbol{y}_1)=2 ( y 1 , y 1 ) = 2 ;
y 2 = x 2 − ( x 2 , y 1 ) 2 y 1 = ( 1 , 0 , 1 ) T − 1 2 ( 1 , 1 , 0 ) T = ( 1 2 , − 1 2 , 1 ) T , ( y 2 , y 2 ) = 3 2 ; \boldsymbol{y}_2=\boldsymbol{x}_2-\frac{(\boldsymbol{x}_2,\boldsymbol{y}_1)}{2}\boldsymbol{y}_1=(1,0,1)^{\mathrm T}-\tfrac12(1,1,0)^{\mathrm T}=\big(\tfrac12,-\tfrac12,1\big)^{\mathrm T},\qquad(\boldsymbol{y}_2,\boldsymbol{y}_2)=\tfrac32; y 2 = x 2 − 2 ( x 2 , y 1 ) y 1 = ( 1 , 0 , 1 ) T − 2 1 ( 1 , 1 , 0 ) T = ( 2 1 , − 2 1 , 1 ) T , ( y 2 , y 2 ) = 2 3 ;
y 3 = x 3 − ( x 3 , y 1 ) 2 y 1 − ( x 3 , y 2 ) 3 / 2 y 2 = ( 0 , 1 , 1 ) T − 1 2 ( 1 , 1 , 0 ) T − 1 3 ( 1 2 , − 1 2 , 1 ) T = ( − 2 3 , 2 3 , 2 3 ) T . \boldsymbol{y}_3=\boldsymbol{x}_3-\frac{(\boldsymbol{x}_3,\boldsymbol{y}_1)}{2}\boldsymbol{y}_1-\frac{(\boldsymbol{x}_3,\boldsymbol{y}_2)}{3/2}\boldsymbol{y}_2=(0,1,1)^{\mathrm T}-\tfrac12(1,1,0)^{\mathrm T}-\tfrac13\big(\tfrac12,-\tfrac12,1\big)^{\mathrm T}=\big(-\tfrac23,\tfrac23,\tfrac23\big)^{\mathrm T}. y 3 = x 3 − 2 ( x 3 , y 1 ) y 1 − 3/2 ( x 3 , y 2 ) y 2 = ( 0 , 1 , 1 ) T − 2 1 ( 1 , 1 , 0 ) T − 3 1 ( 2 1 , − 2 1 , 1 ) T = ( − 3 2 , 3 2 , 3 2 ) T .
核算:( y 1 , y 2 ) = 1 2 − 1 2 + 0 = 0 (\boldsymbol{y}_1,\boldsymbol{y}_2)=\tfrac12-\tfrac12+0=0 ( y 1 , y 2 ) = 2 1 − 2 1 + 0 = 0 ✓,( y 1 , y 3 ) = − 2 3 + 2 3 = 0 (\boldsymbol{y}_1,\boldsymbol{y}_3)=-\tfrac23+\tfrac23=0 ( y 1 , y 3 ) = − 3 2 + 3 2 = 0 ✓,( y 2 , y 3 ) = − 1 3 − 1 3 + 2 3 = 0 (\boldsymbol{y}_2,\boldsymbol{y}_3)=-\tfrac13-\tfrac13+\tfrac23=0 ( y 2 , y 3 ) = − 3 1 − 3 1 + 3 2 = 0 ✓。单位化(∥ y 1 ∥ = 2 \|\boldsymbol{y}_1\|=\sqrt2 ∥ y 1 ∥ = 2 ,∥ y 2 ∥ = 3 / 2 \|\boldsymbol{y}_2\|=\sqrt{3/2} ∥ y 2 ∥ = 3/2 ,∥ y 3 ∥ = 2 3 \|\boldsymbol{y}_3\|=\tfrac{2}{\sqrt3} ∥ y 3 ∥ = 3 2 ):
q 1 = 1 2 ( 1 , 1 , 0 ) T , q 2 = 1 6 ( 1 , − 1 , 2 ) T , q 3 = 1 3 ( − 1 , 1 , 1 ) T . \boldsymbol{q}_1=\tfrac{1}{\sqrt2}(1,1,0)^{\mathrm T},\qquad \boldsymbol{q}_2=\tfrac{1}{\sqrt6}(1,-1,2)^{\mathrm T},\qquad \boldsymbol{q}_3=\tfrac{1}{\sqrt3}(-1,1,1)^{\mathrm T}. q 1 = 2 1 ( 1 , 1 , 0 ) T , q 2 = 6 1 ( 1 , − 1 , 2 ) T , q 3 = 3 1 ( − 1 , 1 , 1 ) T .
(y 2 \boldsymbol{y}_2 y 2 乘以 2 2 2 、y 3 \boldsymbol{y}_3 y 3 乘以 3 2 \tfrac32 2 3 只改变长度不改变方向,正交性不受影响——用整数形式验证更方便。)
正交组的规模有上界(推论 1.5.1)。达到这个上界的正交组最有用:它恰好能像普通基那样给向量安上坐标,内积的计算也随之简化。这类正交组值得单独命名。
定义 1.5.4 · 正交基与标准正交基
在 n n n 维内积空间中,由 n n n 个向量组成的正交向量组称为正交基 。由单位向量组成的正交基称为标准正交基 。
定义的合理性由 定理 1.5.2 保证:n n n 个两两正交的非零向量自动线性无关,从而自动是基。标准正交基 q 1 , ⋯ , q n \boldsymbol{q}_1,\cdots,\boldsymbol{q}_n q 1 , ⋯ , q n 满足
( q i , q j ) = δ i j = { 1 , i = j , 0 , i ≠ j , (\boldsymbol{q}_i,\boldsymbol{q}_j)=\delta_{ij}=\begin{cases}1,&i=j,\0,&i\neq j,\end{cases} ( q i , q j ) = δ ij = { 1 , 0 , i = j , i = j ,
其中 δ i j \delta_{ij} δ ij 是 Kronecker 记号。
注 6。 设 q 1 , ⋯ , q n \boldsymbol{q}_1,\cdots,\boldsymbol{q}_n q 1 , ⋯ , q n 是 V V V 的一组基 ,则它是标准正交基,当且仅当 V V V 关于它的度量矩阵为单位矩阵:G ( q 1 , ⋯ , q n ) = I n G(\boldsymbol{q}_1,\cdots,\boldsymbol{q}_n)=I_n G ( q 1 , ⋯ , q n ) = I n 。在标准正交基下,内积的运算变得更加简单(见例 1.5.3)。(前提不可省 :度量矩阵按 定义 1.4.4 只对基 定义,所以「G = I G=I G = I 」这句话本身已经假定了 q \boldsymbol{q} q 组是基;若把 G G G 推广到任意向量组,dim V > n \dim V>n dim V > n 时 G = I G=I G = I 不再蕴含「是基」。课件的注编号有重复,本教程按出现顺序重排,详见勘误 E8。)
例 1.5.2 · 光滑函数空间与三角函数系:正交不等于代数基
考查定义在 [ − π , π ] [-\pi,\pi] [ − π , π ] 的光滑函数空间 S S S ,定义内积为 ∀ f ( t ) , g ( t ) ∈ S \forall f(t),g(t)\in S ∀ f ( t ) , g ( t ) ∈ S ,
( f , g ) = ∫ − π π f ( t ) g ( t ) d t . (f,g)=\int_{-\pi}^{\pi}f(t)g(t)\,\mathrm dt. ( f , g ) = ∫ − π π f ( t ) g ( t ) d t .
证明三角函数组 1 , cos t , sin t , ⋯ , cos k t , sin k t , ⋯ 1,\ \cos t,\ \sin t,\ \cdots,\ \cos kt,\ \sin kt,\ \cdots 1 , cos t , sin t , ⋯ , cos k t , sin k t , ⋯ 是正交向量组,并辨析课件把它称为线性空间 S S S 的「正交基」时省略了什么前提。
解答 · 例 1.5.2
内积合法性(对称、线性、正定)与 例 1.4.B 完全同理。逐类验证正交性——被积函数的奇偶性与积化和差使积分直接为零:
与常数 1 1 1 正交:k ≥ 1 k\geq1 k ≥ 1 时 ∫ − π π cos k t d t = ∫ − π π sin k t d t = 0 \displaystyle\int_{-\pi}^{\pi}\cos kt\,\mathrm dt=\int_{-\pi}^{\pi}\sin kt\,\mathrm dt=0 ∫ − π π cos k t d t = ∫ − π π sin k t d t = 0 (整周期积分;sin k t \sin kt sin k t 还是奇函数);
sin \sin sin 与 cos \cos cos 交叉:∫ − π π sin m t cos n t d t = 0 \displaystyle\int_{-\pi}^{\pi}\sin mt\cos nt\,\mathrm dt=0 ∫ − π π sin m t cos n t d t = 0 (对任意 m , n m,n m , n :被积函数是奇函数,对称区间积分自动为零);
同类不同频(m ≠ n m\neq n m = n ):积化和差把 cos m t cos n t \cos mt\cos nt cos m t cos n t 、sin m t sin n t \sin mt\sin nt sin m t sin n t 化为 1 2 [ cos ( m − n ) t ± cos ( m + n ) t ] \tfrac12\big[\cos(m-n)t\pm\cos(m+n)t\big] 2 1 [ cos ( m − n ) t ± cos ( m + n ) t ] ,而 ∫ − π π cos l t d t = 0 \int_{-\pi}^{\pi}\cos lt\,\mathrm dt=0 ∫ − π π cos lt d t = 0 (l ≠ 0 l\neq0 l = 0 整数),故两个积分都为零。
各向量的长度平方为:( 1 , 1 ) = 2 π (1,1)=2\pi ( 1 , 1 ) = 2 π ,( cos k t , cos k t ) = ( sin k t , sin k t ) = π (\cos kt,\cos kt)=(\sin kt,\sin kt)=\pi ( cos k t , cos k t ) = ( sin k t , sin k t ) = π 。于是三角函数系两两正交、每个函数都非零,确实构成一个正交向量组 。
但按本章定义 1.3.3 的代数定义,「基」要求每个向量都能写成基向量的有限 线性组合。三角函数系的有限线性组合只是三角多项式,不能覆盖所有光滑函数;因此它不是光滑函数空间 S S S 的 Hamel 基。傅里叶分析中常说的「正交基」,实际指在 L 2 [ − π , π ] L^2[-\pi,\pi] L 2 [ − π , π ] 的范数与收敛意义下的完备正交系 :允许用无穷级数逼近或表示函数。这需要先给空间规定范数、极限和完备性,已经超出本章的纯代数框架。
这一段可以稍后再读
上面这段辨析用到了「范数、极限、完备性、L 2 L^2 L 2 」等后续课程的概念。它不属于本章的考核范围 ——现在只需记住结论:「代数基(有限组合)」与「完备正交系(无穷级数)」是两件事,课件把它们混用了(勘误 E10)。等学过函数分析或傅里叶分析后回来重读,这一段会变得完全透明。
在满足相应收敛条件时,光滑函数 f ( t ) f(t) f ( t ) 的傅里叶级数写成
f ( t ) = a 0 2 + ∑ n = 1 ∞ ( a n cos n t + b n sin n t ) (傅里叶三角级数) , f(t)=\frac{a_0}{2}+\sum_{n=1}^{\infty}\big(a_n\cos nt+b_n\sin nt\big)\qquad\text{(傅里叶三角级数)}, f ( t ) = 2 a 0 + n = 1 ∑ ∞ ( a n cos n t + b n sin n t ) (傅里叶三角级数) ,
各系数由「与对应的正交函数作内积、再除以该函数自身的长度平方」得到。这与有限维正交基求坐标的公式同构,但无穷级数还多了一道必须单独处理的收敛问题 。
勘误 E10 · 「正交向量组」不能直接升级为「光滑函数空间的基」
课件把上述三角函数系称为光滑函数空间 S S S 的正交基。按本章的 Hamel 基定义,这不成立:有限线性组合只能得到三角多项式。若要使用傅里叶分析中的「正交基」说法,应把空间与拓扑语境改为 L 2 [ − π , π ] L^2[-\pi,\pi] L 2 [ − π , π ] ,并说明这里的「基」是完备正交系,展开按 L 2 L^2 L 2 范数收敛。正文已将「代数基」和「完备正交系」分开陈述。
课程预告 · 傅里叶系数
用 cos n t \cos nt cos n t 、sin n t \sin nt sin n t 与展开式两边作内积,正交性使无穷多项里只剩一项,立刻得到
a n = ( f , cos n t ) π = 1 π ∫ − π π f ( t ) cos n t d t , b n = ( f , sin n t ) π = 1 π ∫ − π π f ( t ) sin n t d t , a 0 = ( f , 1 ) π . a_n=\frac{(f,\cos nt)}{\pi}=\frac{1}{\pi}\int_{-\pi}^{\pi}f(t)\cos nt\,\mathrm dt,\qquad b_n=\frac{(f,\sin nt)}{\pi}=\frac{1}{\pi}\int_{-\pi}^{\pi}f(t)\sin nt\,\mathrm dt,\qquad a_0=\frac{(f,1)}{\pi}. a n = π ( f , cos n t ) = π 1 ∫ − π π f ( t ) cos n t d t , b n = π ( f , sin n t ) = π 1 ∫ − π π f ( t ) sin n t d t , a 0 = π ( f , 1 ) .
「正交系 + 内积 = 广义坐标」这套机制从 R n \mathbb R^n R n 搬到了函数空间,这正是傅里叶分析的起点。有限维里求和总会停止;函数空间里通常出现无穷级数,因此「能否展开、以什么方式收敛、极限是否仍在空间中」都成为新问题。它们属于后续的函数分析或傅里叶分析课程。
最后回到有限维,看标准正交基在内积计算上究竟省掉了哪一步:
例 1.5.3 · 标准正交基下的内积公式
设 q 1 , ⋯ , q n \boldsymbol{q}_1,\cdots,\boldsymbol{q}_n q 1 , ⋯ , q n 是线性空间 V V V 的标准正交基,α \boldsymbol{\alpha} α 和 β \boldsymbol{\beta} β 分别是 V V V 中向量 x \boldsymbol{x} x 和 y \boldsymbol{y} y 在该基下的坐标。证明:
( x , y ) = β H G ( q 1 , ⋯ , q n ) α = β H α . (\boldsymbol{x},\boldsymbol{y})=\boldsymbol{\beta}^{\mathrm H}G(\boldsymbol{q}_1,\cdots,\boldsymbol{q}_n)\boldsymbol{\alpha}=\boldsymbol{\beta}^{\mathrm H}\boldsymbol{\alpha}. ( x , y ) = β H G ( q 1 , ⋯ , q n ) α = β H α .
解答 · 例 1.5.3
这是 定义 1.4.4 坐标公式 ( x , y ) = η H G E ξ (\boldsymbol{x},\boldsymbol{y})=\boldsymbol{\eta}^{\mathrm H}G_{\mathcal E}\boldsymbol{\xi} ( x , y ) = η H G E ξ 的特例:标准正交基满足 ( q i , q j ) = δ i j (\boldsymbol{q}_i,\boldsymbol{q}_j)=\delta_{ij} ( q i , q j ) = δ ij ,故度量矩阵的每个元素恰按 I n I_n I n 摆放,G ( q 1 , ⋯ , q n ) = I n G(\boldsymbol{q}_1,\cdots,\boldsymbol{q}_n)=I_n G ( q 1 , ⋯ , q n ) = I n ,于是
( x , y ) = β H α = ∑ i = 1 n α i β i ‾ . (\boldsymbol{x},\boldsymbol{y})=\boldsymbol{\beta}^{\mathrm H}\boldsymbol{\alpha}=\sum_{i=1}^{n}\alpha_i\overline{\beta_i}. ( x , y ) = β H α = i = 1 ∑ n α i β i .
标准正交基把任意(实 / 复)内积空间的内积运算,变成坐标向量的标准内积 ——长度与正交的判定全部可以在 C n \mathbb C^n C n 里完成(夹角只对实空间有定义,见勘误 E6)。1.4 节引入的「度量矩阵」在此兑现:它一般不是 I I I ,但 Gram–Schmidt 正交化保证总能换到一组使它是 I I I 的基 。
下表把本节的对象与易错点放在一起对照:第三列几乎覆盖了本节的全部勘误,值得逐条读一遍。
核心对象 必须记住 高频错误
长度 ∥ x ∥ |\boldsymbol{x}| ∥ x ∥ ( x , x ) \sqrt{(\boldsymbol{x},\boldsymbol{x})} ( x , x ) ;齐次性取 ∣ k ∣ |k| ∣ k ∣ 复向量长度用 x i 2 x_i^2 x i 2 而非 ∣ x i ∣ 2 |x_i|^2 ∣ x i ∣ 2 求和
C-S 不等式 ∣ ( x , y ) ∣ ≤ ∥ x ∥ ∥ y ∥ |(\boldsymbol{x},\boldsymbol{y})|\leq|\boldsymbol{x}|,|\boldsymbol{y}| ∣ ( x , y ) ∣ ≤ ∥ x ∥ ∥ y ∥ ,等号 ⟺ 相关(实、复空间都成立)等号条件漏掉模 (写成 ( x , y ) = ∥ x ∥ ∥ y ∥ (\boldsymbol{x},\boldsymbol{y})=|\boldsymbol{x}|,|\boldsymbol{y}| ( x , y ) = ∥ x ∥ ∥ y ∥ 会把 y = − x y=-x y = − x 判错);先证三角不等式后证 C-S(顺序颠倒,勘误 E5)
夹角 arccos ( x , y ) ∥ x ∥ ∥ y ∥ \arccos\dfrac{(\boldsymbol{x},\boldsymbol{y})}{|\boldsymbol{x}|,|\boldsymbol{y}|} arccos ∥ x ∥ ∥ y ∥ ( x , y ) 限实 空间在复空间直接套 arccos(勘误 E6)
Gram 行列式 = ∥ x 1 ∥ 2 ∥ x 2 ∥ 2 − ∣ ( x 1 , x 2 ) ∣ 2 =|\boldsymbol{x}_1|^2|\boldsymbol{x}_2|^2-\big|(\boldsymbol{x}_1,\boldsymbol{x}_2)\big|^2 = ∥ x 1 ∥ 2 ∥ x 2 ∥ 2 − ( x 1 , x 2 ) 2 = 面积²复情形把模平方写成平方(见 1.5.4 的推广注)
正交 ( x , y ) = 0 (\boldsymbol{x},\boldsymbol{y})=0 ( x , y ) = 0 ;正交组必无关把「零向量与一切都正交」当成正交组成员;复空间勾股「当且仅当」误用(勘误 E7)
Gram–Schmidt y k = x k − ∑ ( x k , y i ) ( y i , y i ) y i \boldsymbol{y}_k=\boldsymbol{x}_k-\sum\dfrac{(\boldsymbol{x}_k,\boldsymbol{y}_i)}{(\boldsymbol{y}_i,\boldsymbol{y}_i)}\boldsymbol{y}_i y k = x k − ∑ ( y i , y i ) ( x k , y i ) y i 减错方向(拿 x i \boldsymbol{x}_i x i 当被投影对象);忘记单位化才能得「标准」正交基
标准正交基 G = I G=I G = I ,( x , y ) = β H α (\boldsymbol{x},\boldsymbol{y})=\boldsymbol{\beta}^{\mathrm H}\boldsymbol{\alpha} ( x , y ) = β H α 在一般基下直接用 β H α \boldsymbol{\beta}^{\mathrm H}\boldsymbol{\alpha} β H α 算内积(漏乘 G G G )
本节主线: 内积给出长度;C-S 不等式把「内积的大小」钉死在「长度的乘积」之内,三角不等式与夹角定义随之落地;正交是夹角的极端情形,正交组自动无关;Gram–Schmidt 把任意基改造成正交基,单位化后度量矩阵成为 I I I ——一切内积计算退化为坐标的标准内积。
即时自测 · 1.5
本节最容易失分的地方:复空间与实空间的差别 (C-S 必须带模、夹角公式只限实空间、勾股逆命题在复空间失效)与 Gram–Schmidt 的公式细节 。
第 1 题 · 记忆
写出长度的定义与四条 性质(正定、齐次、平行四边形法则、三角不等式)。齐次性里为什么是 ∣ k ∣ |k| ∣ k ∣ 而不是 k k k ?(对应 1.5.1 )
第 1 题答案
∥ x ∥ = ( x , x ) \|\boldsymbol{x}\|=\sqrt{(\boldsymbol{x},\boldsymbol{x})} ∥ x ∥ = ( x , x ) ;(1) ∥ x ∥ ≥ 0 \|\boldsymbol{x}\|\geq0 ∥ x ∥ ≥ 0 且 = 0 ⟺ x = θ =0\Longleftrightarrow\boldsymbol{x}=\boldsymbol{\theta} = 0 ⟺ x = θ ;(2) ∥ k x ∥ = ∣ k ∣ ∥ x ∥ \|k\boldsymbol{x}\|=|k|\|\boldsymbol{x}\| ∥ k x ∥ = ∣ k ∣∥ x ∥ ;(3) ∥ x + y ∥ 2 + ∥ x − y ∥ 2 = 2 ( ∥ x ∥ 2 + ∥ y ∥ 2 ) \|\boldsymbol{x}+\boldsymbol{y}\|^2+\|\boldsymbol{x}-\boldsymbol{y}\|^2=2(\|\boldsymbol{x}\|^2+\|\boldsymbol{y}\|^2) ∥ x + y ∥ 2 + ∥ x − y ∥ 2 = 2 ( ∥ x ∥ 2 + ∥ y ∥ 2 ) ;(4) ∥ x + y ∥ ≤ ∥ x ∥ + ∥ y ∥ \|\boldsymbol{x}+\boldsymbol{y}\|\leq\|\boldsymbol{x}\|+\|\boldsymbol{y}\| ∥ x + y ∥ ≤ ∥ x ∥ + ∥ y ∥ (证明见 1.5.2 )。
齐次性推导 ∥ k x ∥ 2 = k k ‾ ( x , x ) = ∣ k ∣ 2 ∥ x ∥ 2 \|k\boldsymbol{x}\|^2=k\overline{k}(\boldsymbol{x},\boldsymbol{x})=|k|^2\|\boldsymbol{x}\|^2 ∥ k x ∥ 2 = k k ( x , x ) = ∣ k ∣ 2 ∥ x ∥ 2 :复空间中 k k k 是复数,k 2 k^2 k 2 可能是负数或复数,只有 ∣ k ∣ 2 = k k ‾ |k|^2= k\overline{k} ∣ k ∣ 2 = k k 保证非负实数,开方后得到 ∣ k ∣ |k| ∣ k ∣ 。
第 2 题 · 证明
完整证明 Cauchy–Schwarz 不等式,并说明证明中 λ \lambda λ 的选取有什么几何含义。等号何时成立?(对应 1.5.2 )
第 2 题答案
y ≠ θ \boldsymbol{y}\neq\boldsymbol{\theta} y = θ 时对 0 ≤ ( x − λ y , x − λ y ) 0\leq(\boldsymbol{x}-\lambda\boldsymbol{y},\boldsymbol{x}-\lambda\boldsymbol{y}) 0 ≤ ( x − λ y , x − λ y ) 取 λ = ( x , y ) ( y , y ) \lambda=\frac{(\boldsymbol{x},\boldsymbol{y})}{(\boldsymbol{y},\boldsymbol{y})} λ = ( y , y ) ( x , y ) ,展开得 ( x , x ) − λ ( y , x ) − λ ‾ ( x , y ) + ∣ λ ∣ 2 ( y , y ) (\boldsymbol{x},\boldsymbol{x})-\lambda(y,x)-\overline{\lambda}(x,y)+|\lambda|^2(\boldsymbol{y},\boldsymbol{y}) ( x , x ) − λ ( y , x ) − λ ( x , y ) + ∣ λ ∣ 2 ( y , y ) ;三项合并为 − ∣ ( x , y ) ∣ 2 ( y , y ) -\frac{|(\boldsymbol{x},\boldsymbol{y})|^2}{(\boldsymbol{y},\boldsymbol{y})} − ( y , y ) ∣ ( x , y ) ∣ 2 (两项带负号、一项带正号 :λ ‾ ( x , y ) \overline{\lambda}(\boldsymbol{x},\boldsymbol{y}) λ ( x , y ) 与 λ ( y , x ) \lambda(\boldsymbol{y},\boldsymbol{x}) λ ( y , x ) 各贡献 − ∣ ( x , y ) ∣ 2 ( y , y ) -\frac{|(\boldsymbol{x},\boldsymbol{y})|^2}{(\boldsymbol{y},\boldsymbol{y})} − ( y , y ) ∣ ( x , y ) ∣ 2 ,∣ λ ∣ 2 ( y , y ) |\lambda|^2(\boldsymbol{y},\boldsymbol{y}) ∣ λ ∣ 2 ( y , y ) 贡献 + ∣ ( x , y ) ∣ 2 ( y , y ) +\frac{|(\boldsymbol{x},\boldsymbol{y})|^2}{(\boldsymbol{y},\boldsymbol{y})} + ( y , y ) ∣ ( x , y ) ∣ 2 ),于是
0 ≤ ( x , x ) − ∣ ( x , y ) ∣ 2 ( y , y ) ⟹ ( x , x ) ≥ ∣ ( x , y ) ∣ 2 ( y , y ) . 0\leq(\boldsymbol{x},\boldsymbol{x})-\frac{|(\boldsymbol{x},\boldsymbol{y})|^2}{(\boldsymbol{y},\boldsymbol{y})}\quad\Longrightarrow\quad(\boldsymbol{x},\boldsymbol{x})\geq\frac{|(\boldsymbol{x},\boldsymbol{y})|^2}{(\boldsymbol{y},\boldsymbol{y})}. 0 ≤ ( x , x ) − ( y , y ) ∣ ( x , y ) ∣ 2 ⟹ ( x , x ) ≥ ( y , y ) ∣ ( x , y ) ∣ 2 .
几何含义:这个 λ \lambda λ 恰好使残差 x − λ y \boldsymbol{x}-\lambda\boldsymbol{y} x − λ y 与 y \boldsymbol{y} y 正交(( x − λ y , y ) = 0 (\boldsymbol{x}-\lambda\boldsymbol{y},\boldsymbol{y})=0 ( x − λ y , y ) = 0 )——「减掉沿 y \boldsymbol{y} y 的成分」。等号成立 ⟺ 残差为零 ⟺ x = λ y \boldsymbol{x}=\lambda\boldsymbol{y} x = λ y ⟺ 线性相关。
第 3 题 · 应用
对 x 1 = ( 1 , 1 , 0 ) T \boldsymbol{x}_1=(1,1,0)^{\mathrm T} x 1 = ( 1 , 1 , 0 ) T 、x 2 = ( 1 , 0 , 1 ) T \boldsymbol{x}_2=(1,0,1)^{\mathrm T} x 2 = ( 1 , 0 , 1 ) T 、x 3 = ( 0 , 1 , 1 ) T \boldsymbol{x}_3=(0,1,1)^{\mathrm T} x 3 = ( 0 , 1 , 1 ) T 执行 Gram–Schmidt,并把结果单位化。(对应 1.5.6 )
第 3 题答案
y 1 = ( 1 , 1 , 0 ) T \boldsymbol{y}_1=(1,1,0)^{\mathrm T} y 1 = ( 1 , 1 , 0 ) T ;y 2 = ( 1 2 , − 1 2 , 1 ) T \boldsymbol{y}_2=(\tfrac12,-\tfrac12,1)^{\mathrm T} y 2 = ( 2 1 , − 2 1 , 1 ) T ;y 3 = ( − 2 3 , 2 3 , 2 3 ) T \boldsymbol{y}_3=(-\tfrac23,\tfrac23,\tfrac23)^{\mathrm T} y 3 = ( − 3 2 , 3 2 , 3 2 ) T (计算过程见 例 1.5.B )。单位化:
q 1 = 1 2 ( 1 , 1 , 0 ) T \boldsymbol{q}_1=\tfrac{1}{\sqrt2}(1,1,0)^{\mathrm T} q 1 = 2 1 ( 1 , 1 , 0 ) T ,q 2 = 1 6 ( 1 , − 1 , 2 ) T \boldsymbol{q}_2=\tfrac{1}{\sqrt6}(1,-1,2)^{\mathrm T} q 2 = 6 1 ( 1 , − 1 , 2 ) T ,q 3 = 1 3 ( − 1 , 1 , 1 ) T \boldsymbol{q}_3=\tfrac{1}{\sqrt3}(-1,1,1)^{\mathrm T} q 3 = 3 1 ( − 1 , 1 , 1 ) T 。
自检:三个向量长度均为 1 1 1 ,两两内积为 0 0 0 ;行列式 det ( q 1 , q 2 , q 3 ) \det(\boldsymbol{q}_1,\boldsymbol{q}_2,\boldsymbol{q}_3) det ( q 1 , q 2 , q 3 ) 应为 ± 1 \pm1 ± 1 (正交矩阵的行列式)。
第 4 题 · 辨析
标准正交基下度量矩阵是什么?此时 ( x , y ) (\boldsymbol{x},\boldsymbol{y}) ( x , y ) 的坐标公式如何退化?「夹角」「勾股定理的当且仅当」各在什么空间里成立?(对应 1.5.7 、勘误 E6 / E7)
第 4 题答案
G = I n G=I_n G = I n (( q i , q j ) = δ i j (\boldsymbol{q}_i,\boldsymbol{q}_j)=\delta_{ij} ( q i , q j ) = δ ij 恰按单位矩阵摆放),于是 ( x , y ) = β H α = ∑ i α i β i ‾ (\boldsymbol{x},\boldsymbol{y})=\boldsymbol{\beta}^{\mathrm H}\boldsymbol{\alpha}=\sum_i\alpha_i\overline{\beta_i} ( x , y ) = β H α = ∑ i α i β i ——任意内积空间的计算退化为 C n \mathbb C^n C n 的标准内积。
夹角公式(arccos)与「正交 ⟺ 勾股等式」的当且仅当 都只在实 内积空间成立;复空间中:正交 ⟹ 勾股成立,反之不然(反例 x = 1 , y = i x=1,y=i x = 1 , y = i :勾股成立但 ( x , y ) = − i ≠ 0 (x,y)=-i\neq0 ( x , y ) = − i = 0 )。