第 6 讲（09-23）：逐次超松弛法（SOR）——构造、收敛性与特征值问题开篇

课堂实录精编。本讲全程板书推导，主线三段：SOR 的构造——在 $A=L+D+U$ 三分中 引入松弛因子 $\omega$，把对角部分按 $\omega^{-1}:(1-\omega^{-1})$ 分配给 $N$ 与 $P$， 经「移项、两边乘 $\omega D^{-1}$」的显示化推导得到计算格式（原书 §2.4.4，补上 第 5 讲留下的缺口）；三个收敛结论——必要条件 $\omega\in(0,2)$ （行列式法，课堂反复强调「必要不充分」），行/列严格对角占优 + $0<\omega\le1\Rightarrow$ 收敛（含「对角占优 $\Rightarrow$ 可逆」引理与一段完整的反证法证明，是本讲最重的部分）， 以及对称正定 + $0<\omega<2\Rightarrow$ 收敛（Ostrowski 定理，只述不证）；特征值 问题开篇——从薛定谔方程的能级计算引出「求模最大特征值」，为下一讲铺垫。 对应原书 2.4.4（逐次超松弛法）。原始转写存档于仓库根目录 transcripts/ （源文件，不随书构建发布）。

课堂时间线

一、回顾：从分裂框架到 Gauss–Seidel（02:16–07:00）

开场先核对进度：上次（第 5 讲）讲完迭代收敛理论与 Gauss–Seidel， 本讲补上原书 §2.4.4 的 SOR。回顾主线（与第 5 讲完全一致的框架）：$Ax=b$ 不做直接 求逆，写成 $A=N-P$（$N$ 好求逆），

$$Nx=Px+b\ \Longleftrightarrow\ x=\underbrace{N^{-1}P}_{G}x+\underbrace{N^{-1}b}_{d}, \qquad x^{(k+1)}=Gx^{(k)}+d,$$

若 $x^{(k)}\to x^{*}$，对迭代式取极限即解出不动点方程 $x^{*}=Gx^{*}+d$。 三分 $A=L+D+U$（$L$、$U$ 均不含对角线），Gauss–Seidel 的取法是 $N=L+D$（含对角的下三角）、$P=-U$（不含对角）。

二、SOR 的构造：把对角部分按参数分配（07:00–10:03）

GS 的 $P$ 里完全没有对角成分，SOR 的构造正从这里入手——「现在我引入一个参数， 把这个对角部分分配到 $N$ 和 $P$ 两部分」。取松弛因子 $\omega\neq0$，把 $D$ 拆成 $\omega^{-1}D$ 与 $(1-\omega^{-1})D$ 两份：

$$N=L+\omega^{-1}D\ (\text{下三角，对角元 }\omega^{-1}a_{ii}),\qquad P=N-A=(\omega^{-1}-1)D-U=-\big[(1-\omega^{-1})D+U\big]$$

（板书上把 $P$ 写成 $(1-\omega^{-1})D+U$ 并带一个负号，与 $A=N-P$ 的记法一致。） 检验：$N-P=L+\omega^{-1}D+(1-\omega^{-1})D+U=L+D+U=A$。迭代矩阵

$$G=N^{-1}P=-\big(L+\omega^{-1}D\big)^{-1}\big[(1-\omega^{-1})D+U\big].$$

老师说这一步「也没有那么难，就是一个体力活」——难的不是代公式，而是接下来的 显示化与收敛性分析。

三、显示化：形式隐式、实际显式（10:03–22:30）

$N=L+\omega^{-1}D$ 是下三角，$N^{-1}$ 写不出显式（对比 Jacobi 的 $N=D$）， 于是回到 $Nx^{(k+1)}=Px^{(k)}+b$ 的形式再变形：

$$(L+\omega^{-1}D),x^{(k+1)}=-\big[(1-\omega^{-1})D+U\big]x^{(k)}+b .$$

把含 $x^{(k+1)}$ 的下三角项移到右边、再两边左乘 $\omega D^{-1}$ （用 $\omega\cdot\omega^{-1}=1$ 消去左端，右端 $\omega(1-\omega^{-1})=\omega-1$），得到 板书上最终框出的计算格式：

$$\boxed{\ x^{(k+1)}=(1-\omega),x^{(k)}-\omega D^{-1}L,x^{(k+1)}-\omega D^{-1}U,x^{(k)}+\omega D^{-1}b\ }$$

右边出现 $x^{(k+1)}$，「你表面上看起来……好像是一个隐式的格式，但实际上它是个 显式的格式」。理由与第 5 讲 GS 完全相同（逐行论证）：

• 作用于 $x^{(k+1)}$ 的只有 $-\omega D^{-1}L$——对角阵左乘下三角相当于每行乘一个 常数，不改变三角结构，故 $-\omega D^{-1}L$ 仍是对角为零的严格下三角；作用于 $x^{(k)}$ 的 $(1-\omega)I-\omega D^{-1}U$ 则是对角为 $1-\omega$ 的上三角；
• 第一个方程：$x^{(k+1)}_1$ 前的系数全为零，右端只含 $x^{(k)}$ 的分量——显式；
• 第二个方程：右端只含 $x^{(k+1)}_1$（刚算出）与 $x^{(k)}$ 的分量——显式；
• 依此类推，「一行一行就在解」，全程显式。分量形式：

$$x_i^{(k+1)}=(1-\omega),x_i^{(k)}+\frac{\omega}{a_{ii}}\Big(b_i-\sum_{j<i}a_{ij}x_j^{(k+1)}-\sum_{j>i}a_{ij}x_j^{(k)}\Big),\qquad i=1,\dots,n .$$

读法：括号内恰是 Gauss–Seidel 的修正量，外层用 $\omega$ 加权后与旧值的 $(1-\omega)$ 倍做线性组合——这就是「逐次超松弛」这个名字的来源。

四、SOR 与 Gauss–Seidel：$\omega=1$ 的特例（23:01–26:00）

对比两个分裂：GS 的 $P$ 完全不含对角，SOR 的 $P$ 里则含带参数的对角部分 $(1-\omega^{-1})D$。「我只要把这个 $\omega$ 取成 $1$，整个对角部分就没了」——

$$\omega=1\ \Longrightarrow\ N=L+D,\ P=-U\ \Longrightarrow\ \text{SOR 就是 Gauss–Seidel}.$$

用老师的话说：「GS 实际上是 SOR 的一种特殊形式……所以咱们现在只需要把 SOR 这个东西研究明了，GS 的一系列（结论）它就都有了。」

五、收敛的必要条件：$\omega\in(0,2)$（26:00–39:00）

链条：格式收敛 $\iff\rho(G)<1$（第 5 讲定理）$\Longrightarrow$ $|\det G|<1$（行列式 = 全体特征值之积）。而 $G=N^{-1}P$，故

$$\det G=\det(N^{-1})\det P=\frac{\det P}{\det N}.$$

两个行列式都能直接算（三角阵行列式 = 对角元之积）：

$$\det N=\prod_{i=1}^n\frac{a_{ii}}{\omega}=\omega^{-n}\prod_{i=1}^n a_{ii},\qquad |\det P|=\Big|1-\frac1\omega\Big|^n\prod_{i=1}^n|a_{ii}| ,$$

相除，$\prod|a_{ii}|$ 全部消去：

$$|\det G|=\frac{|1-\omega^{-1}|^n}{\omega^{-n}}=|,\omega-1,|^n .$$

于是收敛 $\Rightarrow|\omega-1|^n<1\Rightarrow|\omega-1|<1$，即

$$\textbf{定理（必要条件）}\quad\text{SOR 收敛}\ \Longrightarrow\ 0<\omega<2 .$$

老师在这一段反复强调「必要」与「充分」的区别（原话要点）：

• 「$\omega$ 这个参数还是不能乱取的」；
• 「我不能保证在 0 到 2 这个范围之内它一定收敛，但我可以保证它在 0 到 2 之外 一定不收敛」；
• 原因：$\omega\in(0,2)$ 只保证 $|\det G|<1$（特征值之积的模小），不能保证每个 特征值的模都小于 1——积小可以来自「一个大一个小」。

六、引理：严格对角占优 ⟹ 可逆（39:57–1:01:30）

为证主定理，先补一件工具（板书：「如果 $A$ 是行或者列对角占优，那 $A$ 就可逆」）。 回顾定义（严格占优）：

$$|a_{ii}|>\sum_{j\neq i}|a_{ij}|\ (\forall i,\ \text{行占优})，\qquad |a_{jj}|>\sum_{i\neq j}|a_{ij}|\ (\forall j,\ \text{列占优}) .$$

第一步（对角元非零）：占优保证每个 $|a_{ii}|$ 大于同行（列）其余元素绝对值之和， 故 $a_{ii}\neq0$，$D$ 可逆。于是

$$A=D+(L+U)=D\big[I+D^{-1}(L+U)\big]\qquad(\text{行占优：}D\ \text{提在左边}).$$

第二步（化归到 $I+B$）：$D$ 可逆，只需证 $I+B$（$B=D^{-1}(L+U)$）可逆。 调用第 4 讲证过的结论：「只要能找到一个矩阵范数使 $|B|<1$，则 $I+B$ 可逆」。

第三步（选范数）：$B=D^{-1}(L+U)$ 的第 $i$ 行为 $\big[\tfrac{a_{i1}}{a_{ii}},\dots,\widehat{0},\dots,\tfrac{a_{in}}{a_{ii}}\big]$ （对角位置为零）。取 $\infty$-范数（最大行和）：

$$|B|_\infty=\max_i\ \frac{1}{|a_{ii}|}\sum_{j\neq i}|a_{ij}|<1,$$

每个比值恰好是「行占优」定义中的那个商：严格占优即每个比值都小于 1，故最大者仍小于 1。 列占优完全同理，只是把 $D$ 提在右边：$A=[I+(L+U)D^{-1}]D$，此时 $(L+U)D^{-1}$ 的第 $j$ 列被 $1/a_{jj}$ 缩放，「放在右边它就是每一列扩大一个 倍数」，取 $1$-范数（最大列和）即得 $|(L+U)D^{-1}|_1<1$。老师交代：两种情形 「具体的过程一模一样，大家可以自己去把它写一下」。

七、主定理：对角占优 + $0<\omega\le1\Rightarrow$ SOR 收敛（1:01:37–1:30:37）

$$\textbf{定理}\quad A\ \text{严格行（或列）对角占优},\ 0<\omega\le1 \ \Longrightarrow\ \text{SOR 迭代收敛}.$$

证明框架（反证法）。要证 $\rho(G)<1$，即 $G$ 的每个特征值的模都小于 1。 反设存在特征值 $\mu$ 满足 $|\mu|\ge1$，由此推出矛盾。

(1) 特征值 ⟹ 奇异。$Gx=\mu x$（$x\neq0$ 为特征向量）⟹ $(\mu I-G)x=0$ 有非零解 ⟹ $\mu I-G$ 不满秩 ⟹ $\det(\mu I-G)=0$。目标是证明在定理条件下这个行列式 不可能为零。

(2) 两边乘 $N$、提因子。$\mu I-G=\mu I+N^{-1}[(1-\omega^{-1})D+U]$，两边左乘可逆的 $N=L+\omega^{-1}D$（对角占优 ⟹ 对角元非零 ⟹ 下三角可逆），奇异性不变：

$$\det\Big[\mu\big(L+\omega^{-1}D\big)+(1-\omega^{-1})D+U\Big]=0 .$$

把公共因子 $\mu$ 提到括号外（括号内其余两项相应乘 $\mu^{-1}$），再合并对角系数并做 恒等变形（凑成便于下一步估计模的形状）：

$$\mu\Big[,\underbrace{L}_{\text{不变}}+\ \underbrace{c,D}_{\text{对角}}\ +\ \underbrace{\mu^{-1}U}_{\text{上三角}},\Big]=0, \qquad c=\omega^{-1}+\mu^{-1}\big(1-\omega^{-1}\big)=1+\big(\omega^{-1}-1\big)\big(1-\mu^{-1}\big).$$

$\mu\neq0$，故 $\det[L+cD+\mu^{-1}U]=0$。老师在此处用黄色粉笔标出全部常数、 把最终的 $c$ 用红框框出——「不然你就晕了，一会儿看究竟哪个是常数」。

(3) 常数 $c$ 的模 $\ge1$。写 $\mu=re^{\mathrm i\theta}$（$r=|\mu|\ge1$），用 欧拉公式 $e^{-\mathrm i\theta}=\cos\theta-\mathrm i\sin\theta$ 分出实部、虚部：

$$c=1+(\omega^{-1}-1)\big(1-r^{-1}e^{-\mathrm i\theta}\big), \qquad \operatorname{Re}c=1+(\omega^{-1}-1)\big(1-r^{-1}\cos\theta\big),$$

$$\operatorname{Im}c=(\omega^{-1}-1),r^{-1}\sin\theta .$$

逐项看符号：$\omega\le1\Rightarrow\omega^{-1}-1\ge0$；$r\ge1\Rightarrow r^{-1}\le1 \Rightarrow1-r^{-1}\cos\theta\ge1-r^{-1}\ge0$。故 $\operatorname{Re}c\ge1$，于是

$$|c|\ \ge\ \operatorname{Re}c\ \ge\ 1 .$$

（口述：「实部都是大于等于一的，那它加一个虚部，这个数的模长肯定是大于等于一的」。 至于复数指数展开，老师声明「这一步到这一步咱们就没法再复习了，我就当大家都理解 这个东西了」。）

(4) 三个部分的对角占优被强化 ⟹ 矛盾。看矩阵 $L+cD+\mu^{-1}U$：

原矩阵 $A$ 本来严格对角占优（对角元大于同行其余元素绝对值之和）；现在「对角又 放大了、其他地方又缩小了」——更是严格对角占优。由第六节引理，该矩阵必可逆， $\det[L+cD+\mu^{-1}U]\neq0$，与 (2) 矛盾。$\blacksquare$

思路复盘（老师在证明后重述了一遍主线，此处从简）：反设 $\rho(G)\ge1$ ⟹ $\det(\mu I-G)=0$ ⟹ 剩余因子「更对角占优」⟹ 由引理可逆、行列式非零——矛盾， 「所以不存在这样的 $\mu$」。

八、对称正定情形：Ostrowski 定理（1:30:39–1:32:17）

$$\textbf{定理（Ostrowski）}\quad A\ \text{对称正定}\ \Longrightarrow\ \text{SOR 当且仅当 } 0<\omega<2\ \text{时收敛}.$$

与第五节呼应：对一般矩阵，$\omega\in(0,2)$ 只是必要；换到对称正定矩阵， $0<\omega<2$ 就升级为充分——「你只要是参数取在 0 和 2 之间它就能收敛」。 证明不讲（「主要是为了让大家看看原理是什么，但没有必要证，你得记住结论」）。

九、特征值问题开篇：薛定谔方程与模最大特征值（1:32:17–1:38:53）

从哪来：求矩阵特征值的算法「看起来简单，到现在历史还是蛮长的」。源头是 定态薛定谔方程的能级计算：哈密顿算子 = 动能项（$-\frac{\hbar^2}{2m}\nabla^2$， 拉普拉斯算子）+ 势能项 $V$；由此求波函数 $\psi$ 与能量 $E$。薛定谔自己算出了氢原子； 但复杂（多粒子）系统必须离散化数值求解：

$$\text{微分算子}\ \xrightarrow{\ \text{离散}\ }\ \text{矩阵},\qquad \text{能级}= \text{特征值}，\qquad \text{本征态（波函数）}= \text{特征向量}.$$

（老师两句话点透：「能级说白了就是特征值……波函数说白了就是特征向量」。）

为什么难：多粒子系统维度极高，至今没有一般性的方法能高效算出全部特征对， 「还是一个重要的研究方向」——只能针对特殊问题设计特殊算法，一事一议。

本课程的研究对象（板书收束）：设 $A$ 为 $n$ 阶矩阵（有 $n$ 个特征值）， 只研究一件事：求按模最大的特征值（比其余所有特征值的模都大）及其特征向量。 下课：「我们下期再见。」

十、记号与考注（本讲特有）

1. $0<\omega\le1$ 的端点：口述为「取在 0 和 1 之间」且「0 不能取到」（$\omega\to0$ 时 $1-\omega^{-1}\to\infty$，格式失去意义）。端点 $\omega=1$（退化为 GS）代入证明： $c\equiv1$，对角不放大、上三角乘 $\lvert\mu^{-1}\rvert\le1$，占优不减弱，论证逐字 成立——故定理按 $0<\omega\le1$ 表述。原书 §2.4.4 的表述以原书为准。
2. 反证假设的边界：口述假设 $|\mu|>1$；$|\mu|=1$（$r=1$）时第 (3) 步中 $1-r^{-1}\cos\theta\ge0$ 仍成立，证明同样有效，本编按 $|\mu|\ge1$ 叙述以直接 得到 $\rho(G)<1$。
3. 复对角元：第七节矩阵 $L+cD+\mu^{-1}U$ 的对角元是复数 $c,a_{ii}$，「严格 对角占优 ⟹ 可逆」按模比较叙述（引理的范数证明在复矩阵上原样成立），课堂上 未单独点破。
4. 行列式恒等式：用到 $\det(AB)=\det A\cdot\det B$ 与 $\det(A^{-1}B)=\det B/\det A$——老师现场带大家复习了一遍（「这个事情你得去 复习」）。
5. 转录空白：00:47–00:52 有约五分钟无转写（引理证明中段），据上下文为 $\infty$-范数选取与 $D^{-1}(L+U)$ 逐行求和的板书演算。
6. 原书编号：本讲两个收敛定理在原书 §2.4.4 中的编号课堂未念出，本编不注编号， 以内容对照；特征值开篇对应原书第 3 章（特征值与 QR 方法）的引入部分。

十一、老师强调

• SOR 的推导「就是一个体力活」——公式不神秘，显示化的每一步都是移项与乘 $\omega D^{-1}$。
• 「形式隐式、实际显式」要看结构：$x^{(k+1)}$ 前只挂严格下三角，一行一行往下算。
• 必要 / 充分必须分清：$\omega\in(0,2)$ 保证的只是 $|\det G|<1$；「在 0 到 2 之外一定不收敛，在 0 到 2 之内不保证收敛」。
• 主定理证明的两个火候：① 黄粉笔标常数——字母符号特别多，「不然你就晕了」； ② 收尾看三个部分——对角放大、其余缩小，「更是对角占优」。
• Ostrowski 定理记住结论：什么矩阵类型、参数取什么范围、收敛与否。
• 特征值问题的世界观：能级 = 特征值、波函数 = 特征向量；一般性方法不存在， 本课程只攻「模最大特征值」。

十二、课堂口述与标准术语对照（节选）