Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

第 2 讲(09-09):有效数字、精度技巧与范数

课堂实录精编。前半节复习并深化第 1 讲的误差理论(有效数字、精度保护技巧), 后半节进入范数理论:向量范数 → 矩阵范数 → 从属范数与相容关系。 对应本书 1.2 误差知识与算法知识、1.3 向量范数与矩阵范数;原书 1.2–1.3 节。 本讲投影全程停留在签到页面,内容全部为黑板板书 + 口述。 对应学习目标:K1.3、K1.4、K1.6 · S1.1、S1.2、S1.3、S1.6(目标清单)。

10 分钟复习版 · 第 2 讲

一句话:前半节把误差理论落成可操作的精度保护技巧,后半节从距离公理化出范数。

必记结论 · 有效数字与精度技巧

内容 要点
有效数字 误差限不超过某一位的半个单位,从最高位第一个非零数字数到该位
技巧 1 · 大数吃小数 连加必须从小加到大(若从大数端加,部分和迅速变大,后面的小数被吃掉)
技巧 2 · 相近大数相减 改写消去减法
技巧 3 · 小根用韦达定理 低精度下 x2=0x_2=0,改用 x2=c/ax1x_2=\dfrac{c/a}{x_1}(先算良态的大根)
技巧 4 · 小数不放分母 ε(a/b)\varepsilon(a/b) 含 b2b^2,bb 极小时相对误差爆炸

必记结论 · 范数

内容 要点
向量范数三公理 正定 · 齐次 · 三角不等式
范数等价性 任意两种范数只差常数倍;有限维成立,无限维不成立
矩阵范数四公理 比向量多一条次可乘性 ∥AB∥≤∥A∥∥B∥\|AB\|\le\|A\|\|B\|
从属(算子)范数 ∥A∥=max⁡∥x∥=1∥Ax∥\|A\|=\max_{\|x\|=1}\|Ax\|;分子分母必须用同一个向量范数
相容关系 ∥Ax∥≤∥A∥∥x∥\boxed{\|Ax\|\le\|A\|\|x\|}——本讲最重要的定理,后续一切收敛性分析的基石

老师强调的考点:相容关系与乘积不等式是后面全部内容的起点(第 3 讲的 ∥A∥<1⇒I±A\|A\|&lt;1\Rightarrow I\pm A 可逆、第 4–6 讲的迭代法收敛定理全用它)。范数等价性只在有限维成立。

对应正文:1.2 · 1.3(有效数字 1.2.2、范数公理 1.3.1、从属范数 1.3.3)

课堂时间线

时间内容
02:38–10:30复习:误差、绝对/相对误差限、四则运算误差传播公式、函数求值误差(中值定理)
10:30–17:12有效数字:半单位区间图示与退位规则
17:12–23:12例题:有效数字的加法 2.14+3.152.14+3.15
23:16–25:48精度技巧一:大数吃小数(连加必须从小到大)
25:48–31:30精度技巧二:一元二次方程求小根用韦达定理
31:30–33:24精度技巧小结
33:39–40:50范数引入:从距离到范数;向量范数三公理
40:50–57:531-范数验证三公理;一般 p-范数;范数等价性
57:53–66:10引入矩阵范数的动机;矩阵范数三公理
66:10–83:00从属范数(算子范数)定义、几何意义、公理验证
83:00–96:00相容关系 ∥Ax∥≤∥A∥∥x∥&#124;Ax&#124;\le&#124;A&#124;&#124;x&#124; 的证明
96:02–98:39乘积不等式 ∥AB∥≤∥A∥∥B∥&#124;AB&#124;\le&#124;A&#124;&#124;B&#124; 证明开始(下课,中断)

下面按课堂时间顺序展开:先复习误差理论与有效数字,归纳四条精度保护技巧,再从距离引出向量范数,经范数等价性过渡到矩阵范数与从属范数,最后证明相容关系与乘积不等式。

一、有效数字(板书:数轴半单位区间图示)

定义:若近似数 aa 的绝对误差限不超过其某一位的半个单位,则从最高位第一个 非零数字起到该位为止,所有数字都是有效数字 (significant digits)。

例 1(有效数字判定) 近似值 a=3.1579a=3.1579(板书原记号为 x∗x^*,即正文中的 aa)。

  • 误差限为 0.00040.0004 时,浮动区间 [3.1575, 3.1583][3.1575,,3.1583] 落在 3.1583.158 的半单位区间 [3.1575, 3.1585][3.1575,,3.1585] 内 ⟹ 有 4 位有效数字,记作 3.1583.158;
  • 误差限增大到 0.00080.0008 时,区间 [3.1571, 3.1587][3.1571,,3.1587] 已超出该半单位区间 (可能读成 3.157、3.158 或 3.159), 千分位失效,退到百分位:区间含于 [3.155, 3.165][3.155,,3.165] ⟹ 只剩 3 位有效数字,记作 3.163.16。

例 2(有效数字相加) A=2.14A=2.14、B=3.15B=3.15 都是百分位近似数(εA=εB=0.005\varepsilon_A=\varepsilon_B=0.005)。

A+B≈5.29,εA+B=0.005+0.005=0.01.A+B\approx 5.29,\qquad \varepsilon_{A+B}=0.005+0.005=0.01 .

百分位的半单位 0.005<0.010.005&lt;0.01,不够;十分位的半单位 0.05≥0.010.05\ge 0.01,够 ⟹ A+B=5.3A+B=5.3,只剩 2 位有效数字。结论:已知误差限,即可分析任意四则混合运算的误差。

二、精度保护技巧(本讲口诀)

  1. 大数吃小数:机器把参加运算的数按同一科学计数法对阶后再计算,大小悬殊时,小数被截掉。 连加 1+2+⋯+N1+2+\cdots+N 必须从小加到大(若从大数端加,部分和迅速变大,后面的小数被吃掉)。

  2. 相近大数相减:改写算式,消去相近大数之间的减法。

  3. 小根用韦达定理:解 x2+104x−0.01=0x^2+10^4x-0.01=0(板书原题),

    x=−104±108+0.042.x=\frac{-10^4\pm\sqrt{10^8+0.04}}{2}.

    低精度机器算 108+0.04\sqrt{10^8+0.04} 时,0.040.04 被截断,平方根仍算成 10410^4,于是 x1=−104x_1=-10^4(尚准)、x2=0x_2=0(真值约 10−610^{-6},完全丢失)。 正确做法:先算大根 x1≈−104x_1\approx-10^4(相对误差小),再由韦达定理 x2=−0.01x1x_2=\dfrac{-0.01}{x_1}(两根之积 c/a=−0.01c/a=-0.01),小根的相对误差可控。 (同一例在正文 1.2.4 原则 (2) 中两根编号相反——那里 x1x_1 记小根;对照阅读时以「大根/小根」称呼为准。)

  4. 小数不放分母 / 避免大数除以小数:ε(a/b)=∣a∣εb+∣b∣εab2\varepsilon(a/b)=\dfrac{|a|\varepsilon_b+|b|\varepsilon_a}{b^2}, bb 极小时相对误差爆炸。

三、向量范数 (vector norm)

动机:为了度量“两个向量的差别“,范数就是距离/长度的推广—— “不要被这个词吓住,它实际上就是距离/长度”。

定义(三公理) ∥⋅∥:Rn→R&#124;\cdot&#124;:\mathbb{R}^n\to\mathbb{R} 满足:

  1. 正定性 (positive definiteness):∥x∥≥0&#124;x&#124;\ge 0,且 ∥x∥=0  ⟺  x=0&#124;x&#124;=0\iff x=0;
  2. 齐次性 (homogeneity):∥kx∥=∣k∣ ∥x∥&#124;kx&#124;=|k|,&#124;x&#124;;
  3. 三角不等式 (triangle inequality):∥x+y∥≤∥x∥+∥y∥&#124;x+y&#124;\le&#124;x&#124;+&#124;y&#124;。

常用向量范数:

∥x∥1=∑i=1n∣xi∣(各分量绝对值之和),∥x∥2=(∑i=1nxi2)1/2(欧氏距离),∥x∥p=(∑i=1n∣xi∣p)1/p (p≥1).&#124;x&#124;_1=\sum_{i=1}^n|x_i|\quad(\text{各分量绝对值之和}),\qquad &#124;x&#124;_2=\Big(\sum_{i=1}^n x_i^2\Big)^{1/2}\quad(\text{欧氏距离}),\qquad &#124;x&#124;_p=\Big(\sum_{i=1}^n|x_i|^p\Big)^{1/p}\ (p\ge1) .

1-范数验证三公理(课堂完整演算):正定性显然;齐次性 ∑∣kxi∣=∣k∣∑∣xi∣\sum|kx_i|=|k|\sum|x_i|;三角不等式则对每个分量用 ∣xi+yi∣≤∣xi∣+∣yi∣|x_i+y_i|\le|x_i|+|y_i| 再求和。故得名“一范数/一距离/一长度“。

范数等价性 (equivalence):对任意两种范数 p,qp,q,存在与 xx 无关的常数 apq,bpq>0a_{pq},b_{pq}&gt;0,使

apq∥x∥p≤∥x∥q≤bpq∥x∥p.a_{pq}&#124;x&#124;_p\le&#124;x&#124;_q\le b_{pq}&#124;x&#124;_p .

直观:用一米尺和用两米尺去量同一个物体,结果只差一个常数倍。有限维成立,无限维不成立。 老师点评:“换个距离,这事就简单”——死磕欧氏距离,很多问题解决不了; 换一种范数,是数值分析的常用手段。

四、矩阵范数 (matrix norm) 与从属范数

动机:最终目标是度量两个矩阵之间的差异(为求逆、迭代法、误差分析做铺垫)。

定义(矩阵范数,完整四条公理见正文 定义 1.3.2):

  1. ∥A∥≥0&#124;A&#124;\ge0,∥A∥=0  ⟺  A=0&#124;A&#124;=0\iff A=0;
  2. ∥kA∥=∣k∣ ∥A∥&#124;kA&#124;=|k|,&#124;A&#124;;
  3. ∥A+B∥≤∥A∥+∥B∥&#124;A+B&#124;\le&#124;A&#124;+&#124;B&#124;;
  4. (次可乘性)∥AB∥≤∥A∥ ∥B∥&#124;AB&#124;\le&#124;A&#124;,&#124;B&#124;——对从属范数这是可证的定理(本讲末尾证明), 对一般矩阵范数则作为公理要求;四公理的完整表述见正文 1.3.3 节。

从属范数 / 算子范数 (subordinate / operator norm):给定一个向量范数,定义如下:

∥A∥=max⁡∥x∥=1∥Ax∥.&#124;A&#124;=\max_{&#124;x&#124;=1}&#124;Ax&#124; .

分子分母必须用同一个向量范数:向量取几范数,诱导出的就是矩阵的几范数。

几何意义(板书):∥x∥=1&#124;x&#124;=1 的点集是封闭曲面——2-范数是球面,1-范数(三维)是 正八面体,∞-范数是立方体(盒子)。矩阵 AA 的作用是旋转加伸缩,封闭曲面仍映为 封闭曲面;该曲面上必有离原点最远的点,故 max 可达且有限。

公理验证要点(板书):∥A∥=0&#124;A&#124;=0 ⟹ 所有单位向量被 AA 作用为零 ⟹ 任意向量 (缩放成单位向量后)作用也为零 ⟹ A=0A=0;三角不等式则用两次向量三角不等式: ∥(A+B)x∥≤∥Ax∥+∥Bx∥≤max⁡∥Ax∥+max⁡∥Bx∥&#124;(A+B)x&#124;\le&#124;Ax&#124;+&#124;Bx&#124;\le\max&#124;Ax&#124;+\max&#124;Bx&#124;。

五、相容关系(本讲最重要的定理)

定理(相容/适配):由向量范数 ∥⋅∥&#124;\cdot&#124; 诱导的矩阵范数满足

  ∥Ax∥≤∥A∥ ∥x∥  \boxed{;&#124;Ax&#124;\le&#124;A&#124;,&#124;x&#124;;}

证明:x≠0x\ne0 时 x/∥x∥x/&#124;x&#124; 是单位向量,由齐次性

∥Ax∥=∥x∥⋅∥Ax∥x∥∥≤∥x∥⋅max⁡∥z∥=1∥Az∥=∥A∥ ∥x∥.■&#124;Ax&#124;=&#124;x&#124;\cdot\Big&#124;A\frac{x}{&#124;x&#124;}\Big&#124; \le&#124;x&#124;\cdot\max_{&#124;z&#124;=1}&#124;Az&#124;=&#124;A&#124;,&#124;x&#124;. \qquad\blacksquare

老师强调:“这个关系后面会经常用。”(第 3 讲的 ∥A∥<1⇒I±A&#124;A&#124;&lt;1\Rightarrow I\pm A 可逆、 第 4 讲的迭代法收敛定理都要靠它。)

乘积不等式:∥AB∥≤∥A∥ ∥B∥&#124;AB&#124;\le&#124;A&#124;,&#124;B&#124;。证明思路:对单位向量 xx,

∥ABx∥=∥A(Bx)∥≤∥A∥ ∥Bx∥≤∥A∥ ∥B∥ ∥x∥,&#124;ABx&#124;=&#124;A(Bx)&#124;\le&#124;A&#124;,&#124;Bx&#124;\le&#124;A&#124;,&#124;B&#124;,&#124;x&#124;,

再对单位向量取 max 即得(本讲证明在下课铃中收尾)。

六、老师强调

  • 范数就是距离/长度;公理想不通时,就对照欧氏距离去直观理解(长度非负、乘 2 倍翻倍、三角形两边之和大于第三边)。
  • 引入一堆向量范数是“为了造矩阵范数“;矩阵范数才是后面求解线性方程组的工具。
  • 从属范数定义中分子分母范数必须同一种。
  • 相容关系与乘积不等式是后续一切收敛性分析的基石。
  • 范数等价性只在有限维空间成立。

七、课堂口述与标准术语对照(节选)

老师口述/转写标准术语
范式 / 范畴 / 半数 / 饭糊范数
物差 / 路 / 无差线误差 / 误差限
静思数 / 金丝数值近似数
梅达并比韦达定理
正变性 / 正电线正定性
奇似性 / 其次线齐次性
三脚步固定式三角不等式
项链向量
P范图 / 批判p-范数
浮动的弹筒浮动的档位(数量级)