Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

术语索引 · 中英对照

按主题分组。中文列是你在书里会看到的中文术语,英文列是英文对照(读英文教材、查库文档、看论文时用),「一句话」列给白话解释,出处列是定义出现的准确位置——不是页码,是可点击的编号。查概念时先在这里定位,再跳过去读定义。

本页覆盖第一章 + 补充篇(矩阵工具箱);老师主线第 2–5 章的术语以讲座页为准,讲座页的“课堂口述与标准术语对照”另收口误/同音词。

这一页只回答「叫什么、在哪」——公式在别处

这一页不放公式,只给术语名、英文、一句白话解释和定义位置。要查公式与结论去公式与结论卡;要辨析易混概念去易混对照卡。

分工是刻意的:术语索引解决「我想查的东西叫什么名字、定义在哪」,公式卡解决「这个结论怎么写」。两页放同样的内容,既让人不知道查哪页,也会两处一起过期。

同义说法也收在这一页(如「谱范数 = 2-范数 = 最大奇异值」「舍入误差 = 计算误差」),所以忘了叫法也能找到。

一 · 误差与浮点

中文English一句话出处
模型误差model error数学模型与所描述的实际问题之间的差定义 1.2.1
观测误差observation error观测数据与真实数据的差定义 1.2.2
截断误差(方法误差)truncation error也叫方法误差:无穷过程截成有限步造成的差定义 1.2.3
舍入误差(计算误差)rounding / roundoff error也叫计算误差:有限字长存不下数造成的差定义 1.2.4
绝对误差 / 误差限absolute error / error bound近似值与真值之差(绝对误差),以及该差绝对值的上界(误差限)定义 1.2.5
相对误差 / 相对误差限relative error / bound误差占近似值的比例(相对误差),以及该比例的上界(相对误差限)定义 1.2.6
有效数字significant digits从首位非零数字数起、敢担保的位数定义 1.2.7
算法algorithm从输入算出解的一个有限基本运算序列定义 1.2.8
数值稳定性numerical stability算法能控制舍入误差的传播、不把它放大定义 1.2.9
浮点数集floating-point set字长有限时可精确表示的数集定义 1.2.10
机器精度machine epsilon1 附近相邻浮点数之间「一步能迈多大」的相对刻度定义 1.2.10
单位舍入误差unit roundoff每次浮点运算相对误差的上界,双精度约 10−1610^{-16}定义 1.2.10
向前误差forward error结果离真值多远定义 1.2.11
向后误差backward error把计算结果看作精确解所需的最小输入扰动定义 1.2.11
向后稳定backward stable算法的向后误差与机器舍入同量级1.2.6
条件数(函数)condition number函数层面的敏感度:输入相对扰动传到输出的放大倍数1.2.6
灾难性抵消catastrophic cancellation相近数相减导致有效数字大量丢失例 1.2.7
大 OO 记号big-O notation刻画计算量随规模增长的阶,忽略常数因子1.2.4
计算复杂性computational complexity达到给定精度所需的时间与空间1.2.4

二 · 范数

中文English一句话出处
向量范数vector norm满足正定、齐次、三角不等式的「长度」定义 1.3.1
1-范数 / 2-范数 / ∞-范数1-, 2-, ∞-norm绝对值之和(1-范数)/ 欧氏长度(2-范数)/ 最大分量(∞-范数)定理 1.3.1
欧几里得范数Euclidean norm和 2-范数指同一个东西,也叫欧氏范数定理 1.3.1
pp-范数pp-norm一族范数,1、2、∞ 都是它的特例定理 1.3.2
范数等价equivalence of norms任意两种范数互相双向夹住,收敛结论不变定理 1.3.3
矩阵范数matrix norm满足四公理的矩阵「大小」;比向量范数多一条次可乘性定义 1.3.2
次可乘性submultiplicativity矩阵乘积的范数不超过范数之积(只保证 ≤\le 方向)定义 1.3.2
相容性(适配)compatible两种叫法指同一个东西:矩阵范数与向量范数配对时成立的那条不等式定义 1.3.3
从属范数 / 算子范数subordinate / operator norm两种叫法指同一个东西:由向量范数诱导出的矩阵范数,即最大拉伸倍数定理 1.3.4
列范数 / 行范数column-sum / row-sum norm矩阵 1-范数按列和算(列范数),∞-范数按行和算(行范数)定理 1.3.5
谱范数spectral norm谱范数、2-范数、最大奇异值指同一个东西定理 1.3.5
Frobenius 范数(Euclid 范数)Frobenius norm和 Euclid 范数指同一个东西:全部元素平方和开方;相容但不从属定义 1.3.4
反三角不等式reverse triangle inequality两个向量长度之差,不超过它们作差所得向量的长度1.3.1
谱半径spectral radius矩阵特征值模的最大值;不超过任一相容范数定义 2.5.1
Neumann 级数Neumann series矩阵版的等比级数:矩阵范数小于 1 时,逆矩阵可按它展开定理 1.3.7

三 · 内积与正交

中文English一句话出处
内积 / 内积空间inner product / inner product space内积是满足对称、线性、正定的二元函数;装上内积的向量空间叫内积空间定义 2.1.1
加权内积weighted inner product用正定矩阵加权的内积例 2.1.1
诱导范数induced norm由内积定义的范数定理 2.1.1
平行四边形恒等式parallelogram identity判定一个范数是否来自内积的判据定理 2.1.2
极化恒等式polarization identity由范数反算内积定理 2.1.2
正交orthogonal两个向量正交,指它们的内积为零定义 2.1.2
标准正交组 / 标准正交基orthonormal set / basis组内向量两两正交且都是单位向量;若这组向量还构成基,就称标准正交基定义 2.1.2
正交矩阵orthogonal matrix列向量标准正交的方阵;保内积、保范数,条件数为 1定义 2.1.3
正交变换orthogonal transformation用正交矩阵做的变换,不放大误差定理 2.1.6
正交不变性orthogonal invariance左乘正交阵不改变 2-范数与 F-范数定理 2.1.6
Parseval 恒等式Parseval’s identity标准正交基下,范数的平方等于各坐标平方和定理 2.1.4

四 · 子空间与投影

中文English一句话出处
列空间(值域)column space / range也叫值域:AA 作用于全空间得到的像定义 2.2.1
零空间(核)null space / kernel也叫核:被 AA 映为零向量的全体向量定义 2.2.1
行空间row spaceATA^{\mathrm T} 的列空间定义 2.2.1
左零空间left null spaceATA^{\mathrm T} 的零空间定义 2.2.1
秩定理rank–nullity theorem矩阵的秩与零空间维数之和等于它的列数定理 2.2.1
正交补orthogonal complement与子空间中每个向量都正交的向量全体定义 2.2.2
正交分解orthogonal decomposition全空间写成列空间与左零空间的直和定理 2.2.3
投影矩阵projection matrix把向量投到列空间的矩阵;它既对称又幂等定理 2.2.5
斜投影oblique projection幂等但不对称的投影,残差不再垂直于目标子空间定理 2.2.5
最小二乘least squares让残差 2-范数最小的解定义 2.2.3
正态方程normal equations最小二乘解所满足的方程组定理 2.2.6
加权最小二乘weighted least squares换一个内积重新做最小二乘,公式结构不变定理 2.2.7
残差residual右端向量减去算得的像定理 2.4.4

五 · 分解与正交化

中文English一句话出处
经典 Gram–Schmidtclassical Gram–Schmidt (CGS)用原始列算系数;正交性损失大定理 2.3.1
修正 Gram–Schmidtmodified Gram–Schmidt (MGS)用当前列算系数;稳定性好一个条件数2.3.3
QR 分解QR factorization拆成一个正交阵乘一个上三角阵定理 2.3.2
Householder 反射(初等反射矩阵)Householder reflection也叫初等反射矩阵:镜像变换,一次消掉一整列定义 2.3.1
反射向量Householder vector确定镜面的法向量;符号的选择是为避免相近数相减定义 2.3.1
Givens 旋转Givens rotation平面旋转,一次只消一个元素;保定向定义 2.3.2
列主元 QRcolumn-pivoted QR按列范数选主元的 QR,顺带给出秩的估计定理 2.3.2
全 QRfull QR把瘦 QR 的 QQ 补足成一个正交方阵定理 2.3.2
奇异值分解singular value decomposition (SVD)正交 – 对角 – 正交的分解定理 2.6.1
奇异值singular valueATAA^{\mathrm T}A 特征值的非负平方根,降序排列定理 2.6.1
瘦 / 满 SVDeconomy / full SVD只留秩那么多列的叫瘦 SVD,U,VU,V 都是方阵的叫满 SVD2.6.1
Moore–Penrose 伪逆pseudoinverse非零奇异值取倒数、零保持零得到的广义逆定义 2.6.1
Penrose 四条件Penrose conditions唯一刻画伪逆的四条等式定理 2.6.3
Eckart–Young 定理Eckart–Young theorem截断 SVD 是 2-范数与 F-范数下的最优秩 kk 逼近定理 2.6.4
低秩逼近low-rank approximation截断 SVD:前 kk 项外积之和定理 2.6.4
数值秩numerical rank按阈值数非零奇异值的个数;该阈值须按噪声水平选取2.6.4
核范数nuclear norm奇异值之和例 2.6.4
主成分分析principal component analysis (PCA)用 SVD 找出数据方差最大的方向2.6.6
填充fill-in稀疏矩阵分解时新产生的非零元2.3.5

六 · 条件数与谱

中文English一句话出处
条件数(矩阵)condition number矩阵范数与其逆矩阵范数之积;衡量矩阵问题的固有敏感度定义 2.4.1
谱条件数spectral condition number2-范数下的条件数,等于首末奇异值之比定义 2.4.1
成分条件数 / Skeel 条件数componentwise / Skeel condition number两种叫法指同一个东西:元素扰动下的正确度量,用绝对值矩阵定义2.4.4
特征值 / 特征向量eigenvalue / eigenvectorAA 只做伸缩的方向(特征向量),及伸缩的倍数(特征值)定义 2.5.1
谱spectrum全部特征值的集合定义 2.5.1
Gerschgorin 圆盘Gerschgorin disk由对角元与同行非对角元之和围出的圆盘,特征值都落在其中定理 2.5.2
严格对角占优strictly diagonally dominant对角元大于同行其余元素绝对值之和,则矩阵非奇异定理 2.5.2
Rayleigh 商Rayleigh quotient二次型与向量范数平方之比;矩阵对称时,它给出特征值的上下界定义 2.5.2
Courant–Fischer 极小极大原理Courant–Fischer min-max全部特征值的变分刻画定理 2.5.5
幂法power method迭代求按模最大的特征值的方法定理 2.5.3
反幂法inverse iteration求最接近给定 μ\mu 的特征值2.5.3
Weyl 不等式Weyl’s inequality对称矩阵特征值的绝对扰动界定理 2.5.6
Bauer–Fike 定理Bauer–Fike theorem一般矩阵的谱扰动界,含特征向量矩阵的条件数定理 2.5.6
非正规矩阵nonnormal matrix特征向量不正交;它的特征值对扰动可开方敏感例 2.5.6
伪谱pseudospectrum非正规矩阵「近似特征值」构成的集合例 2.5.6

七 · 算法与复杂度(含课堂术语)

中文English一句话出处
秦九韶法(Horner 格式)Horner’s method也叫 Horner 格式:把多项式求值降到线性复杂度1.2.4
高斯消去法Gaussian elimination初等行变换化成上三角再回代第 3 讲
列主元高斯消去法Gaussian elimination with partial pivoting每步选绝对值最大的主元,使乘数不超过 1第 3 讲
回代 / 前代backward / forward substitution回代解上三角方程组,前代解下三角方程组第 4 讲
LU 分解(Doolittle)LU factorization也叫 Doolittle 分解:一次分解,反复用于不同右端第 4 讲
追赶法Thomas algorithm三对角方程组的线性复杂度解法第 4 讲
矩阵分裂matrix splitting把矩阵拆成「好求逆的部分」与剩余部分第 4 讲
迭代矩阵iteration matrix迭代格式的系数矩阵;迭代收敛当且仅当它的谱半径小于 1第 5 讲
谱半径判据spectral radius criterion迭代收敛的充要条件:迭代矩阵的谱半径小于 1第 5 讲
先验 / 后验误差估计a priori / a posteriori estimate先验估计用初值,后验估计用相邻迭代差第 5 讲
Jacobi 迭代Jacobi iteration按对角 / 非对角分裂第 5 讲
Gauss–Seidel 迭代Gauss–Seidel iteration按上 / 下三角分裂,新分量立刻投入使用第 5 讲
逐次超松弛法successive over-relaxation (SOR)用松弛因子加权;取 1 退化为 Gauss–Seidel第 6 讲
松弛因子relaxation parameterSOR 的参数;落在 (0,2)(0,2) 之外必不收敛第 6 讲
Ostrowski 定理Ostrowski’s theorem对称正定时 SOR 的收敛范围放宽到 (0,2)(0,2)第 6 讲
幂法power method每步「先单位化再乘 AA」,迭代出按模最大的特征值及其特征向量第 7 讲
反幂法inverse power method对 A−1A^{-1} 用幂法求按模最小的特征值;实际每步解 Auk+1=ykAu_{k+1}=y_k第 7 讲
位移反幂法shifted inverse iteration对 A−pIA-pI 用反幂法,求最接近已知近似 pp 的特征值,结果再加回 pp第 7 讲
二分法bisection method连续函数两端异号即折半定位;误差随区间长 (b−a)/2n(b-a)/2^n 下降第 7 讲
不动点迭代fixed-point iteration把 f(x)=0f(x)=0 改写为 x=φ(x)x=\varphi(x) 后迭代,极限即不动点第 7 讲
压缩映射contraction mapping∣φ′∣≤L<1\lvert\varphi&#x27;\rvert\le L\lt1;与「自映射」一起保证收敛到唯一不动点第 7 讲
Krylov 子空间方法Krylov subspace methodGMRES 等大规模迭代解法第 4 讲

八 · 记法速查

只列纯记法约定;符号的含义见前七节或符号表。

记号读法 / 含义出处
x\boldsymbol{x}、AA向量用粗体小写,矩阵用大写斜体符号表
C(A)C(A)、N(A)N(A)列空间、零空间(也可写 Ran⁡A\operatorname{Ran}A、Null⁡A\operatorname{Null}A)符号表
∥⋅∥\lVert\cdot\rVert不指明哪一种范数时的泛指记号符号表
σi(A)\sigma_i(A)、ρ(A)\rho(A)奇异值(降序)、谱半径符号表
uu、eps\mathrm{eps}单位舍入误差、机器精度(前者是后者的一半)符号表
mikm_{ik}高斯消去的消元乘数第 3 讲
ω\omegaSOR 的松弛因子第 6 讲
uku_k、yky_k幂法中的迭代向量、其单位化向量第 7 讲
pp位移反幂法中的位移量(目标特征值的已知近似)第 7 讲
讲座页的记号差异

课堂精编为忠实还原创课板书,有三处与正文不同:向量写作斜体 xx、误差限用 εx\varepsilon_x、PP 兼作分裂剩余与特征向量矩阵(DD 兼作常数与对角块)。完整登记见课堂精编导览。