范围声明与使用方法

内容来源与边界

本教程覆盖 MIT 6.S191 的九讲主题与三个实验，整理方式遵循四条纪律：

• 以公开课程内容为骨架：九讲的顺序、覆盖范围、核心结论与课程一致；三个 Lab 的题目与课程一致（音乐生成、人脸检测、大语言模型微调）。
• 在不越出课程范围的前提下做三类工作：(1) 补齐讲义省略的推导与中间步骤；(2) 为每个概念补一句白话直觉；(3) 把散落在多页的名词整理成前后衔接的叙述线。
• 明确标注「拓展」：2023 年之后才成为默认实践的内容（状态空间模型、MoE、流匹配、测试时计算、VLA、机制可解释性、FP8/FSDP2 等）一律标为「拓展」或「前沿」，并给出可核查来源。
• 不编造：不虚构论文编号、实验数据与库函数签名。凡涉及具体数值（注意力复杂度、参数量、显存账）均给出可复算的依据；无法核实处标「需核实」。

时效说明：母本课程更新极快，讲义与录播之间存在版本差异。本教程以「概念不随时间失效」为取舍标准：会随版本变化的细节（具体榜单分数、模型版本号、库 API 形状）尽量给口径与判据而不是给数字；必须给数字时注明时点。

与课程的关系：本教程是学习辅助，不是课程的替代。课程官网、讲义 PDF、实验 Notebook 与录播视频是权威源；本教程的作用是把它们读薄、串起来。原文术语一律保留英文对照（见符号与缩略语表与术语索引）。

本书页面体系（一句话分工）

三层阅读结构

全书内容按性质分层，读者可跳读（盒子类型见范围与目标）：

• 必读层：定义、定理、每讲页首的「10 分钟复习版」、每节的「陷阱清单」；
• 主体层：动机叙述、例题、方法步骤、直觉解释、代码；
• 可跳层：证明与推导框、拓展与前沿展望——第一遍整段跳过是正常读法，二刷再回来逐行补。

怎么用这本书

1. 预习：读某讲页首的「10 分钟复习版」；缺什么先用先修工具箱补什么。
2. 精读：顺着节页走，遇到折叠的「推导」先跳过，遇到「直觉」一定要读。
3. 动手：读完对应讲次后做配套 Lab；Lab 里的「排错清单」列出训练不收敛时最可能的五个原因。
4. 复习：只看公式速查卡、速查背记卡与每讲的「必记结论」表；考前按最小必读路径走一遍。
5. 自检：做每讲的自检表与综合自测卷，把「以为会」的地方暴露出来。
6. 产出：课程唯一计分产出是项目提案，写作方法见项目提案指南；答辩训练见竞技场。

记号约定

• 向量用粗体小写 $\boldsymbol{x}$，矩阵用大写 $A$，标量用斜体 $x$；张量沿用框架习惯（如 $B\times T\times C$ 表示批 × 序列长 × 通道数）。
• 损失一律记 $\mathcal L$，参数记 $\theta$，学习率记 $\eta$，梯度记 $\nabla_\theta\mathcal L$。
• 第 $l$ 层的权记 $W^{(l)}$、偏置记 $\boldsymbol b^{(l)}$、激活记 $\boldsymbol h^{(l)}$ 或 $\boldsymbol a^{(l)}$。
• 上下标遵循「先层后元素」：$W^{(l)}_{ij}$ 表示第 $l$ 层权矩阵的第 $(i,j)$ 元。
• 形状记号：$\boldsymbol X\in\mathbb R^{B\times n}$ 表示「批优先」的张量；批维统一写在第 0 位，且在前向过程中保持不变。
• 复杂度记号：$T$ 为序列长度、$L$ 为层数、$d$ 为模型维度（$d_{\text{model}}$）、$d_k$ 为单头键维度（$d/h$）、$N$ 为参数量、$B$ 为批大小。
• 显存记账：一律以字节为单位写清口径（例如「混合精度 + Adam 系」的静态开销 $\approx16N$ 字节）。