第 2 讲 · 学习目标自检表

目标原文来自学习目标（K / S / A）第 2 讲一节。用法：读完一讲，逐条自问能否做到；「半」或「不能」按最后两列回查。 打分口径：能不看书写出 / 算出并在白纸上说清理由，才算「能」；只能认出答案算「半」；想不起依据算「不能」。

编号	目标（能……）	自评	依据	对应习题
K2.1	写出 RNN 递推式与 BPTT 的梯度连乘形式，解释梯度消失的机制与判据	☐ 能 / ☐ 半 / ☐ 不能	定义 2.2.1、定理 2.2.2、定理 2.2.3、例 2.2.1	A2、B1、C5
K2.2	写出 LSTM 的门公式，说明细胞状态为何能缓解梯度消失	☐ 能 / ☐ 半 / ☐ 不能	定义 2.3.1、定理 2.3.1、2.3.2	A3、B1(d)、C5
K2.3	写出缩放点积注意力并给出 $\sqrt{d_k}$ 的方差论证	☐ 能 / ☐ 半 / ☐ 不能	定义 2.4.4、定理 2.4.1、附录 C.3	B2、C1
K2.4	列举 Transformer 的组成部件，并说明 Pre-LN 相比 Post-LN 的优势	☐ 能 / ☐ 半 / ☐ 不能	定义 2.5.1、定义 2.5.3、定理 2.5.2、方法 2.5.1	A6、B3、D2
K2.5	分别说明 RoPE、GQA、FlashAttention 各解决什么问题、代价是什么	☐ 能 / ☐ 半 / ☐ 不能	定义 2.6.3、定理 2.6.4、方法 2.6.2、2.4.6	A7、B4、D1
S2.1	推导注意力输出的形状变化与复杂度（时间 $O(T^2d)$ 、显存 $O(T^2)$ ）	☐ 能 / ☐ 半 / ☐ 不能	定理 2.4.3、例 2.4.1、附录 C.4	B4、C2
S2.2	实现一个最小自注意力模块，通过形状断言与因果掩码正确性检查	☐ 能 / ☐ 半 / ☐ 不能	定义 2.4.5、定义 2.5.1、2.5.7	C1、C2、C3
S2.3	估算给定配置的 KV cache 显存，并给出三种可行的优化手段与判据	☐ 能 / ☐ 半 / ☐ 不能	方法 2.5.3、方法 2.6.1、例 2.6.1、附录 C.5	C4、D1
A2.1	在给定序列长度与并行需求下，判断该选 RNN、注意力还是状态空间模型	☐ 能 / ☐ 半 / ☐ 不能	方法 2.7.3、方法 2.1.1、2.7.11	D3、D4

附加核对（不计入上述九条，但「不能」就意味着工程上会踩坑）

主题	能……	依据	对应习题
任务形态与因果约束	说出四类任务里哪两类必须因果，并判断一个在线任务能否用双向结构	定义 2.1.2、2.1.5 的选型清单、2.3.5	A5、D3
n-gram 的天花板	用 $V^n$ 与语料规模算出「结构上不支持长依赖」，并说明它换掉了什么问题	例 2.1.1、定义 2.1.3	A1
门控的账	算出门控单元的参数量倍数（ $1:3:4$ ），并说出「记忆与输出分离」买到了什么	例 2.3.1、方法 2.3.1	A3、B1、B3
teacher forcing 与 exposure bias	说清「训练好、自由跑崩」的机制，并给出两种口径的损失对比	定义 2.2.3、定义 2.8.2、2.8.7	自测卷第四部分
采样与困惑度	手算温度 / top-p 的分布，并说明困惑度不是生成质量指标	定义 2.8.3、定义 2.8.4、定理 2.8.1、例 2.8.1	C6、自测卷第二部分

常见失败模式快速对照（自检时最容易自我误判的五处）

你以为的问题	实际更可能是	先做哪一件事
「RNN 层数不够，加层就行」	沿时间的连乘雅可比（ $\rho$ 偏离 1）	打印跨时间步的梯度范数，算一次 $n^\star=-7/\log_{10}\rho$ （例 2.2.1）
「梯度消失，加大学习率」	消失是结构问题，与步长无关	先确认方向：是 `NaN`（爆炸，裁剪）还是 loss 停滞（消失，改结构）（2.2.7）
「注意力不准，换更大模型」	漏了 $\sqrt{d_k}$ 、softmax 方向错、漏位置编码	先跑 C1 的三条断言与「打乱词序」检查（2.6.1）
「训练损失很低，模型没问题」	漏因果掩码，或只看了 teacher-forced 损失	关掉掩码重训一次看差异，同时报告自由跑的损失（2.8.7 第 6 条）
「长上下文很贵，加卡就行」	三笔账增长阶不同，先撞墙的通常是 KV cache 显存与带宽	按方法 2.6.1 分笔估算，再决定治哪一笔

判定：九条全「能」→ 进入第 3 讲；出现「半」→ 重做对应习题并回读依据小节；出现「不能」→ 回正文重读该节的 def / thm 与「即时自测」，再用回忆卡做闭卷复述。整讲合格线由综合自测卷给出（ $\ge75$ 分可进入下一讲）。