错。 pad 位置既不是数据也不该产生梯度；不屏蔽会让模型花容量学「预测 pad」，并把损失均值拉向容易的位置——序列任务里最常见的隐性偏差来源（2.1.6）。给分：判断 1 分 + 理由 2 分（须提到「pad 位置产生梯度 / 污染损失统计」）。

错。 「参数与 $T$ 无关」只保证形状上能接住任意长度（一致性），不保证学得动：梯度要穿过 $T$ 次状态转移（连乘 ⇒ 消失 / 爆炸），而且所有历史必须压进固定 $d_h$ 维状态（有损摘要）。长序列还需要门控、裁剪、合理的窗口切分与初始化（定理 2.2.1、定理 2.2.3）。给分：判断 1 分 + 理由 2 分（须区分「形状可接」与「可训练 / 可记忆」）。

对。 $\boldsymbol c_t$ 是内部长期记忆（不对外输出），$\boldsymbol h_t=\boldsymbol o_t\odot\tanh(\boldsymbol c_t)$ 是读出部分；接口上 nn.LSTM 返回 (output, (h_n, c_n))，做状态传递或检查点恢复时两个都要带上（定义 2.3.1、2.3.8 错误 3）。给分：判断 1 分 + 理由 2 分（须指出 c_n 不在 output 里）。

对。 掩码要把未来位置的权重精确置零，只有 $-\infty$ 经 $\exp$ 之后才是 0；加在 softmax 之后只是把权重改小、行和不再为 1、输出尺度被破坏。另外要用 $-\infty$ 或该 dtype 的 finfo.min（加 0 等于不掩码），并处理「整行全被掩码」时的 NaN（定义 2.4.5）。给分：判断 1 分 + 理由 2 分（须给出「$-\infty$ ⇒ 精确置零」或「行和」其中一条）。

对。 每头三个投影共 $3d\,d_h$，$H$ 头合计 $3d(Hd_h)=3d^2$，加 $W^O$ 的 $d^2$ 与偏置 $4d$，得 $4d^2+4d$——与 $H$ 无关（定理 2.5.1）。但参数量相同不等于表达相同：$H$ 改变的是归纳偏置，代价是 $d_h=d/H$ 变小与 reshape / 转置的访存开销上升。给分：判断 1 分 + 理由 2 分（须写出 $4d^2$ 的来历或指出代价）。

错。 输出是 $\boldsymbol P\boldsymbol V$：权重只决定取多少，取到的内容由 $\boldsymbol V$ 的行决定（权重与贡献之间隔着 $\boldsymbol V$）；残差与后续层会稀释该头的结果；而且 softmax 权重之和恒为 1，一个位置上升必然压低其他位置——「权重高」可能是「别的候选被削弱」的结果（2.4.7）。给分：判断 1 分 + 理由 2 分（须给出「隔着 $\boldsymbol V$」或「归一化耦合」之一）。

对。 它用分块 + 在线 softmax（运行最大值与指数和的重缩放递推）把中间矩阵留在片上内存，输出与整块 softmax 数学等价（差别只有浮点舍入，故要求 FP32 累积统计量）；乘加次数 $4BHT^2d_h$ 不变——省的是 $T\times T$ 矩阵的 HBM 读写与存放（定理 2.6.4）。给分：判断 1 分 + 理由 2 分（须同时提到「等价」与「FLOPs 不变」）。

错。 内积只依赖相对位移是表示层面的性质（$\langle\boldsymbol R_m\boldsymbol q,\boldsymbol R_n\boldsymbol k\rangle=\langle\boldsymbol q,\boldsymbol R_{n-m}\boldsymbol k\rangle$，定理 2.6.3）；外推时高频维度的相位会绕圈（混叠），分数分布相对训练区间系统性偏移，扩大上下文通常要额外做位置插值 / 频率缩放。「公式成立」不等于「训练后会外推」。给分：判断 1 分 + 理由 2 分（须提到相位混叠或「表示 ≠ 学习保证」）。

对。 公式为 $2LB\,Tn_{kv}d_h\times2$ 字节（FP16），三项都是线性；GQA 让每 $g$ 个查询头共享一组 KV（$n_{kv}=H/g$），缓存与读取带宽按 $g$ 倍下降，质量损失通常很小——这是 2023 年以来开源大模型的常见默认（方法 2.5.3、方法 2.6.2）。给分：判断 1 分 + 理由 2 分（须给出公式或 $H/n_{kv}$ 的来源）。

错。 渐近阶只描述大 $T$ 行为：稠密注意力是矩阵乘（GPU 最擅长的算子），而扫描 / 逐元素 / 状态读出类实现常是访存受限的；在中小 $T$ 上线性方案更慢是常见现象，只有 $T$ 远大于某个由实现与硬件决定的交叉点，渐近优势才兑现（2.7.11 第 6 条、例 2.7.1）。任何「线性更快」的论断都必须附上 $T$、硬件与实现。给分：判断 1 分 + 理由 2 分。

(a) $\mathrm{PPL}=e^{1.8}\approx6.05$。(b) 均匀分布下 $H=\ln50\approx3.912$、$\mathrm{PPL}=50$；$6.05\ll50$ 说明模型明显好于随机猜测。(c) 说明「给定真实前缀，下一个 token 的平均不确定性约等于 6 个等概率候选」；不说明生成质量、不说明自由跑时误差不会累积——困惑度只与「给定真实前缀的一步预测」有关，与采样策略无关（定理 2.8.1、2.8.6）。给分：(a) 1 分；(b) 1 分（两项各 0.5）；(c) 2 分（须同时写出「说明」与「不说明」）。

$n^\star=\dfrac{-7}{\log_{10}\rho}$：$\rho=0.95\Rightarrow n^\star\approx314$ 步；$\rho=0.99\Rightarrow n^\star\approx1604$ 步。1000 步尺度上：$0.98^{1000}=10^{-8.77}\approx1.7\times10^{-9}$（已在地板之下），而 $0.99^{1000}=10^{-4.36}\approx4.3\times10^{-5}$（仍有约 $0.004\%$，比前者高四个数量级）——门值每靠近 1 一点点，记忆跨度就成倍拉长，这也是 定理 2.3.1 说「门值离 1 有多远决定它能记多久」的算术含义。给分：两个 $n^\star$ 各 1 分 + 量级对比 2 分。

(a) 基准块 $d_hd_x+d_h^2+d_h=200\times100+200\times200+200=20{,}000+40{,}000+200=60{,}200$；朴素 RNN $60{,}200$、GRU $3\times60{,}200=180{,}600$、LSTM $4\times60{,}200=240{,}800$（倍数 $1:3:4$）。(b) 每门再多一组 $d_h=200$ 的偏置：$60{,}400$ ⇒ RNN $60{,}400$、GRU $181{,}200$、LSTM $241{,}600$；倍数仍是 $3$ 与 $4$，差别只在偏置项（例 2.3.1、方法 2.3.1）。给分：(a) 3 分（基准块 1 分 + 三个数各约 0.67）；(b) 1 分。

(a) $2\cdot L\cdot B\cdot T\cdot n_{kv}\cdot d_h\times2$ 字节 $=2\times32\times4\times16384\times32\times128\times2=3.44\times10^{10}$ 字节 $=\mathbf{32\ GiB}$。(b) GQA：$n_{kv}$ 从 $32$ 降到 $8$，缓存按 $4$ 倍下降到 $\mathbf{8\ GiB}$；MQA：$n_{kv}=1$，$\mathbf{1\ GiB}$。对照：KV cache 与 $B$、$T$、$n_{kv}$ 都线性相关，而分数矩阵（$BHT^2$）与 $n_{kv}$ 无关——这正是 GQA 治第三笔账、不治第一笔账的原因（方法 2.5.3、例 2.6.1）。给分：(a) 2 分（算式 1 + 数值 1）；(b) 2 分（两档各 1）。

(a) 指数项 $(20.086,\ 2.718,\ 1.000,\ 0.135)$，分母 $23.939$ ⇒ $\hat{\boldsymbol p}=(0.839,\ 0.114,\ 0.042,\ 0.006)$。(b) 降序累积：$0.839$、$0.953$（首次跨过 $0.9$，该候选保留）、$0.994$、$1.000$ ⇒ $\mathcal S=\{1,2\}$；重归一化 $(0.881,\ 0.119)$；丢弃质量 $=1-0.953=\mathbf{0.047}$。(c) 变大：温度把分布摊平后，需要更多候选才能凑够同样的概率质量——核采样因此「模型确信时自动收窄、模型犹豫时自动放宽」（定义 2.8.3、定义 2.8.4、例 2.8.1）。给分：(a) 1 分；(b) 2 分（核 0.5 + 概率 1 + 丢弃质量 0.5）；(c) 1 分。

(a) 由 $\boldsymbol z_k=w h_{k-1}+c$、$h_k=\tanh(z_k)$ 得单步雅可比 $J_k=\dfrac{\partial h_k}{\partial h_{k-1}}=w\,\phi'(z_k)$；链式法则逐段相乘： $$\frac{\partial h_t}{\partial h_{t-n}}=\prod_{k=t-n+1}^{t}w\,\phi'(z_k)=w^{n}\prod_k\phi'(z_k)\ \Longrightarrow\ \Bigl|\frac{\partial h_t}{\partial h_{t-n}}\Bigr|\le|w|^{n}\ (\tanh:\ |\phi'|\le1).$$

(b)

$\rho$	$n=10$	$n=50$	$n=100$
$0.95$	$0.599$	$0.0769$	$5.92\times10^{-3}$
$1.05$	$1.63$	$11.5$	$131.5$

(c) 衰减：$n^\star=\dfrac{-7}{\log_{10}0.95}\approx314$ 步；爆炸：$\dfrac{7}{\log_{10}1.05}\approx169$ 步（中间量从 $1$ 涨到 $10^{7}$）。

(d) 裁剪作用在更新之前：$\boldsymbol g\leftarrow\boldsymbol g\cdot\min(1,c/\lVert\boldsymbol g\rVert)$，把爆炸方向的单步位移压回阈值内（$\rho\gt1$ 那一侧的安全网），但它不改变连乘结构。门控改的是公式本身：把状态更新写成 $\boldsymbol c_t=\boldsymbol f_t\odot\boldsymbol c_{t-1}+\boldsymbol i_t\odot\tilde{\boldsymbol c}_t$，于是 $\partial\boldsymbol c_t/\partial\boldsymbol c_{t-1}=\operatorname{diag}(\boldsymbol f_t)$——既不含 $W$、也不含 $\phi'$，且因子严格在 $(0,1)$ 内（只衰减、不放大），并且「保留多久」成了可学、可条件化的门值（定理 2.2.3、定理 2.3.1、方法 2.2.2）。

评分：(a) 3 分（单步雅可比 1 + 连乘 1 + 界 1）；(b) 2 分（两行各 1，数值错一处扣 0.5）；(c) 2 分（两式各 1）；(d) 3 分（裁剪 1 + 门控两项改动 2）。

(a) 每个查询分别与三行键做内积： $$\boldsymbol S=\begin{pmatrix}2&2&1\\2&4&0\\1&0&1\end{pmatrix}.$$

(b) $\sqrt2\approx1.414$， $$\frac{\boldsymbol S}{\sqrt2}=\begin{pmatrix}1.414&1.414&0.707\\1.414&2.828&0\\0.707&0&0.707\end{pmatrix},\qquad \boldsymbol P\approx\begin{pmatrix}0.401&0.401&0.198\\0.187&0.768&0.045\\0.401&0.198&0.401\end{pmatrix}.$$ （以第 1 行为例：$e^{1.414}=4.113$、$e^{0.707}=2.028$，分母 $4.113+4.113+2.028=10.255$，故 $4.113/10.255=0.401$。）

(c) $$\boldsymbol O\approx\begin{pmatrix}5.000&5.000\\2.094&7.906\\6.017&3.983\end{pmatrix}.$$ 第一行恒为 $(5,5)$ 不是巧合：$\boldsymbol q_1=(1,1)$ 与 $\boldsymbol k_1=(1,1)$、$\boldsymbol k_2=(2,0)$ 的内积相同（都是 $2$），与 $\boldsymbol k_3=(0,1)$ 的内积是 $1$，因此该行权重必形如 $(a,a,b)$ 且 $2a+b=1$；而值向量的前两行之和恰好是第三行的两倍（$(10,0)+(0,10)=2(5,5)$），于是 $$a\boldsymbol v_1+a\boldsymbol v_2+b\boldsymbol v_3=2a\boldsymbol v_3+b\boldsymbol v_3=(2a+b)\boldsymbol v_3=\boldsymbol v_3=(5,5).$$ 输出被强制坍缩到 $\boldsymbol v_3$，与 $a$ 取多少（也就是与温度）无关——这正是 例 2.4.1 里「键高度相关时权重怎么变都不改变输出」的同一现象。

(d) 不缩放时第 1 行变为约 $(0.422,0.422,0.155)$、第 2 行变为约 $(0.117,0.867,0.016)$——分布更尖锐（第 2 行的最大权重从 $0.768$ 升到 $0.867$）。本例 $d_k=2$ 差异还不大；$d_k=512$ 时分数标准差约 $22.6$，softmax 会被推到接近 one-hot、梯度随之消失（定理 2.4.1）。

评分：(a) 2 分；(b) 2 分（缩放 1 + softmax 1，逐行错一处扣 0.5）；(c) 4 分（数值 2 + 对称性解释 2）；(d) 2 分（数值 1 + 与 $\sqrt{d_k}$ 的联系 1）。

(a) ① 分数 / 权重矩阵（单层、若物化）：元素数 $B\cdot H\cdot T^2$、显存 $BHT^2\times2$ 字节，$O(T^2)$；② 注意力 FLOPs（前向）：$\approx4BHT^2d_h$，$O(T^2d)$；③ KV cache（整模型、推理）：$2LB\,Tn_{kv}d_h\times2$ 字节，$O(T)$（常数大）。

(b) 以 $T=8192$ 为基准（①$=4$ GiB、②$=1.1$ TFLOP、③$=4$ GiB，见 方法 2.6.1）：$T$ 乘 $8$ ⇒ ① 与 ② 各乘 $8^2=64$，即 ① $=\mathbf{256\ GiB}$、② $=\mathbf{70.4\ TFLOP}$；③ 只乘 $8$，即 $\mathbf{32\ GiB}$。

(c) 最先撞墙的是①（单层分数矩阵的显存）：它是 $O(T^2)$ 且 $T=65536$ 时单层就 256 GiB，远超单卡容量；紧随其后的是 ③（KV cache，推理时随 $B$ 继续放大，长上下文下可达权重显存的数倍）。显存问题先于算力问题出现：② 的 FLOPs 虽然也乘 64，但算力可以靠分块与并行流水填满，而显存是硬上限（2.6.6、例 2.6.1）。

(d) ① 不物化中间矩阵（FlashAttention / SDPA）：治第①笔，代价是反向要重算块分数（FLOPs 不变，换的是访存与显存）；② KV 压缩（GQA / MQA、KV 量化、滑窗与淘汰）：治第③笔，GQA / 量化基本不改变可见范围、相对安全，而滑窗 / 淘汰永久丢弃信息、要按任务是否可以忍受「不能精确回忆远处内容」来选；③ 序列并行（Ring Attention / Ulysses / Megatron 序列并行）：不减算术量，只摊薄每卡显存，代价是通信（环状 P2P、all-to-all）与整除约束（方法 2.6.2、2.6.9）。

评分：(a) 3 分（三式各 1，须含增长阶）；(b) 3 分（三值各 1）；(c) 2 分（指出①或③并说明「显存先于算力」）；(d) 2 分（三种手段与代价各约 0.67）。

(a) 诊断顺序与判据：① 分离两种模式——同时报告 teacher-forced 损失与自由跑损失的差值，差值大小就是 exposure bias 的量级（判据：自由跑损失显著高于训练损失）；② 查掩码与错位——若有 Transformer 分支，关掉因果掩码重训一次对比（判据：损失异常低而生成崩坏）；确认标签是「用 $x_t$ 的输出预测 $x_{t+1}$」（写成预测自己时损失降得异常快、生成只会复读）；③ 查过拟合——比较训练集与留出集 PPL（判据：留出集 PPL 先降后升或远高于训练集，同时重复率上升）；④ 查采样组合——固定初始片段，只改一个参数各生成三段（判据：$\tau$ 过小 + 强截断直接制造复读；把 $\tau$ 调到 $0.8\sim1.2$、top-$p\in[0.9,0.95]$ 后重复率应下降而音高分布仍接近训练集）；⑤ 查窗口长度——把窗口从 $16$ 调到 $64$（判据：主题再现开始出现，说明之前只是学不到段落级结构）。

(b) 属于模型 / 训练的是 $①②③⑤$（掩码、标签配对、过拟合、序列长度）；属于评估或采样口径的是 $④$，以及「用训练集 PPL 选模型」「只报 teacher-forced 损失」这两类报告习惯（2.8.7 第 6、7、8、9 条）。

(c) 失败判据：① 自由跑损失与训练损失差距持续扩大（exposure bias 主导）；② 调好采样参数后重复率仍高于训练集自身的 n-gram 基线；③ 留出集 PPL 与生成质量同时恶化（过拟合已发生）；④ 窗口加长后主题再现仍不出现（长程结构确实没学到）。

(d) 验证计划：每次只改一个变量（掩码 / 窗口 / 采样），固定种子与初始片段各生成三段并盲听对比；报告三种温度下的重复率、音高分布距离与留出集 PPL，并附均匀分布基准 $\log V$ 与训练集自身的 n-gram 基线（2.8.6、定理 2.8.1）。

评分：(a) 4 分（四步以上、每步有判据）；(b) 2 分（分类正确）；(c) 2 分（可测量）；(d) 2 分（单变量 + 基线对照）。

(a) 需要补充的证据：① 消融——屏蔽该头（输出置零或把它从 $W^O$ 的对应块里移除）后，句法敏感任务（主谓一致、依存距离）的指标是否显著下降？② 跨初始化稳定性——换 $2\sim3$ 个随机种子重训，同样「盯句首」的模式是否重现（若每次重训模式都不同，说明它是可替代的冗余）；③ 与梯度归因对照——用输入梯度 / 输入 × 梯度（或归因积分）看该位置是否真的对输出有主导贡献；④ 合成任务验证——构造有可判定因果结构的任务（例如「必须复制第 3 个 token」「按括号配对」），看该头是否真的承担所声称的功能；⑤（可选）权重 ≠ 贡献的检查——该位置的 $\boldsymbol V$ 行本身是否接近零、或在下游被投影到「无用子空间」（2.4.7）。

(b) 失败判据：① 消融后指标变化在噪声范围内（该头可被替代，不足以承载唯一解释）；② 跨种子的头功能不一致（模式不稳定）；③ 梯度归因显示该位置贡献占比很小、或与权重排序不一致；④ 合成任务上该头表现与随机头无差别；⑤ 权重高但 $\boldsymbol V$ 行近乎为零（贡献远小于权重）。

(c) 验证方案：在一个小 Transformer（如 2.8.3 的 TinyTransformer）上跑一个可判定的合成任务（复制 / 排序 / 括号配对），用 $3$ 个种子各训练一次；对每个头做消融并记录指标；把「权重图 — 梯度归因 — 消融影响」三张表并列，只有三者一致时才接受「该头承担某功能」的说法。要点是：注意力权重是有用的调试信号，不是解释证据（2.4.7、2.6.1 的诊断口径）。

评分：(a) 4 分（四条各 1）；(b) 3 分（判据可判定）；(c) 3 分（合成任务 + 多种子 + 三方对照）。