错。 去掉偏置后超平面被迫过原点（每层都是过原点的线性映射），平移自由度丢失；例如「$(0,0)$ 归负类、其余归正类」这类问题立刻不可分。给分：判断 1 分 + 理由 2 分（须提到「平移自由度 / 过原点」）。

错。 代价部分正确（这正是反向模式自动微分的价值，定理 1.5.2），但反向传播必须保存前向的中间结果（各层激活、门控值），激活显存约 $O(L\cdot B\cdot d)$——这是训练显存远大于推理显存的主因。缓解手段：激活重计算、混合精度、融合算子（1.5.2 的「内存换速度」）。给分：判断 1 分 + 理由 2 分（指出「需保存中间结果」）。

错。 学习率过小会让训练「慢得等在原地」，在有限预算内反而停在更差的解；而且它需要与批大小、动量、warmup 联动（例如加动量后有效步长放大 $1/(1-\beta)$，见 命题 1.6.1）。稳定性的正确理解是「$\eta\le1/\beta$ 是硬上限、下降保证是局部的」（定理 1.5.1），不是越小越好。给分：判断 1 分 + 理由 2 分（须给出「不是越小越好」的依据）。

错。 训练高、验证低确实指向泛化问题，但成因可能是估计误差（数据不足 / 正则不足）也可能是评估问题（数据泄漏、验证集分布不同、指标口径不一致）。按 推论 1.7.1 的框架，应先确认划分与评估流程，再谈容量。给分：判断 1 分 + 理由 2 分（提到「先排除泄漏 / 评估流程」优先）。

错。 在同一数据集上 $H(p,q)=\mathrm{KL}(p\|q)+H(p)$，而目标分布的熵 $H(p)$ 与模型参数无关，故 $\arg\min H(p,q_\theta)=\arg\min\mathrm{KL}(p\|q_\theta)$，两者优化等价（定理 1.4.3）。注意例外：跨数据集比较绝对值时不可比（$H(p)$ 不同）。给分：判断 1 分 + 理由 2 分（须给出关系式或「常数熵项」）。

错。 L2 项进入梯度后被逐元素除以 $\sqrt{\hat v_t}+\epsilon$，衰减强度取决于各坐标的梯度历史；AdamW 的衰减是更新后的独立一步，对所有坐标施加同一相对衰减 $\eta_t\lambda$。二者在 SGD 下才严格等价（定理 1.6.1）。给分：判断 1 分 + 理由 2 分。

错。 二者的差别在统计量覆盖的集合 $\mathcal S$：BN 跨批 + 空间统计，与批大小耦合、变长序列上统计量会漂移、推理 batch=1 时只能用 running statistics，造成训练-推理不一致；LN 对每个 token 独立统计，与批大小、序列长度都无关且训练推理一致。结构约束决定选择，不是「效果差不多」（定理 1.7.2、1.7.4）。给分：判断 1 分 + 理由 2 分（须给出至少一条结构理由）。

错。 双下降说明参数量本身既不是过拟合的充分条件也不是必要条件（定理 1.7.3）：越过插值阈值后，梯度下降的隐式偏好（范数小、平滑的解）反而让测试误差二次下降。效果不好应先按「近似 / 估计 / 优化」三类误差分类，再决定加容量还是加正则。给分：判断 1 分 + 理由 2 分（提到双下降或隐式偏好）。

错。 裁剪限制的是单步位移的上限（$\boldsymbol g\leftarrow\boldsymbol g\cdot\min(1,c/\lVert\boldsymbol g\rVert_2)$），它防的是长程梯度尖峰、低精度溢出前兆与异常样本；它不改变损失曲面的曲率，因此不能把「$\eta\le1/\beta$」这个上限抬高。学习率过大仍然会在裁剪下震荡（1.6.6、定理 1.5.1）。给分：判断 1 分 + 理由 2 分。

错。 测试集只能用于最终报告且只应使用一次；用它做早停等于把测试集信息泄漏进模型选择，报告指标系统性偏高（定义 1.7.1、1.7.8 错误 1）。早停应使用验证集，并保存验证损失最佳的权重。给分：判断 1 分 + 理由 2 分。

输入 $8\times4$；Linear(4,6) → $8\times6$，参数 $4\times6+6=30$；激活（逐元素）→ $8\times6$，参数 $0$；Linear(6,2) → $8\times2$，参数 $6\times2+2=14$。总参数量 $=44$，与 $B$ 无关（方法 1.2.1）。给分：形状 2 分（错一处扣 1）+ 参数量与总数 2 分。

$z=\boldsymbol w^{\mathrm T}\boldsymbol x+b$（预激活）、$a=\phi(z)$。$w$ 管各输入的重要性、$b$ 管激活门槛（平移自由度）、$\phi$ 管输出形态与值域。层数一多必须加 $\phi$：若 $\phi$ 为恒等，则 $L$ 层复合仍是仿射映射 $\boldsymbol x\prod_l W^{(l)}+\cdots$，表达能力与单层相同而参数量更多（定理 1.2.1）。给分：公式与三符号 2 分 + 退化论证 2 分。

至少乘 $\prod_{l=1}^{8}\max_z\sigma'(z)=(1/4)^{8}=1/65536\approx1.5\times10^{-5}$（定理 1.3.1）。与数据 / 学习率无关的原因：该上界只来自 $\sigma'(z)=\sigma(z)(1-\sigma(z))\le1/4$ 这一结构性不等式（在 $z=0$ 取等），而链式法则要求逐层连乘；实际梯度还会因权重谱范数与输入尺度不同而更小或更大，但上界不变。给分：因子 2 分 + 数值 1 分 + 结构性理由 1 分。

Adam（含 L2）：梯度取 $\boldsymbol g_t+\lambda\theta_{t-1}$ 后 $\theta_t=\theta_{t-1}-\eta\dfrac{\hat{\boldsymbol m}_t}{\sqrt{\hat{\boldsymbol v}_t}+\epsilon}$；AdamW：$\theta_t=\theta_{t-1}-\eta_t\dfrac{\hat{\boldsymbol m}_t}{\sqrt{\hat{\boldsymbol v}_t}+\epsilon}-\eta_t\lambda\theta_{t-1}$。SGD 下差别消失：SGD 的更新是 $-\eta\boldsymbol g$，没有 $\sqrt{\hat v}$ 这个逐元素缩放，两种写法都化简为 $\theta\leftarrow(1-\eta\lambda)\theta-\eta\boldsymbol g$，严格等价（定理 1.6.1）。给分：两式各 1 分 + SGD 等价性 2 分。

每层方差增益约 $d\,\sigma_w^2=256\times10^{-4}=2.56\times10^{-2}$，即每层衰减约 39 倍，多层叠加后前向信号下溢、反向梯度同量级衰减。应改用 Kaiming：$\operatorname{Var}(w)=2/d_{\text{in}}=2/256=7.8125\times10^{-3}$，即 std ≈ 0.0884（nn.init.kaiming_normal_(w, nonlinearity='relu')）。给分：衰减因子与结论 2 分 + 公式与数值 2 分。

(a) 输出层：$\boldsymbol\delta^{(3)}=\dfrac{\partial\mathcal L}{\partial\boldsymbol A^{(3)}}\odot\phi'(\boldsymbol Z^{(3)})\in\mathbb R^{B\times d_3}$；回传一层：$\boldsymbol\delta^{(2)}=\bigl(\boldsymbol\delta^{(3)}W^{(3)\mathrm T}\bigr)\odot\phi'(\boldsymbol Z^{(2)})\in\mathbb R^{B\times d_2}$（激活的雅可比是对角矩阵，VJP 退化为逐元素乘）。

(b) $\dfrac{\partial\mathcal L}{\partial W^{(2)}}=\boldsymbol A^{(1)\mathrm T}\boldsymbol\delta^{(2)}$，形状 $(d_1\times B)(B\times d_2)=d_1\times d_2$ ✓；$\dfrac{\partial\mathcal L}{\partial W^{(1)}}=\boldsymbol A^{(0)\mathrm T}\boldsymbol\delta^{(1)}$，其中 $\boldsymbol\delta^{(1)}=\bigl(\boldsymbol\delta^{(2)}W^{(2)\mathrm T}\bigr)\odot\phi'(\boldsymbol Z^{(1)})$，形状 $(d_0\times B)(B\times d_1)=d_0\times d_1$ ✓；偏置梯度一律沿批维求和 $\partial\mathcal L/\partial\boldsymbol b^{(l)}=\sum_{i=1}^{B}\boldsymbol\delta^{(l)}_{i:}$（定理 1.5.3）。

(c) 因为误差信号是递推的：$\boldsymbol\delta^{(l)}$ 只依赖 $\boldsymbol\delta^{(l+1)}$，同一条链上每一层的参数梯度都能用已经算出的 $\boldsymbol\delta^{(l)}$ 与保存的前向激活相乘得到。反向模式一次传播给出对全部输入（全部参数）的导数，代价 $O(m\cdot\text{图规模})$、这里 $m=1$（标量损失），所以一趟就够；前向模式则需要对每个参数各传播一次，即 $P$ 次（定理 1.5.2）。核心机制是中间结果复用——与动态规划同构。

评分：(a) 3 分（每式 1.5 分，须含输出层与回传两式）；(b) 4 分（两式各 1.5 分 + 形状核对 1 分）；(c) 3 分（递推依赖 1 分 + 代价对比 1 分 + 复用 / 动态规划 1 分）。

(a) $\lVert\boldsymbol G\rVert_2=\sqrt{3^2+(-4)^2+0+0}=5.0$。

(b) 因子 $\min(1,\ c/\lVert\boldsymbol G\rVert_2)=\min(1,0.4)=0.4$，故裁剪后 $\boldsymbol G'=0.4\boldsymbol G=\begin{pmatrix}1.2&-1.6\\0&0\end{pmatrix}$，此时 $\lVert\boldsymbol G'\rVert_2=2.0$（恰好等于阈值）。

(c) 从不触发 → 可以去掉裁剪以节省一次全参数归约的开销（但要继续监控梯度范数，阈值应随训练规模变化重估）。频繁触发 → 说明阈值过小或学习率过大、也可能是数据里存在异常样本；应打印裁剪前的梯度范数（clip_grad_norm_ 的返回值）并对照损失曲线（1.6.6）。

(d) 因为裁剪改变的是这一步的位移上限，不改变损失曲面在当前位置的最大曲率；而步长的硬上限 $\eta\le1/\beta$ 来自 $\beta$-Lipschitz 光滑性（定理 1.5.1）。学习率仍过大时，裁剪只能把每步「压回阈值内」，参数会在谷底两侧来回震荡而无法收敛。

评分：(a) 2 分；(b) 3 分（因子 1.5 + 结果 1.5）；(c) 3 分（两种情形各 1.5）；(d) 2 分。

(a) 线性缩放规则：批大小乘 $k$ 时 $\eta'=k\eta$，这里是 $k=4096/256=16$，即学习率放大 16 倍，并通常同步加长 warmup（定理 1.6.2）。

(b) 三类失效情形与判据：① $k$ 过大（从 256 到 32768 这类跨度）——批内梯度噪声不再近似高斯，判据是改用平方根缩放（$\eta'\propto\sqrt{k}$）后曲线是否变好；② 各层参数 / 梯度尺度差异悬殊（深层网络，嵌入层与输出层可差一个数量级）——判据是打印逐层「参数范数 / 梯度范数」比，若相差一个数量级以上考虑 LARS / LAMB 式逐层缩放；③ 训练步数太少——线性缩放的推导要求步数足够多（二阶项可忽略），判据是延长训练后差距是否收窄（定理 1.6.2）。

(c) 至少调整：① warmup 长度（放大学习率后早期统计量更不可靠，需更长的采样时间，否则前几百步容易把参数打进坏区域）；② 权重衰减 $\lambda$ 与梯度裁剪阈值（$\lambda$ 与批大小、训练轮数有关，不能跨配置照搬；裁剪阈值需重估，因为大批下梯度噪声更小、触发频率会变）。

评分：(a) 3 分（规则名 1 + 倍数 1 + 提到 warmup 1）；(b) 4 分（三类各 1 分，判据各约 0.33 分，需可测量）；(c) 3 分（两项各 1.5 分，须给理由）。

(a) 输出层用单个 logit + BCEWithLogitsLoss（二分类的标准配对，对应伯努利分布；注意不要把概率喂给 BCELoss，见 1.4.10 错误 7）；若少数类的难分样本被淹没，改用焦点损失（$\gamma=2$，$\alpha_t$ 逆频率起步）或类别权重。理由：$0.8\%$ 正类率下「全判负」即有 $99.2\%$ 准确率，损失必须直接作用在少数类的概率上（1.4.6）。

(b) 指标改为精确率 / 召回率 / F1 / AUPRC 并附正类占比；阈值不在训练中固定，在验证集上按业务代价扫「误报-召回曲线」选定（例如风控场景常取「召回 $\ge0.85$ 时最小化误报」），只看训练损失无法判断阈值好坏（1.4.9）。

(c) 失败判据：① 验证召回率 $<0.85$（先做阈值扫描排除「只是被默认阈值压住」）；② 报出的准确率与基线（全判负的 $99.2\%$）差距 $<0.5$ 个百分点 → 该报告无信息量；③ 离线 AUPRC 与线上业务指标的排序不一致（离线更高而线上更差）→ 先查泄漏与口径，而不是调模型；④ 训练损失降到接近零而召回仍低 → 说明标签噪声或类别严重不可分，回到数据侧（方法 1.4.2 的「过拟合一小撮数据」检查）。

(d) 验证计划：按实体 / 时间分组划分（同一用户的多条记录必须同侧；时序数据按时间切分并留 gap）；先做「打乱标签重训」泄漏探测；用三个随机种子报告均值与方差；预留一次性测试集做最终评估，并做一次线上样本与验证集的分布对比（方法 1.7.2）。

评分：(a) 2 分；(b) 3 分（指标 + 阈值流程各得一半）；(c) 3 分（三条各 1 分，须可测量）；(d) 2 分（分组划分 + 泄漏探测）。

(a) 候选：LayerNorm（$\mathcal S$ 取同一批内样本、跨最后若干特征维）与 RMSNorm（去掉减均值与平移，只用均方根缩放）。理由：变长序列 + 变批 + 推理时 batch=1 的场景下，BN 沿批维统计在语义上不稳定甚至无定义（padding 会污染统计量），而 LN 类对每个 token 独立统计，与批大小、序列长度都无关（1.7.4）。

(b) 训练 / 推理的账：BN 需要累积 running statistics 并在推理时使用，训练期用当前批统计量 → 训练与推理行为不一致，且与批大小耦合；LN 类训练与推理完全一致，不需要额外状态、没有批大小依赖。可选 RMSNorm 的额外收益是省去一次减均值与一次求均值的通信（大模型里可感知），代价是缺少 re-centering——该结论依赖规模与实现，采用前需核实。

(c) 失败判据：① 替换后验证损失不下降或震荡 → 检查是否同步调了学习率（归一化改变可用步长上限，见 定理 1.5.1 与 1.7.4 的曲率论证）；② 训练与推理的损失差异显著（用同一批数据在 train() / eval() 两种模式下前向对比）→ 说明切换后仍有状态残留或 Dropout 未关闭；③ 小批量（$B\le8$）下表现明显更差 → 说明还在依赖批统计量；④ 长序列上显存 / 速度退化超出预算 → 检查是否误用了带 running statistics 的实现。

(d) 验证计划：固定其他超参、只替换归一化层，做单变量对照（BN / LN / RMSNorm 三组同种子）；每组报告验证损失曲线 + 训练-推理一致性检查 + 小批量下的稳定性；结论必须带上完整训练配置（否则不可复现，参见 1.7.5 的实操含义）。

评分：(a) 3 分（方案 + 结构理由）；(b) 2 分（训练 / 推理差异）；(c) 3 分（四条各约 0.75）；(d) 2 分（单变量对照 + 一致性检查）。