$z=\boldsymbol w^{\mathrm T}\boldsymbol x+b$（预激活），$a=\phi(z)$（激活）。$w$ 控制各输入的重要性、$b$ 控制激活门槛（平移自由度）、$\phi$ 决定输出形态与值域。预激活 $z$ 是反向传播里误差信号 $\boldsymbol\delta^{(l)}$ 的定义对象，激活 $a$ 是层的输出（定义 1.1.1、定义 1.5.3）。（✓ / △ / ×）

数据集 $\{(\boldsymbol x_i,y_i)\}$（$y_i\in\{-1,+1\}$）线性可分，指存在 $\boldsymbol w,b$ 使 $y_i(\boldsymbol w^{\mathrm T}\boldsymbol x_i+b)>0$ 对所有 $i$ 成立（定义 1.1.2）。注意：是「存在一组参数」，不是「某个算法一定能找到」。（✓ / △ / ×）

$\boldsymbol z^{(l)}=\boldsymbol a^{(l-1)}W^{(l)}+\boldsymbol b^{(l)}$，$\boldsymbol a^{(l)}=\phi(\boldsymbol z^{(l)})$；$W^{(l)}\in\mathbb R^{d_{l-1}\times d_l}$、$\boldsymbol b^{(l)}\in\mathbb R^{d_l}$；$1..L-1$ 为隐藏层，第 $L$ 层输出即预测；$\theta=\{W^{(l)},\boldsymbol b^{(l)}\}_{l=1}^{L}$（定义 1.2.1）。（✓ / △ / ×）

张量第 0 维永远是批维，且前向过程中批维大小不变。三条规则：① 线性层把最后一维换掉（$B\times d_{l-1}\to B\times d_l$）；② 逐元素激活不改变形状；③ 没有池化 / 卷积 stride 这类算子时 $B$ 全程不变（方法 1.1.1、方法 1.2.1）。（✓ / △ / ×）

$\mathcal L_{\mathrm{CE}}=-\sum_c y_c\log\hat y_c$，one-hot 时退化为 $-\log\hat y_{y_{\text{true}}}$（只惩罚正确类的概率）；$\mathcal L_{\mathrm{MSE}}=\frac1N\sum_i(\hat y_i-y_i)^2$。另有 MAE（对应拉普拉斯噪声）与 Huber（阈值内平方、超出后线性）（定义 1.4.2）。（✓ / △ / ×）

$\boldsymbol\delta^{(l)}=\partial\mathcal L/\partial\boldsymbol Z^{(l)}\in\mathbb R^{B\times d_l}$。本书为公式简洁采用批求和；若损失取批平均，则 $\boldsymbol\delta^{(l)}$ 再乘 $1/B$——两种约定只差一个常数因子，但代码里不能重复除（定义 1.5.3）。（✓ / △ / ×）

计算图 = 把计算表示成有向无环图（节点是张量、边是基本运算）；雅可比 $J=\partial\boldsymbol v/\partial\boldsymbol u\in\mathbb R^{m\times n}$；VJP 是 $\bar{\boldsymbol u}=J^{\mathrm T}\bar{\boldsymbol v}$。不构造 $J$ 是因为只需它与某个具体向量的乘积，而该乘积可用矩阵乘法在 $O(d_{\text{in}}d_{\text{out}})$ 内算完（定义 1.5.2）。（✓ / △ / ×）

$\theta_t=\theta_{t-1}-\eta\,\boldsymbol u_t(\boldsymbol g_1,\dots,\boldsymbol g_t;\theta_{t-1})$。差别全部体现在：① $\boldsymbol u_t$ 如何由历史梯度构造；② 是逐元素缩放还是整体缩放（定义 1.6.1）。（✓ / △ / ×）

$\theta_t=\theta_{t-1}-\eta_t\dfrac{\hat{\boldsymbol m}_t}{\sqrt{\hat{\boldsymbol v}_t}+\epsilon}-\eta_t\lambda\theta_{t-1}$。衰减是独立一步，对所有坐标施加同一相对衰减 $\eta_t\lambda$；而 L2 加进损失后会被逐元素除以 $\sqrt{\hat v_t}+\epsilon$，衰减强度依赖各坐标的梯度历史（定理 1.6.1）。（✓ / △ / ×）

$\hat R_S(\theta)=\frac1N\sum_i\mathcal L(f(\boldsymbol x_i;\theta),y_i)$ 是经验（训练）误差；$R(\theta)=\mathbb E_{(\boldsymbol x,y)\sim\mathcal D}[\mathcal L]$ 是泛化误差；泛化间隙 $=R-\hat R_S$。验证集做决策（选模型、调超参、早停），测试集只用于最终报告且只应使用一次（定义 1.7.1）。（✓ / △ / ×）

任何「在训练目标之外、以降低泛化误差为目的」的手段。作用于参数（约束范数 / 结构）、数据（扩充或改造）、训练过程（早停、噪声注入）、损失（软化目标）；统一理解是把有限数据能提供的「能力预算」重新分配（定义 1.7.2）。（✓ / △ / ×）

$\hat{\boldsymbol H}=(\boldsymbol H-\mu_{\mathcal S})/\sqrt{\sigma^2_{\mathcal S}+\epsilon}$，$\boldsymbol Y=\gamma\odot\hat{\boldsymbol H}+\beta$。三者的差别在统计量覆盖的集合 $\mathcal S$：BN 跨批 + 空间；LN 跨最后若干特征维（单样本）；RMSNorm 去掉减均值与平移，只用均方根缩放（定义 1.7.3）。（✓ / △ / ×）

若 $\phi$ 为恒等，任意层数的网络都等价于一个仿射变换 $\hat{\boldsymbol y}=\boldsymbol x W^\star+\boldsymbol b^\star$、$W^\star=\prod_l W^{(l)}$——表达能力与单层相同，参数量却更多（定理 1.2.1）。症状：损失降到某平台后不动，且训练与验证损失几乎重合。（✓ / △ / ×）

保证：紧集上、激活非常数有界单调连续时，存在有限宽的单隐藏层网络一致逼近任意连续函数。没保证：① 所需宽度（可能随维度指数增长）；② 梯度下降能否找到那组权重；③ 需要多少样本（定理 1.2.2、1.2.3）。（✓ / △ / ×）

① 线性可分时一定收敛；② 步数上界 $k\le(R/\gamma)^2$，由数据尺度 $R$ 与间隔 $\gamma$ 决定，与学习率无关；③ 不可分时定理不作保证（事实上持续震荡）。「条件」指要求严格线性可分且范数有界，真实数据几乎不满足前者（定理 1.1.1）。（✓ / △ / ×）

跨 $L$ 层至少乘 $\prod_l\max_z\sigma'(z)=(1/4)^{L}$：$L=10$ 约 $9.5\times10^{-7}$。因为 $\sigma'$ 在 $|z|$ 大时极小，而大 $|z|$ 恰恰对应「网络很自信」的样本——越自信，传给浅层的梯度越小（定理 1.3.1）。（✓ / △ / ×）

饱和：导数很小但非零，输入分布改变后单元可恢复；死亡：导数恒为 0，参数永不更新、不能自愈。处置：饱和 → 换 ReLU 族并配对 Xavier / Kaiming 初始化；死亡 → 换 GELU / SiLU、降学习率、加 warmup、加归一化层（1.3.4）。（✓ / △ / ×）

$\nabla_{\boldsymbol z}\mathcal L=\hat{\boldsymbol p}-\boldsymbol y$，只依赖残差，与 softmax 的显式导数无关（二者在数学上互相抵消）。工程含义：无论 logits 多大多小，梯度都落在 $[-1,1]$ 附近，不饱和、不放大——分类训练比回归稳定，一半功劳在这里（定理 1.4.2）。（✓ / △ / ×）

因为它适合「输入多、输出少」：一次反向传播给出对全部输入的导数，代价 $O(m\cdot\text{图规模})$。深度学习里输入是参数量 $P$（$10^6\sim10^{11}$）、输出是一个标量损失（$m=1$），故一次反向就够；前向模式需要 $P$ 次。代价是必须保存前向中间结果（显存开销）（定理 1.5.2）。（✓ / △ / ×）

① 乘 $W^{(l+1)\mathrm T}$ 继续往上游（传给第 $l-1$ 层）；② 乘 $\boldsymbol A^{(l-1)\mathrm T}$ 得本层权重梯度。共享同一份误差信号是复杂度从指数降到线性的关键，与动态规划的「用表格保存子问题解」完全同构——正确的说法是「链式法则 + 记忆化」，不是「一种新数学」（1.5.3）。（✓ / △ / ×）

① 有效步长放大 $1/(1-\beta)$ 倍（稳态速度 $=\boldsymbol g/(1-\beta)$）；② 平滑时间尺度（记忆窗口）约 $1/(1-\beta)$ 步。$\beta=0.9$ 时两者都约 $10$。工程判据：加动量后学习率通常要相应调小，否则等效步长放大 10 倍会发散（命题 1.6.1）。（✓ / △ / ×）

因为 $m_0=v_0=0$，滑动平均在前若干步被系统性拉向零：$\mathbb E[\boldsymbol m_t]=(1-\beta_1^t)\boldsymbol\mu\neq\boldsymbol\mu$。不修正时 $\sqrt{\hat v}$ 偏小得更厉害，比值被扭曲——前几百步的有效步长异常巨大，训练不稳定（定义 1.6.4）。（✓ / △ / ×）

梯度近似恒定时 $\hat m_t/\sqrt{\hat v_t}\approx g/\sqrt{g^2}=\operatorname{sign}(g)$，故每步位移约 $\pm\eta$（逐坐标）。推论：① 梯度爆炸时仍安全（更新被压到 $\eta$ 量级）；② 梯度消失时反而放大（分子分母同比例缩小）。所以 Adam 对学习率的敏感性远低于 SGD（定义 1.6.4）。（✓ / △ / ×）

批大小乘 $k$ 时学习率同比放大 $k$ 倍（$\eta'=k\eta$），在批内梯度噪声相对稳定且步数足够多时可得近似相同的轨迹。失效情形：$k$ 过大、各层尺度差异悬殊、训练步数太少。替代：平方根缩放（$\eta'\propto\sqrt{k}$）、加长 warmup、逐层自适应（LARS / LAMB）（定理 1.6.2）。（✓ / △ / ×）

近似误差 = 模型族能力不足（→ 加容量 / 换架构 / 加特征）；估计误差 = 样本有限（→ 加数据 / 加正则 / 简化模型）；优化误差 = 没找到最优（→ 调优化器 / 学习率 / 归一化 / 初始化）。三类手段互不通用：用正则治优化误差、用加容量治估计误差都是常见的无效努力（推论 1.7.1）。（✓ / △ / ×）

随模型参数量（或训练轮数、样本量）增大，测试误差呈「先降 → 升到峰值 → 再降到比第一个谷更低」的形态，峰值出现在插值阈值附近（参数量≈样本量）。它推翻「参数比样本多就一定过拟合」——参数量本身既不是过拟合的充分条件也不是必要条件，起决定作用的是隐式 / 显式正则化（定理 1.7.3）。（✓ / △ / ×）

单元：$z=\boldsymbol w^{\mathrm T}\boldsymbol x+b,\ a=\phi(z)$；批量：$\boldsymbol Z=\boldsymbol XW+\mathbf 1\boldsymbol b^{\mathrm T}$、$\boldsymbol A=\phi(\boldsymbol Z)$，其中 $\boldsymbol X: B\times n$、$W: n\times m$、$\boldsymbol b: m$、$\boldsymbol Z,\boldsymbol A: B\times m$（方法 1.1.1）。参数总量 $P=\sum_{l=1}^{L}(d_{l-1}d_l+d_l)$，与批大小 $B$ 无关（方法 1.2.1）。（✓ / △ / ×）

Xavier：$\operatorname{Var}(w)=\dfrac{2}{d_{\text{in}}+d_{\text{out}}}$（均匀版上界 $\sqrt{6/(d_{\text{in}}+d_{\text{out}})}$），配 Sigmoid / tanh；Kaiming：$\operatorname{Var}(w)=\dfrac{2}{d_{\text{in}}}$，配 ReLU 族（因 ReLU 半区截断使方差减半，故增益乘 2）（方法 1.2.2）。（✓ / △ / ×）

$$\boldsymbol\delta^{(L)}=\frac{\partial\mathcal L}{\partial\boldsymbol A^{(L)}}\odot\phi'(\boldsymbol Z^{(L)}),\quad \boldsymbol\delta^{(l)}=(\boldsymbol\delta^{(l+1)}W^{(l+1)\mathrm T})\odot\phi'(\boldsymbol Z^{(l)}),\quad \frac{\partial\mathcal L}{\partial W^{(l)}}=\boldsymbol A^{(l-1)\mathrm T}\boldsymbol\delta^{(l)},\quad \frac{\partial\mathcal L}{\partial\boldsymbol b^{(l)}}=\sum_{i=1}^{B}\boldsymbol\delta^{(l)}_{i:}.$$ 偏置梯度沿批维求和，不是复制（定理 1.5.3）。（✓ / △ / ×）

$\dfrac{\partial\mathcal L}{\partial\theta_j}\approx\dfrac{\mathcal L(\theta_j+h)-\mathcal L(\theta_j-h)}{2h}$（误差 $O(h^2)$）；$\text{rel\_err}=\dfrac{\lvert g^{\text{num}}_j-g^{\text{ana}}_j\rvert}{\max(1,\lvert g^{\text{num}}_j\rvert,\lvert g^{\text{ana}}_j\rvert)}$。$h=10^{-5}\sim10^{-6}$、双精度下：$<10^{-7}$ 正确；$10^{-5}$ 量级可疑；$\ge10^{-3}$ 基本确定有 bug（定义 1.5.4）。（✓ / △ / ×）

Momentum：$\boldsymbol v_t=\beta\boldsymbol v_{t-1}+\boldsymbol g_t$，$\theta_t=\theta_{t-1}-\eta\boldsymbol v_t$（$\beta$ 常取 $0.9$）。Nesterov：$\boldsymbol v_t=\beta\boldsymbol v_{t-1}+\nabla_\theta\mathcal L(\theta_{t-1}-\eta\beta\boldsymbol v_{t-1})$（梯度取在前瞻点上）（定义 1.6.2）。（✓ / △ / ×）

AdaGrad：$\boldsymbol s_t=\boldsymbol s_{t-1}+\boldsymbol g_t\odot\boldsymbol g_t$，$\theta_t=\theta_{t-1}-\eta\dfrac{\boldsymbol g_t}{\sqrt{\boldsymbol s_t}+\epsilon}$；RMSProp 把累积改成指数滑动平均 $\boldsymbol s_t=\gamma\boldsymbol s_{t-1}+(1-\gamma)\boldsymbol g_t\odot\boldsymbol g_t$（$\gamma$ 常取 $0.9$ 或 $0.99$）。修掉的是「分母单调增 → 有效步长衰减到零」（定义 1.6.3）。（✓ / △ / ×）

$\boldsymbol m_t=\beta_1\boldsymbol m_{t-1}+(1-\beta_1)\boldsymbol g_t$，$\boldsymbol v_t=\beta_2\boldsymbol v_{t-1}+(1-\beta_2)\boldsymbol g_t\odot\boldsymbol g_t$，$\hat{\boldsymbol m}_t=\dfrac{\boldsymbol m_t}{1-\beta_1^{t}}$，$\hat{\boldsymbol v}_t=\dfrac{\boldsymbol v_t}{1-\beta_2^{t}}$，$\theta_t=\theta_{t-1}-\eta\dfrac{\hat{\boldsymbol m}_t}{\sqrt{\hat{\boldsymbol v}_t}+\epsilon}$。默认 $\beta_1=0.9$、$\beta_2=0.999$、$\epsilon=10^{-8}$（定义 1.6.4）。（✓ / △ / ×）

裁剪：$\boldsymbol g\leftarrow\boldsymbol g\cdot\min(1,\ c/\lVert\boldsymbol g\rVert_2)$（PyTorch：clip_grad_norm_(params, c)，返回值是裁剪前的范数）；累积：每 $k$ 个小批更新一次，等效批大小 $=k\times B_{\text{micro}}$，损失须除以 $k$（1.6.6）。（✓ / △ / ×）

$$\mathbb E_{S,\epsilon}\bigl[(y-\hat f_S(\boldsymbol x))^2\bigr]=\underbrace{\sigma^2}_{\text{不可约噪声}}+\underbrace{\bigl(\mathbb E_S[\hat f_S]-f^\star\bigr)^2}_{\text{偏置}^2}+\underbrace{\mathbb E_S\bigl[(\hat f_S-\mathbb E_S[\hat f_S])^2\bigr]}_{\text{方差}} .$$ 高偏置 = 模型族太小（欠拟合）；高方差 = 对训练集噪声过度敏感（过拟合）（定理 1.7.1）。（✓ / △ / ×）

$y_c^{\text{LS}}=(1-\epsilon)\,\mathbf 1[c=c_{\text{true}}]+\dfrac{\epsilon}{C}$，$c=1,\dots,C$。它同时改变了 $H(p)$ 与最优解：给 logit 差距设了有限的最优值，因此既是正则手段、又会降低概率校准质量（蒸馏场景下可能反而不如不加平滑的老师）（定义 1.4.4）。（✓ / △ / ×）

$H(p,q)=\mathrm{KL}(p\|q)+H(p)$。目标分布固定（同一数据集）时 $H(p)$ 与参数无关，故「最小化交叉熵」与「最小化 KL」训练中等价；但跨数据集比较交叉熵不可比，因为 $H(p)$ 不同（定理 1.4.3）。（✓ / △ / ×）

两处都错。① 单层的判决面仍是同一个超平面 $z=0$，能表达的函数族没变——换激活只让它可以用梯度训练，跨过能力边界要靠分层（1.1.4）。② 定理只说明存在这样的权重：宽度可能指数级（不可寻）、优化可能到不了（不可训）、样本可能不够（不保样本效率）；它给的是能力下限，不是设计目标（1.2.3）。（✓ / △ / ×）

两处都错。① 直接落进 $(1/4)^{L}$ 陷阱：$L=10$ 时梯度上界约 $9.5\times10^{-7}$；隐藏层默认 ReLU 族，Sigmoid 只用在需要 $(0,1)$ 输出的位置（二分类输出层、门控里的门）。② 负区输出为零意味着该路径没有学到任何东西，只有网络足够宽、且负区分布是数据驱动（而非初始化偏差导致）时，稀疏才无害（1.3.8）。（✓ / △ / ×）

两处都错。① CrossEntropyLoss 内部已含 log_softmax，等于做了两次归一化，梯度被额外雅可比改写，表现为收敛变慢、概率过自信；判据是检查喂进去的是 logits 还是概率。② BCELoss 期望概率（需先过 Sigmoid），BCEWithLogitsLoss 期望 logits；用 BCELoss 却喂 logits，梯度会在饱和区几乎消失（1.4.10 错误 1、7）。（✓ / △ / ×）

两处都错。① 它是链式法则的精确实现（沿计算图逆序执行 VJP），唯一近似之处是你是否用有限差分去近似它。② 批量下偏置被 $B$ 个样本共享，必须沿批维求和：$\partial\mathcal L/\partial\boldsymbol b^{(l)}=\sum_{i=1}^{B}\boldsymbol\delta^{(l)}_{i:}$，形状 $d_l$；直接写 $\boldsymbol\delta^{(l)}$ 会得到 $B\times d_l$（报错或静默广播放大 $B$ 倍）（1.5.6 错误 1、4）。（✓ / △ / ×）

两处都错。① 前者是 Adam + L2，正则项被 $\sqrt{\hat v_t}$ 逐元素缩放，各坐标衰减强度依赖梯度历史；要解耦权重衰减必须用 AdamW。② 动量把有效步长放大约 $1/(1-\beta)=10$ 倍（$\beta=0.9$），不调小会直接发散（1.6.9 错误 1、2；命题 1.6.1）。（✓ / △ / ×）

两处都错。推理时 BN 用训练期累积的 running statistics（否则 batch=1 时统计量无定义）；忘记 model.eval() 会让 Dropout 继续随机置零、BN 继续用当前批统计量，判据是同一输入连续两次推理结果不同（定理 1.7.2、1.7.8 错误 3）。（✓ / △ / ×）

两处都错。① 反复用验证集选择 = 在验证集上过拟合，报告指标系统性偏高。② 预处理（标准化 / 特征选择 / 编码）在划分前拟合，是把验证集统计量泄漏进训练——这是最高频、最隐蔽的一处泄漏。正确做法：先划分，只在训练集 fit，最终报告用一次性测试集（1.7.6 的数据泄漏清单、方法 1.7.2）。（✓ / △ / ×）