M1. $AB\in\mathbb R^{3\times2}$；$A^{\mathrm T}\in\mathbb R^{4\times3}$，故 $A^{\mathrm T}B$ 不可乘（$3\ne4$）。→ 形状规则是本书的第一基本功。

M2. $\dfrac{dy}{dx}=\dfrac{dy}{du}\cdot\dfrac{du}{dx}$。→ 反向传播就是它在计算图上的系统化应用（1.5）。

M3. 梯度指向 $f$ 增长最快的方向，其模长是该方向的方向导数。→ 所以梯度下降走负梯度方向（1.5）。

M4. $\mathbb E[X]=1/2$；$\mathrm{Var}(X)=\mathbb E[X^2]-(\mathbb E[X])^2=1/2-1/4=1/4$。→ 方差与期望是理解批大小、梯度噪声的基础。

M5. 结果是 $32\times128$；「32」是批大小（batch size），本书约定批维恒定在第 0 位（1.1）。

P1. x = x.to("cuda", dtype=torch.bfloat16)（或 x.to(device=..., dtype=...)）。

P2. 先查「模型参数/缓冲区与输入是否在同一设备」，以及是否有手写的常量张量没跟着搬（例如 mask、位置索引）。→ 工具箱第一节。

P3. 最可能是过拟合；一个对策是加正则（Dropout / 权重衰减）或早停。→ 但先别急着下结论，完整诊断顺序见工具箱与1.7。

D1. 等价于一个线性变换（多层矩阵相乘仍是一个矩阵）。→ 非线性才是深度的意义（1.2）。

D2. 交叉熵配 softmax 用于分类，MSE 用于回归。分类不用 MSE 的原因：MSE + softmax 的梯度含 $\hat y(1-\hat y)$ 因子，预测饱和时梯度消失，学习变慢。→ 1.4。

D3. 反向传播复用中间结果：一次前向 + 一次反向即可得到全部参数的梯度（代价与参数量成线性）；数值求导每个参数都要独立扰动一次前向。→ 1.5。

D4. ① 局部连接（每个输出只连感受野内的输入）；② 权值共享（同一个核在空间所有位置复用）。→ 因此参数量与输入分辨率无关（3.1）。

D5. 点积的方差随 $d_k$ 线性增长，不缩放会让 softmax 进入饱和区、梯度趋零。→ 严格论证见附录 C.3。

D6. KL 项把近似后验拉向先验，使潜空间可采样；去掉它（或权重过小）退化成普通自编码器，任采样的 $z$ 会落在训练未覆盖区域、解码出无意义结果；权重过大则后验坍塌。→ 4.3。

D7. $N$ 是参数量；该口径对应「混合精度训练 + Adam 系优化器 + 保留 fp32 主权重」（参数 $2N$ + 梯度 $2N$ + 优化器状态 $8N$ + 主权重 $4N$ = $16N$ 字节）。换 8-bit 优化器约降到 $10N$。→ 9.1、工具箱。