速查背记卡：最小可背诵单元

这一页是压缩层：把九讲的每个概念压成一句「最小可背诵单元」——一条结论 + 一个公式 + 一个陷阱。它的用法是「背之前先把要背的压到最短」。

五件工具的分工（别重复劳动）

工具	管什么	什么时候用
本页	压缩：把要背的压到一句话	复习前 10 分钟快速过一遍
闭卷回忆卡（各讲）	检索：从空白纸把定义与公式叫出来	当天 / 1 / 3 / 7 天间隔复习
公式与结论卡	收口：全书公式的唯一汇总表	考前、写代码查公式
易混对照卡	辨析：成对概念的差别	总把两个概念记混时
竞技场	输出：限时讲清一个判断	面试 / 答辩前

第 1 讲 · 深度学习导论

#	最小可背诵单元
1.1	神经元：`z = wᵀx + b`，`a = φ(z)`； $w$ 管重要性、 $b$ 管门槛、 $\phi$ 管输出形态
1.2	深度的意义：非线性让多层不塌缩成一层；没有 $\phi$ ， $W^{(L)}\cdots W^{(1)}$ 仍是一个矩阵
1.3	能力边界：单层只能线性可分（XOR 反例）；跨过边界靠分层，不是靠换激活
1.4	MLP 前向：`a⁽ˡ⁾ = φ(a⁽ˡ⁻¹⁾W⁽ˡ⁾ + b⁽ˡ⁾)`；批优先约定下批维全程不变
1.5	通用逼近：够宽的单隐层可逼近紧集上的连续函数——但不保证宽度可寻、训得出来、样本高效
1.6	激活选择：隐藏层默认 ReLU 族；Sigmoid 只用于需要 (0,1) 输出的位置（输出层/门控）
1.7	交叉熵：`L = −Σ y_c log ŷ_c`；配 softmax 时 `∂L/∂z = ŷ − y`，不随饱和消失
1.8	反向传播：`δ⁽ˡ⁾ = (δ⁽ˡ⁺¹⁾W⁽ˡ⁺¹⁾ᵀ) ⊙ φ'(z⁽ˡ⁾)`；`∂L/∂W⁽ˡ⁾ = a⁽ˡ⁻¹⁾ᵀδ⁽ˡ⁾`
1.9	AdamW 与 L2 的差别：权重衰减解耦、不参与自适应缩放
1.10	过拟合判据：训练损失降、验证损失升；处方＝正则/早停/加数据/减容量
1.11	线性缩放规则：批大小 ×k ⇒ 学习率 ×k（配 warmup）

陷阱：① 输出层加了 softmax 又用 CrossEntropyLoss（算两次）；② 拿验证集调参又用它报结果；③ 只盯训练损失。

第 2 讲 · 深度序列建模

#	最小可背诵单元
2.1	RNN：`h_t = φ(W_h h_{t−1} + W_x x_t + b)`；参数沿时间共享
2.2	梯度消失的机制：BPTT 梯度是雅可比连乘，谱半径 < 1 时指数衰减
2.3	LSTM：遗忘门/输入门/输出门 + 细胞状态；细胞状态提供「常数误差传送带」
2.4	注意力：`Attention(Q,K,V) = softmax(QKᵀ/√d_k)V`；除 $\sqrt{d_k}$ 是控制点积方差
2.5	复杂度：时间 $O(T^2d)$ 、训练显存 $O(T^2)$ （FlashAttention 把显存降到 $O(T)$ ，FLOPs 不变）
2.6	Transformer 组件：多头注意力 + 残差 + Pre-LN/RMSNorm + FFN（中间维≈4d）+ 位置编码
2.7	位置编码：正弦（含外推问题）→ RoPE（旋转进内积、天然相对）/ ALiBi（距离惩罚）
2.8	KV cache：推理缓存历史 K/V；显存 ∝ $L!\cdot!H_{kv}!\cdot!d!\cdot!T!\cdot!B$ ；GQA 按 KV 头数等比削减
2.9	MoE：FFN 拆专家、每 token 只激活 top-k；总参数大而 FLOPs 近似不变，代价是路由与通信

陷阱：① 把注意力复杂度只记时间不记显存；② 以为 RNN 一定比注意力省资源（长序列下相反）；③ 以为长上下文「免费」（KV 显存线性增长）。

第 3 讲 · 深度计算机视觉

#	最小可背诵单元
3.1	卷积的归纳偏置：局部连接 + 权值共享 + 平移等变；代价是「对全局关系不敏感」
3.2	输出尺寸：`H_out = ⌊(H − K + 2P)/S⌋ + 1`
3.3	参数量：`K² · C_in · C_out + C_out`（与输入分辨率无关）
3.4	感受野：逐层递推 `r_out = r_in + (K − 1) · 跳距`；堆两层 3×3 ＞一层 5×5（参数更少、非线性更多）
3.5	残差：`y = x + F(x)`，梯度含恒等项 `I + ∂F/∂x`，深层可训
3.6	归一化：BN 统计批维（依赖批大小、推理用滑动统计）；LN/RMSNorm 统计特征维（Transformer 默认）
3.7	ViT：图像切 patch 当 token；代价 $O(N^2)$ 与「数据饥渴」，收益是全局建模与规模化
3.8	迁移学习：小数据先冻结主干微调头，再逐层解冻；绝不能用验证集调超参后原样报结果
3.9	检测指标：IoU → TP/FP → AP/mAP；类别不平衡与「只看准确率」是两大陷阱

陷阱：① 卷积核数与通道数混淆；② 忘记池化/步幅带来的尺寸变化；③ 把 BN 当成「必选项」（小批时换 GN/LN）。

第 4 讲 · 深度生成建模

#	最小可背诵单元
4.1	三流派：显式似然（VAE/自回归/流/扩散）、隐式（GAN）、得分/能量；评价靠样本质量与多样性（FID 有局限）
4.2	自编码器不是生成模型：潜空间无先验，任采样的 $z$ 落在低密度区
4.3	ELBO：`log p(x) ≥ E_q[log p(x
4.4	重参数化：`z = μ + σ ⊙ ε`，把随机性推到可导的位置
4.5	GAN 目标：`min_G max_D E[log D(x)] + E[log(1 − D(G(z)))]`；最优 $D$ 下等价于 JS 散度（→ WGAN 改距离）
4.6	扩散前向闭式：`x_t = √ᾱ_t x₀ + √(1 − ᾱ_t) ε`；训练目标是预测 $\varepsilon$
4.7	采样加速：DDIM（几十步）→ 一致性模型 / 流匹配（1–4 步）
4.8	条件引导：`ε̃ = ε_∅ + s·(ε_c − ε_∅)`（CFG）； $s$ 越大越贴合提示、多样性越低

陷阱：① 把 VAE 的重建当成「生成质量」；② 以为 GAN 不能训练（是难训练不是不能）；③ 以为扩散只能串行（可加速）；④ 忘记潜空间扩散里「VAE 的质量决定上限」。

第 5 讲 · 深度强化学习

#	最小可背诵单元
5.1	MDP：`(S, A, P, R, γ)`；目标是最大化期望折扣回报
5.2	贝尔曼最优：`V*(s) = max_a [R + γ Σ P(s’
5.3	Q-learning：`Q(s,a) ← Q + α[r + γ max_a' Q(s',a') − Q(s,a)]`；off-policy，可用回放数据
5.4	DQN 两技巧：经验回放（打破时序相关）+ 目标网络（稳定 TD 目标）
5.5	策略梯度定理：`∇J = E[∇log π_θ(a
5.6	PPO 目标：`min(r_t A, clip(r_t, 1−ε, 1+ε) A)`；裁剪替代 KL 硬约束
5.7	RLHF 三步：SFT → 奖励模型（Bradley-Terry）→ PPO；DPO 跳过 RM 直接优化偏好
5.8	reward hacking：优化代理奖励必然放大它与真实目标的偏差（Goodhart）

陷阱：① 把 on/off-policy 与「好坏」挂钩；② 忘记折扣因子对长程任务的关键影响；③ 用单次回报评估策略（必须多种子 + 分布）。

第 6 讲 · 新前沿

#	最小可背诵单元
6.1	三段式：自监督预训练 → 监督微调（SFT）→ 对齐（RLHF/DPO）
6.2	缩放律：给定算力时参数与数据等比例扩张（Chinchilla， $D\approx20N$ ）；涌现结论存在度量争议
6.3	测试时计算：长 CoT / 多采样投票 / 搜索 + 验证器；有成本边界，不是越多越好
6.4	VLM 三段式：连接器对齐（冻结 LLM）→ 指令微调 → 偏好优化
6.5	VLA：动作离散为 token（RT-2）或流匹配生成连续动作块（π0）；数据是最大瓶颈
6.6	Agent 循环：推理 → 行动（工具）→ 观察；评测要走真实任务（SWE-bench 类）
6.7	基准污染：分数高不等于能力强；对策：私有题集、时间切分、动态基准、多种子

陷阱：① 把基准分数当能力；② 把「涌现」当定论；③ 以为「更长的思考链一定更好」。

第 7 讲 · AI 的三条法则

#	最小可背诵单元
7.1	三条法则：可控与对齐、可解释与可信、公平与责任
7.2	对齐的层次：目标对齐（做对的事）+ 行为约束（不做错的事）+ 可监控（能发现越界）
7.3	可解释两路：事后归因（Grad-CAM/SHAP）+ 机制可解释（SAE/激活引导）；前者不解释内部推理
7.4	公平的度量：不同群体下错误率差（DP/EO 等定义互不兼容，必须显式选一个并说明理由）
7.5	风险清单四问：谁受影响、错误的代价、可逆性、谁有权申诉
7.6	安全即设计约束：数据来源、红队、拒答边界、监控告警、回滚机制（欧盟 AI Act 一类监管只作事实性概述）

陷阱：① 把「对齐」等同「加一层过滤器」；② 认为可解释性可以「证明无害」；③ 用平均指标掩盖群体差异。

第 8 讲 · AI for Science

#	最小可背诵单元
8.1	科学为什么适合：有结构化的先验（对称性/物理约束）、有可验证的答案、有海量未标注数据
8.2	等变网络：把旋转/平移对称性写进架构（ $f(Rx)=Rf(x)$ ），样本效率大幅提升
8.3	结构预测：AlphaFold 类方法把「序列 → 原子坐标」变成端到端学习（协同进化 + 注意力 + 等变结构模块）
8.4	机器学习势函数：GNN/等变网络拟合能量面，比 DFT 快数个数量级
8.5	气候建模：图神经网络/Transformer 在再分析数据上学习，秒级出报，在中短期指标可比传统模式
8.6	PINN 的边界：损失 = 数据残差 + 物理残差；反问题与稀疏数据有效，正向高精度常不敌传统求解器
8.7	拟合 ≠ 理解：能预测不代表掌握了机制；外推能力需要结构先验与实验验证

陷阱：① 把「拟合得好」当「发现规律」；② 忽略分布外/外推失败；③ 用模型输出替代实验证据。

第 9 讲 · 大规模并行训练

#	最小可背诵单元
9.1	显存五账单：参数 + 梯度 + 优化器状态 + 主权重 + 激活；混合精度 Adam 静态 ≈ $16N$ 字节
9.2	数据并行：每卡全量副本、梯度 all-reduce；扩批要与学习率联动
9.3	ZeRO：① 优化器状态 ② 梯度 ③ 参数分片；通信量递增、显存递减（不是越多级越好）
9.4	张量并行：层内切矩阵（列并行 + 行并行），通信密集、气泡小；单层放不下时的必需手段
9.5	流水线并行：按层切段 + micro-batch；气泡率 ≈ `(p − 1)/(m + p − 1)`
9.6	混合精度：BF16 默认；FP8 需 scaling；fp16 需 loss scaling；主权重常留 fp32
9.7	激活重计算：多一次前向换显存（约 30% 时间）；选择性重算可把开销压到个位数百分比
9.8	LoRA：`W = W₀ + BA`，冻结基座只训低秩增量；QLoRA 再加 4-bit 基座
9.9	3D/5D 并行：DP × TP × PP（× 序列并行 × 专家并行）；配平取决于显存与带宽

陷阱：① 把 TP 和 PP 的取舍说反（TP 通信密集、PP 有气泡）；② 以为 ZeRO-3 一定更快；③ 忽略批量调参之外的吞吐瓶颈（data loader、通信）。

导出到 Anki（可选）

本页适合做成间隔复习卡组。最小做法：

用「一句话单元」直接建卡：正面写「第 2 讲 · 注意力的复杂度」，背面写时间与显存两条。
公式类单元建议手写拍照贴在背面（公式打字的记忆强度低于手写）。
复习节奏用当天 / 隔天 / 第 3 天 / 第 7 天四轮；每轮只重做标记为 △（有关键词但缺条件）和 ×（完全想不起）的卡。
更彻底的检索练习用各讲的闭卷回忆卡——那里是「从空白纸叫出来」，检验的是真记住。

与本书其他页面的关系：本页给「最小单元」，公式与结论卡给「完整公式表」，易混对照卡解决「概念记混」。三页配合，形成「压缩 → 收口 → 辨析」的完整复习链。

Keyboard shortcuts

深度学习导论 · 定制教程