这一页解决一类具体痛苦：两个概念你都「知道」，但一被追问就说不清差别。每条卡片给出「一句话差别 + 判据 + 何时用哪个 + 最常错的地方」。
用法：先自己做一遍判断（遮住右列），再对照；错的那几条，回正文对应小节。
| 维度 | 判别模型 | 生成模型 |
|---|
| 学什么 | p(y∣x)：给定输入判类别 | p(x) 或 p(x,y)：数据本身的分布 |
| 能做什么 | 分类、回归、打分 | 采样新样本、补全、检测异常 |
| 典型 | 逻辑回归、CNN 分类器、BERT 分类头 | VAE、GAN、扩散、自回归语言模型 |
| 什么时候用 | 只关心预测准确 | 需要「创造」或建模不确定性 |
口诀：判别会判、生成会造。误用：拿判别模型做「生成」（例如把分类器的中间特征当样本——那不是采样）。
| 维度 | 偏置（bias） | 方差（variance） |
|---|
| 含义 | 模型族与真值的系统性差距 | 模型对训练集扰动的敏感性 |
| 症状 | 训练误差高（欠拟合） | 训练低、验证高（过拟合） |
| 处方 | 加容量、减正则、训更久 | 加数据、强正则、减容量、集成 |
注意：深度学习中两者常同时下降再回升（双下降现象），经典 U 形曲线不是铁律（1.7）。
| 维度 | 交叉熵 | MSE |
|---|
| 任务 | 分类（配 softmax / sigmoid） | 回归 |
| 梯度 | ∂L/∂z = ŷ − y，不饱和 | 含 ŷ(1−ŷ) 因子，饱和时消失 |
| 概率解释 | 最大似然（离散） | 高斯似然的负对数 |
口诀：分类用交叉熵、回归用 MSE。误用：分类用 MSE（学得慢）；回归输出层加 softmax（形状不对）。
| 维度 | BN | LN | RMSNorm |
|---|
| 归一化维度 | 批维（跨样本，同通道） | 特征维（逐样本） | 特征维（只除均方根） |
| 依赖批大小 | 是（小批不稳） | 否 | 否 |
| 推理差异 | 用滑动统计量 | 无差异 | 无差异 |
| 典型场景 | CNN（批足够大） | Transformer、RNN、小批 | 大模型（省一次均值计算） |
口诀：BN 看别人、LN 看自己（LN 逐样本归一化，不跨样本）。
| 优化器 | 一句话 | 什么时候用 |
|---|
| SGD | 沿负梯度走 | 视觉任务 + 大量算力时（泛化常更好） |
| Momentum | 累积方向抑制震荡 | 损失面狭长、SGD 抖动大 |
| Adam | 一阶 + 二阶动量，逐参数自适应步长 | 默认起点（NLP/Transformer 尤其） |
| AdamW | Adam + 解耦权重衰减 | 需要正则时的现代默认 |
误用：以为 Adam 不需调学习率（它是默认起点，不是免调）；把 L2 正则与权重衰减混为一谈（Adam 下二者不等价）。
关系：批大小 ×k ⇒ 学习率 ×k（线性缩放规则），并配 warmup 防早期发散。
判据：梯度噪声 ∝ 1/B——批越大，梯度估计越准，可以迈更大的步。
误用：只改批大小不改学习率，然后说「模型不收敛」。
| 维度 | RNN | LSTM/GRU | Transformer |
|---|
| 依赖距离 | 长程衰减（梯度消失） | 缓解但不根治 | 任意距离一步可达 |
| 并行度 | 时间步串行 | 时间步串行 | 训练全并行 |
| 复杂度 | O(Td2) | O(Td2) | O(T2d)（长序列吃亏） |
| 推理代价 | 常数显存 | 常数显存 | KV cache 随 T 线性增长 |
口诀：RNN 省显存，Transformer 省「距离」。选型看序列长度与并行需求，不看「新旧」。
| 维度 | MHA | MQA | GQA |
|---|
| KV 头数 | = Q 头数 | 1 | 介于两者之间（分组共享） |
| KV cache | 最大 | 最小 | 折中（常用 1/4–1/8） |
| 质量 | 基线 | 略有下降 | 接近基线 |
判断：推理显存与带宽吃紧时 → GQA（当前默认选择）。
| 维度 | 全连接 | 卷积 |
|---|
| 参数量 | 与分辨率成正比（爆炸） | 与核大小成正比（与分辨率无关） |
| 归纳偏置 | 无 | 局部性 + 权值共享 + 平移等变 |
| 适合 | 特征向量、表格 | 网格数据（图像/音频/时序） |
| 维度 | 池化 | 步幅卷积 |
|---|
| 是否学习 | 否（固定规则） | 是（可学） |
| 作用 | 降采样 + 平移鲁棒 | 降采样 + 特征提取（一步做两件事） |
| 现代趋势 | 用得少了 | 主流骨干默认 |
| 维度 | Post-LN（原版） | Pre-LN（现代默认） |
|---|
| 结构 | LN(x + F(x)) | x + F(LN(x)) |
| 训练稳定性 | 需要精调 warmup | 明显更稳、可省 warmup |
| 表示 | 残差流不被归一化 | 残差流保持尺度（利于深层） |
| 维度 | AE | VAE |
|---|
| 潜空间 | 无约束（可任意形状） | 被 KL 拉向先验（可采样） |
| 能否采样 | 不能（未覆盖区域解码无意义） | 能（有连续性与先验覆盖） |
| 损失 | 重建 | 重建 + KL（ELBO） |
| 用途 | 降维、压缩、去噪 | 生成、表征学习、潜空间编辑 |
| 维度 | GAN | 扩散 |
|---|
| 生成方式 | 一步（生成器直接映射） | 多步去噪（可加速到 1–4 步） |
| 训练稳定性 | 难（博弈、模式坍塌） | 稳（回归目标） |
| 采样速度 | 快 | 慢（除非蒸馏/流匹配） |
| 多样性与覆盖 | 容易丢模式 | 覆盖更好 |
口诀：GAN 快而不稳，扩散稳而不快（流匹配与一致性模型在中间找平衡）。
| 维度 | DDPM | DDIM | 流匹配/整流流 |
|---|
| 采样 | 随机、步数多（数百–千） | 确定性、几十步 | 直线路径、1–4 步 |
| 训练目标 | 噪声预测（同 DDPM） | 无需重训（复用权重） | 速度场回归 v = x₁ − x₀ |
| 现状 | 基础 | 常用加速 | 新一代默认（SD3/FLUX 路线） |
| 维度 | 策略梯度（on-policy） | Q-learning（off-policy） |
|---|
| 更新数据 | 必须来自当前策略 | 可用任意历史/探索数据 |
| 样本效率 | 低 | 高 |
| 稳定性 | 直接优化目标，方差大 | 自举目标，可能发散 |
| 代表 | REINFORCE、PPO | DQN、SAC |
误用：以为 off-policy「更先进」——它是样本效率与稳定性的权衡。
| 维度 | PPO（RLHF 路线） | DPO |
|---|
| 组件 | 奖励模型 + 在线采样 + 策略优化 | 只要成对偏好数据 |
| 成本 | 高（4 个模型常驻显存） | 低（2 个模型） |
| 上界 | 更高（可持续探索） | 受偏好数据质量限制 |
| 风险 | 奖励过优化、调参敏感 | 偏好数据偏差直接进入模型 |
| 手段 | 改什么 | 适合 | 代价 |
|---|
| 提示工程 | 输入 | 快速验证、格式约束 | 效果上限受基座限制 |
| RAG | 外部知识注入 | 事实性、可溯源、更新频繁 | 检索质量决定上限 |
| 微调 | 权重 | 风格/格式/领域行为 | 成本高、可能遗忘 |
判断顺序：先提示 → 再 RAG → 最后才是微调（微调不是「知识注入」的首选）。
| 维度 | 迁移学习 | 蒸馏 |
|---|
| 节省 | 数据与算力 | 推理成本 |
| 前提 | 源域与目标域相关 | 有一个强教师 |
| 风险 | 负迁移（域差太大） | 学生受教师错误限制 |
| 维度 | 幻觉 | 不确定性（校准） |
|---|
| 现象 | 生成看似合理但错误的内容 | 置信度与正确率不匹配 |
| 度量 | 事实性核查、引用一致率 | ECE、可靠度曲线 |
| 缓解 | 检索、引用约束、拒答阈值 | 温度缩放、集成、选择性预测 |
注意：模型「自信地说错」正是校准失效的表现——两者常同时出现，处置手段不同。
| 维度 | 涌现论（Wei 等） | 度量假象论（Schaeffer 等） |
|---|
| 主张 | 规模跨阈值时能力突然出现 | 不连续指标造成的视觉假象；换连续指标曲线平滑 |
| 证据 | 多项任务上的突现曲线 | 用连续指标重绘后变平滑 |
| 教材态度 | 并列呈现，指出评测口径决定结论（6.2） | |
| 维度 | 数据并行（DP/ZeRO） | 张量并行（TP） | 流水线并行（PP） |
|---|
| 切什么 | 数据（模型全量副本） | 层内矩阵 | 层（按段） |
| 通信 | 梯度 all-reduce（每步一次） | 每层多次 all-reduce/all-gather | 只在段边界传激活 |
| 主要代价 | 显存（副本） | 通信密集 | 气泡 |
| 何时必需 | 默认起点 | 单层放不下 | 层数多、想省通信 |
| 维度 | ZeRO-1/2/3 | FSDP/FSDP2 |
|---|
| 思路 | 优化器状态/梯度/参数逐级分片 | 逐层 all-gather + reduce-scatter（ZeRO-3 思路的工程化） |
| 取舍 | 阶段越高通信越多 | 类似，但实现与 PyTorch 集成更紧 |
| 判据 | 显存不够 → 升阶段；通信成瓶颈 → 降阶段 | 同上 |
| 手段 | 做什么 | 收益 | 代价 |
|---|
| 量化 | 降数值精度（int8/int4） | 显存与带宽 | 精度损失（需校准） |
| 蒸馏 | 小模型学大模型输出 | 推理快、可部署 | 训练成本、上界受限 |
| 剪枝 | 去冗余权重/结构 | 稀疏加速 | 需要硬件/库支持 |
| 维度 | LoRA | 全参微调 |
|---|
| 可训练参数 | < 1% 量级 | 100% |
| 显存 | 低（可 4-bit 基座） | 高（16N 量级） |
| 保质期 | 适配器可插拔、便于多任务 | 权重即模型 |
| 何时选 | 数据/算力有限、任务明确 | 数据充足、要彻底改变模型行为 |
误用：以为 LoRA 一定「不如」全参——在数据量有限时它常常更不容易过拟合。
使用方法：这 24 张卡片覆盖了全书最容易混的概念。建议做法是每个概念只说一句判断（例如「BN 看别人、LN 看自己」），说错的那条回正文重读——比通读一遍正文有效得多。