这张图是全书唯一的全局导航:先看清九讲的关系,再决定从哪一讲切入。
┌──────────────────────────────────────────────────┐
│ 第 1 讲 · 深度学习导论(范式) │
│ 结构 → 损失 → 梯度下降 → 反向传播 │
└───────────────┬──────────────────────────────────┘
│ 这个范式套到不同数据上……
┌──────────────┬──────────┼──────────┬──────────────────────┐
▼ ▼ ▼ ▼ ▼
┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌──────────┐
│ 第 2 讲 │ │ 第 3 讲 │ │ 第 4 讲 │ │ 第 5 讲 │ │ 第 6 讲 │
│ 序列 │ │ 视觉 │ │ 生成 │ │ 决策 │ │ 新前沿 │
│ 注意力 │ │ 卷积 │ │ 扩散/流 │ │ RL/偏好 │ │ 大模型 │
└────┬────┘ └────┬────┘ └────┬────┘ └────┬────┘ └─────┬────┘
│ │ │ │ │
└─────────────┴─────┬─────┴───────────┘ │
│ 四条支线共享同一套训练语言 │
▼ ▼
┌───────────────────┐ ┌───────────────────────┐
│ 第 9 讲 · 规模 │ │ 第 7 讲 · 价值/责任 │
│ 切分与通信 │ │ 可控·可信·公平 │
└─────────┬─────────┘ └──────────┬────────────┘
│ │
└────────────┬───────────────────────┘
▼
┌───────────────────────┐
│ 第 8 讲 · 应用:科学 │
│ 拟合 vs 理解 │
└───────────────────────┘
读法:第 1 讲是地基,第 2–5 讲是四条支线——都是「同一个范式换结构」:第 2 讲把「结构」换成能处理变长有序数据的形状;第 3 讲换成能利用空间局部性的形状;第 4 讲把「预测」换成「采样」;第 5 讲把「有标签的监督」换成「与环境交互的试错」。第 6–9 讲不引入新范式,而是把这套范式推到规模(6、9)、价值(7)与应用(8)的层面。
| 讲 | 一句话 | 回答的问题 |
| 1 | 一切网络都是「结构 + 损失 + 梯度下降」 | 神经网络到底在优化什么? |
| 2 | 用注意力直接建模任意位置的依赖 | 怎么处理长短不一的序列? |
| 3 | 用卷积的局部性与权值共享压缩图像任务 | 为什么 CNN 在图像上这么强?ViT 又凭什么反超? |
| 4 | 学会数据分布,就能采样出新样本 | 模型怎么「创造」而不只是「判断」? |
| 5 | 用回报信号在试错中学习策略 | 没有标签时怎么学?偏好怎么变成训练信号? |
| 6 | 规模带来能力,也带来新的对齐问题 | 大模型为什么「会了」?它到底会不会(评测)? |
| 7 | 让系统可控、可解释、可信赖 | 技术人为什么要管后果,怎么管? |
| 8 | 把科学试错变成可微分的推断 | AI 怎么加速科学发现?它的边界在哪? |
| 9 | 模型放不下时,切分与通信是核心 | 怎么在有限显存里训大模型? |
| 概念 | 首次系统出现 | 后续复用 |
| 反向传播 | 1.5 | 第 2–9 讲所有目标函数都靠它求梯度 |
| 张量形状推演 | 1.1 | 每一讲的形状表;排错第一技能 |
| 注意力 | 2.4 | Transformer(2.5)、ViT(3.5)、LLM(6.1)、VLA(6.5) |
| 重参数化 | 4.3 | VAE、扩散(4.5)、流匹配(4.6)、扩散策略(6.5) |
| 重要性采样与变分下界 | 4.3 | 扩散的 ELBO(附录 C.7)、DPO(5.6) |
| KL 约束与正则化 | 4.3 | PPO(5.5)、DPO(5.6)、SAE 稀疏惩罚(7.3) |
| 显存账(16N) | 9.1 | 每个训练决策的前置计算;工具箱 |
| 评测效度 | 6.7 | 第 7 讲的审计与第 8 讲的科学验证 |
- 「代价换什么」:O(T2) 换精度(注意力)、步数换质量(扩散)、显存换通信(ZeRO/TP/PP)、能力换风险(更大的模型)。
- 「先小后大」:先用单样本过拟合验证通路(工具箱),再放大;先小模型验证方法(9.7),再上并行。
- 「并列证据,不站队」:涌现能力之争(6.2)、世界模型之辩(6.6)、PINN 边界(8.4)——教材给证据与判据,不给口号。
| 路线 | 顺序 | 适合 |
| 通读线 | 1 → 2 → 3 → 4 → 5 → 6 → 7 → 8 → 9 | 第一次系统学习 |
| 视觉/生成线 | 1 → 3 → 4 →(Lab 2) | 做视觉或生成课题 |
| 序列/大模型线 | 1 → 2 → 6 → 9 →(Lab 1、Lab 3) | 做序列、LLM 或机器人课题 |
| 工程落地线 | 工具箱 → 1(只补形状与训练) → 3.6 或 2.2 → 9.5 → Lab 3 | 已有编程基础、目标是「跑起来」 |
每讲页首有一个「10 分钟复习版」盒子;赶时间时只读它,即可拿到该讲的骨架。