Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

全书知识地图

这张图是全书唯一的全局导航:先看清九讲的关系,再决定从哪一讲切入。

一张图:一个范式,四条支线,三个收束

                  ┌──────────────────────────────────────────────────┐
                  │  第 1 讲 · 深度学习导论(范式)                    │
                  │  结构 → 损失 → 梯度下降 → 反向传播                 │
                  └───────────────┬──────────────────────────────────┘
                                  │  这个范式套到不同数据上……
        ┌──────────────┬──────────┼──────────┬──────────────────────┐
        ▼              ▼          ▼          ▼                      ▼
   ┌─────────┐   ┌─────────┐ ┌─────────┐ ┌─────────┐          ┌──────────┐
   │ 第 2 讲  │   │ 第 3 讲  │ │ 第 4 讲  │ │ 第 5 讲  │          │ 第 6 讲   │
   │ 序列     │   │ 视觉     │ │ 生成     │ │ 决策     │          │ 新前沿    │
   │ 注意力   │   │ 卷积     │ │ 扩散/流  │ │ RL/偏好  │          │ 大模型    │
   └────┬────┘   └────┬────┘ └────┬────┘ └────┬────┘          └─────┬────┘
        │             │           │           │                    │
        └─────────────┴─────┬─────┴───────────┘                    │
                            │  四条支线共享同一套训练语言            │
                            ▼                                       ▼
                  ┌───────────────────┐              ┌───────────────────────┐
                  │ 第 9 讲 · 规模     │              │ 第 7 讲 · 价值/责任    │
                  │ 切分与通信         │              │ 可控·可信·公平         │
                  └─────────┬─────────┘              └──────────┬────────────┘
                            │                                    │
                            └────────────┬───────────────────────┘
                                         ▼
                              ┌───────────────────────┐
                              │ 第 8 讲 · 应用:科学   │
                              │ 拟合 vs 理解           │
                              └───────────────────────┘

读法:第 1 讲是地基,第 2–5 讲是四条支线——都是「同一个范式换结构」:第 2 讲把「结构」换成能处理变长有序数据的形状;第 3 讲换成能利用空间局部性的形状;第 4 讲把「预测」换成「采样」;第 5 讲把「有标签的监督」换成「与环境交互的试错」。第 6–9 讲不引入新范式,而是把这套范式推到规模(6、9)、价值(7)与应用(8)的层面。

各讲一句话与本讲回答的问题

讲一句话回答的问题
1一切网络都是「结构 + 损失 + 梯度下降」神经网络到底在优化什么?
2用注意力直接建模任意位置的依赖怎么处理长短不一的序列?
3用卷积的局部性与权值共享压缩图像任务为什么 CNN 在图像上这么强?ViT 又凭什么反超?
4学会数据分布,就能采样出新样本模型怎么「创造」而不只是「判断」?
5用回报信号在试错中学习策略没有标签时怎么学?偏好怎么变成训练信号?
6规模带来能力,也带来新的对齐问题大模型为什么「会了」?它到底会不会(评测)?
7让系统可控、可解释、可信赖技术人为什么要管后果,怎么管?
8把科学试错变成可微分的推断AI 怎么加速科学发现?它的边界在哪?
9模型放不下时,切分与通信是核心怎么在有限显存里训大模型?

三张「跨讲表」:概念在哪里被复用

1. 必背概念的首次出现与复用点

概念首次系统出现后续复用
反向传播1.5第 2–9 讲所有目标函数都靠它求梯度
张量形状推演1.1每一讲的形状表;排错第一技能
注意力2.4Transformer(2.5)、ViT(3.5)、LLM(6.1)、VLA(6.5)
重参数化4.3VAE、扩散(4.5)、流匹配(4.6)、扩散策略(6.5)
重要性采样与变分下界4.3扩散的 ELBO(附录 C.7)、DPO(5.6)
KL 约束与正则化4.3PPO(5.5)、DPO(5.6)、SAE 稀疏惩罚(7.3)
显存账(16N16N)9.1每个训练决策的前置计算;工具箱
评测效度6.7第 7 讲的审计与第 8 讲的科学验证

2. 三个「反复出现的判断」

  1. 「代价换什么」:O(T2)O(T^2) 换精度(注意力)、步数换质量(扩散)、显存换通信(ZeRO/TP/PP)、能力换风险(更大的模型)。
  2. 「先小后大」:先用单样本过拟合验证通路(工具箱),再放大;先小模型验证方法(9.7),再上并行。
  3. 「并列证据,不站队」:涌现能力之争(6.2)、世界模型之辩(6.6)、PINN 边界(8.4)——教材给证据与判据,不给口号。

3. 与课程产出的对应

产出用到哪些讲材料
Lab 1(音乐生成)1、2Lab 1
Lab 2(人脸检测)1、3Lab 2
Lab 3(LLM 微调)2、6、9Lab 3
项目提案全部,重点 1、2、4、9项目指南、选题路线
面试/答辩全部竞技场、自测卷

四条推荐路线

路线顺序适合
通读线1 → 2 → 3 → 4 → 5 → 6 → 7 → 8 → 9第一次系统学习
视觉/生成线1 → 3 → 4 →(Lab 2)做视觉或生成课题
序列/大模型线1 → 2 → 6 → 9 →(Lab 1、Lab 3)做序列、LLM 或机器人课题
工程落地线工具箱 → 1(只补形状与训练) → 3.6 或 2.2 → 9.5 → Lab 3已有编程基础、目标是「跑起来」

每讲页首有一个「10 分钟复习版」盒子;赶时间时只读它,即可拿到该讲的骨架。