范围与目标
这是一本面向研究生的深度学习入门教程,依据 MIT 6.S191《Introduction to Deep Learning》的九讲主题与三个软件实验整理、扩充而成。本教程不逐字翻译讲义,按九讲顺序组织:
第 1 讲给出「定义结构 → 定义损失 → 梯度下降」的训练范式;第 2–5 讲分别讨论序列、视觉、生成与决策;第 7–9 讲讨论规模、价值与应用。关键公式给出可跟读的推导,三个 Lab 给出逐行讲解。
本教程解决什么问题
公开课讲义按主题给出结论,推导与代码另行补齐。本教程在每个主题下补三件事:
- 概念衔接:讲导览给出本节在整讲中的位置;正文按定义、结论、例题组织。
- 公式推导:反向传播、注意力、ELBO、扩散目标、策略梯度、PPO 裁剪、DPO 给出可跟读的推导;完整版本收在附录 C。
- 代码说明:三个 Lab 逐行说明数据、张量形状、损失与排查步骤;工程工具箱集中记录显存、实验管理与排查表。
本书的组织方式(怎么读最快)
全书由五种页面构成,各司其职:
| 层 | 页面 | 干什么 |
|---|---|---|
| 学 | 讲导览(overview)+ 节页(secNN) | 建立概念与推导:从这里读第一遍 |
| 查 | 讲末材料:总结 / 勘误 / 教科书式习题 | 学完一讲后巩固;遇到疑问回查 |
| 记 | 公式与结论卡 / 速查背记卡 / 易混对照卡 / 各讲回忆卡 | 考前与面试前把骨架压到最短 |
| 练 | 三个 Lab + 项目提案指南 | 动手跑通完整流程 |
| 输出 | 面试与答辩竞技场 + 综合自测卷 | 把「知道」练成「讲得出、做得对」 |
每讲的固定结构:讲导览 → 若干节(动机 → 定义 → 直觉 → 推导 → 例题 → 代码 → 陷阱 → 即时自测)→ 讲末六页(总结、勘误、习题、自检表、回忆卡、自测卷)。九讲使用同一结构。
三层阅读结构
正文用统一的语义盒子区分内容性质,读者可以按需分层:
| 盒子 | 含义 | 第一遍怎么处理 |
|---|---|---|
| 定义 / 定理(蓝 / 紫) | 必记骨架:概念的精确定义与关键结论 | 必读,是复习时的骨架 |
| 直觉(蓝绿) | 一句白话解释「这条定义/定理在讲什么、为什么需要它」 | 先读,建立手感 |
| 方法 / 例题(青 / 绿) | 怎么用、算一遍 | 跟着算,建立熟练度 |
| 证明 / 推导(灰,可折叠) | 关键公式的完整推导 | 第一遍可跳,二刷再补 |
| 陷阱 / 勘误(红) | 常见误解与易错点 | 每节末尾必看 |
与母本(MIT 6.S191)的关系
- 骨架一致:九讲的主题顺序、核心结论、三个实验的题目与课程一致;本教程的作用是把它们读薄、串起来、补齐推导。
- 明确扩展:凡母本未展开或近年才出现的内容(状态空间模型、MoE、流匹配、测试时计算、VLA、机制可解释性、FP8 与 FSDP2 等),本教程以「拓展」标注,并给出可核查的来源;不确定处标「需核实」,不编造。
- 权威源仍在课程:官网、讲义 PDF、Lab Notebook 与录播是权威源;术语一律保留英文对照(见符号与缩略语表与术语索引)。
学习路径
- 零基础:卷首 → 先修工具箱 → 入学诊断 → 按 1–9 讲顺序通读,每讲配一个 Lab。
- 有基础、赶时间:只读每讲页首的「10 分钟复习版」与公式速查卡,跳过全部证明框。
- 为课程项目做准备:重点读 第 1、2、4、9 讲与项目提案指南,选题多落在「序列/生成 + 高效训练」的组合上。
- 要动手做工程:从工程工具箱与最小必读路径 · 路线 5进入。
- 要输出(面试/答辩):面试与答辩竞技场三轮特训。