第 1 讲导览 · 深度学习导论

这一讲要解决的真实问题

训练一个深度学习模型，最常见的失败不是「模型不够大」，而是四个环节中有一个没接上：结构、损失、梯度、泛化。结构决定了模型能表达什么函数；损失决定了「什么叫好」；梯度决定了参数能不能朝好的方向移动；泛化决定了训练集上的好成绩能不能带到没见过的数据上。这四件事在今天被框架封装成了三行代码（model(x)、loss.backward()、opt.step()），封装得太好，以至于出错时绝大多数人不知道从哪一环查起。第 1 讲的全部目的，就是把这四环拆开、逐环写清楚——后面的八讲都只是在「结构」这一环上换形状。

母本 MIT 6.S191 的第一讲讲次（Lecture 1: Introduction to Deep Learning）在一节课里从感知机讲到反向传播，重点是建立直觉，把推导、初始化、归一化层、优化器细节都留给学生自己补。本教程与它的关系是：沿用它的骨架与术语，把课堂上省略的中间步骤补齐，并把母本录播年代之后成为默认实践的东西（AdamW、RMSNorm、SwiGLU、大批量训练的线性缩放规则、双下降现象）归位到相应小节。凡是超出母本范围的内容，本教程会明确标注那是「工程惯例」还是「本教程的推理」。母本配套的 Lab（github.com/aamini/introtodeeplearning）对应的入门实验，本书组织为 Lab 1。

七节一览

与母本讲次的对应

本讲不覆盖什么（避免期望错位）

本讲地图

                    [1.1 神经元 / 感知机]
                    能力边界 = 线性可分
                            │  跨过边界要靠「分层」
                            ▼
        [1.2 MLP 前向 + 通用逼近] ──────────┐
        形状推演 / 初始化 / 深度 vs 宽度     │  非线性从哪来
                            │              ▼
                            │        [1.3 激活函数]
                            │        饱和、死亡、门控家族
                            ▼              │
        [1.4 损失函数] ◄──「什么叫好」──────┘
        最大似然统一视角 / CE / MSE
                            │
                            ▼
        [1.5 梯度下降 + 反向传播] ◄──「怎么走到好」
        计算图 / VJP / 梯度检查
                            │
                            ▼
        [1.6 优化器与学习率调度] ◄──「走多快、怎么拐弯」
        SGD → Momentum → Adam → AdamW
                            │
                            ▼
        [1.7 泛化、正则化与归一化] ◄──「好成绩带得走吗」
        Dropout / 权重衰减 / BN / LN / RMSNorm / 双下降

  依赖关系：1.2 → 1.3（激活是层的一部分，先有层再谈激活的选择）
            1.2 + 1.4 → 1.5（没有具体损失，就写不出具体梯度）
            1.5 → 1.6（优化器是「如何用梯度」，先有梯度）
            1.2–1.6 → 1.7（前面全部是训练误差，1.7 才谈泛化误差）

本讲新增的概念（与 1.1 节相比）

讲前自查：五道口答题

这几道题全部属于先修或 1.1 节的内容。若有一题答不上来，先回 1.1 节或先修工具箱，不要直接进入 1.2。

本讲的主线与「一条主线」

一条主线：任何深度网络的训练都可以拆成「定义结构 → 定义损失 → 用梯度下降最小化损失」三步；反向传播只是链式法则在计算图上的高效实现，而泛化是这三步之外、由数据与正则化共同决定的第四条约束。

与实验和项目的关系

• Lab 1 · 深度学习入门与音乐生成：第一部分用一层网络把「前向 → 损失 → 反向 → 更新」跑通，对应的正是 1.4 与 1.5 的两条盒子；第二部分用字符级 RNN 做音乐续写，是 第 2 讲的主题，但训练循环完全沿用本讲的 1.6。
• 期末项目：本讲的方法定位阶段（选损失、选输出层、定验证方式）适用于所有项目选题；如果项目涉及「训练不收敛 / 过拟合」，诊断路径直接查 1.7 的陷阱表。