例 1.7.1 · Dropout 在训练期改了什么统计量

设某隐藏单元的激活（未加 Dropout 前）恒为 $a=2.0$，Dropout 概率 $p=0.3$，框架采用「训练期除以 $1-p$」的实现。

(1) 求训练期该单元输出的期望与方差；(2) 求推理期该单元的输出；(3) 若训练期不做这个除法，训练与推理的期望各是多少，差几倍？(4) 一个 8 层的网络，每层都是这种情形且都不补偿，推理时的激活尺度会被整体放大几倍？

例 1.7.2 · 用偏置-方差分解解释「为什么加更多参数会先变差」

某回归任务在某点 $\boldsymbol x$ 处的真值 $f^\star=0$，噪声标准差 $\sigma=1.0$。三个候选模型的统计量如下（都在该点评估）：A：$\mathbb E_S[\hat f]=0.5$、$\operatorname{Var}_S[\hat f]=0.1$；B：$\mathbb E_S[\hat f]=0.1$、$\operatorname{Var}_S[\hat f]=2.0$；C：$\mathbb E_S[\hat f]=0.1$、$\operatorname{Var}_S[\hat f]=0.5$。

(1) 分别算出三者的期望平方误差；(2) 指出哪个是「高偏置」、哪个是「高方差」；(3) 若你只能观测到「训练误差」与「验证误差」，如何区分 B 与 C？

1.7.3 正则化清单：每条改的是什么 {#sec-1.7.3}

手段	机制	关键超参	推理期的变化	典型陷阱
L2 权重衰减	每步把参数乘 $(1-\eta\lambda)$（1.6.5）	$\lambda$（$10^{-4}\sim10^{-2}$，需按任务调）	无	对偏置 / 归一化参数也施加；与 Adam 混用（应配 AdamW）
L1 正则	加 $\lambda\lVert\theta\rVert_1$，其对 $\theta$ 的次梯度为常值向量 $\lambda\operatorname{sign}(\theta)$（不像 L2 那样与 $\theta$ 成正比）	$\lambda$	无	原点是尖点，会产生精确为零的解（稀疏），深度学习里不常用
Dropout	训练时以概率 $p$ 将激活置零，推理期按 $1-p$ 缩放（或训练期除以 $1-p$）	$p$（$0.1\sim0.5$）	关闭 Dropout，改为缩放（见下）	与 BatchNorm 同用时方差失配；推理忘了 eval()
早停	验证损失不再改善就停止，保存最佳权重	耐心值（patience）	无	用测试集做早停（等于泄漏）；耐心值过小导致过早停
数据增强	对训练样本做保持标签不变 的变换（翻转 / 裁剪 / 色彩抖动 / 回译 / 混音）	增强强度	无（只作用于训练）	变换破坏了标签语义（如手写数字的垂直翻转）；验证集也被增强
标签平滑	软化目标分布（1.4.7）	$\epsilon$（$0.05\sim0.1$）	无	损害置信度校准与蒸馏
模型平均 / 集成	对多个模型（或训练过程中的权重快照）取平均	快照间隔、成员数	推理开销随成员数增长	成员间相关性太高时收益有限

1.7.4 归一化层：BatchNorm、LayerNorm 与 RMSNorm {#sec-1.7.4}

维度	BatchNorm	LayerNorm	RMSNorm
统计集合	跨批 + 空间	跨特征（单样本）	跨特征（单样本，只用均方）
与批大小相关	是（小时统计不稳）	否	否
与序列长度相关	是（变长序列需小心）	否	否
训练 / 推理一致	否（需 running stats）	是	是
可学习参数	$\gamma,\beta$	$\gamma,\beta$	仅 $\gamma$
主要使用场景	CNN 图像分类	Transformer（原始实现）	现代大模型（LLaMA 类）
主要风险	小批量 / 推理 batch=1 / 与 Dropout 冲突	计算量略大	极少数任务上因缺少居中而略差（需核实）

1.7.5 双下降：经典图景的边界 {#sec-1.7.5}

经典偏置-方差图景预测：模型容量增大到某个点后，测试误差必然上升。但在深度网络里，测试误差可以二次下降——这就是双下降（double descent）现象。

1.7.6 数据泄漏与验证集设计 {#sec-1.7.6}

「泛化异常地好」的第一嫌疑人不是模型，而是评估方法。数据泄漏（data leakage）指训练阶段以任何形式接触到了评估阶段的信息，它会让报告指标系统性偏高、且线上部署后立刻崩掉。

1.7.7 代码：正则化对照、早停与归一化层 {#sec-1.7.7}

import torch, torch.nn as nn, torch.nn.functional as F
torch.manual_seed(0)
# ============ ① Dropout 的缩放：验证训练/推理的期望值一致（方法 1.7.1） ============
p = 0.3
dp = nn.Dropout(p)
a = torch.ones(100000)
dp.train(); train_out = dp(a)                       # 训练期：置零 + 除以 (1-p)
dp.eval();  eval_out  = dp(a)                       # 推理期：恒等映射，不再随机
print("train mean =", round(train_out.mean().item(), 5),   # 应 ≈ 1.0（乘了 1/(1-p) 的补偿）
      " eval mean =", round(eval_out.mean().item(), 5),     # 恒为 1.0
      " 置零比例 ≈", round((train_out == 0).float().mean().item(), 3))   # 应 ≈ p
# ============ ② 归一化层的统计维度：看清 BN 与 LN 各自沿哪些维度求和 ============
h = torch.randn(8, 4, 16, 16)                        # (N,C,H,W)：批 8、通道 4、空间 16×16
bn = nn.BatchNorm2d(4); ln = nn.LayerNorm([4, 16, 16])
bn_out, ln_out = bn(h), ln(h)
# BN 沿 (N,H,W) 求统计 → 每个通道的均值应≈0；LN 沿 (C,H,W) 求统计 → 每个样本的均值应≈0
print("BN 每通道均值:", bn_out.mean(dim=(0, 2, 3)).abs().max().item())
print("LN 每样本均值:", ln_out.mean(dim=(1, 2, 3)).abs().max().item())
# ============ ③ 早停：保存最佳权重而不是最后一轮的权重 ============
class EarlyStopper:
    def __init__(self, patience=5, min_delta=1e-4):
        self.patience, self.min_delta = patience, min_delta
        self.best, self.bad, self.best_state = float("inf"), 0, None
    def step(self, val_loss, model):
        if val_loss < self.best - self.min_delta:       # 有实质改善：刷新记录并快照权重
            self.best, self.bad = val_loss, 0
            self.best_state = {k: v.detach().clone() for k, v in model.state_dict().items()}
        else:                                           # 无改善：累计，超过耐心值就停
            self.bad += 1
        return self.bad >= self.patience                # 返回 True 表示应当停止
def train_once(weight_decay=0.0, dropout=0.0, label_smoothing=0.0, epochs=60, seed=0):
    torch.manual_seed(seed)
    n, d = 200, 20
    x = torch.randn(n, d)
    # 真实规律只依赖前 5 维；其余是噪声维度 → 容量过大时极易过拟合
    w = torch.zeros(d); w[:5] = 1.0
    y = (x @ w > 0).float().unsqueeze(1)
    x_tr, y_tr, x_va, y_va = x[:150], y[:150], x[150:], y[150:]
    model = nn.Sequential(nn.Linear(d, 256), nn.ReLU(), nn.Dropout(dropout),
                          nn.Linear(256, 256), nn.ReLU(), nn.Dropout(dropout),
                          nn.Linear(256, 1))
    opt = torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=weight_decay)
    stopper = EarlyStopper(patience=8)
    for ep in range(epochs):
        model.train()
        loss = F.binary_cross_entropy_with_logits(model(x_tr), y_tr)
        opt.zero_grad(); loss.backward(); opt.step()
        model.eval()
        with torch.no_grad():
            vl = F.binary_cross_entropy_with_logits(model(x_va), y_va).item()
        if stopper.step(vl, model):
            break
    model.load_state_dict(stopper.best_state)           # 关键：回滚到最佳权重
    model.eval()
    with torch.no_grad():
        va_acc = ((model(x_va) > 0).float() == y_va).float().mean().item()
    return stopper.best, va_acc
for cfg in [dict(), dict(weight_decay=0.01), dict(dropout=0.3), dict(weight_decay=0.01, dropout=0.3)]:
    best, acc = train_once(**cfg)
    print(f"{str(cfg):55s} best_val={best:.4f}  val_acc={acc:.3f}")
# ============ ④ 泄漏探测：打乱标签后重训，看验证指标是否仍“很好” ============
def leak_probe():
    torch.manual_seed(0)
    x = torch.randn(300, 20); y = torch.randint(0, 2, (300, 1)).float()
    perm = torch.randperm(300)          # 故意破坏样本—标签的对应关系
    x, y = x[perm], y[perm]
    m = nn.Sequential(nn.Linear(20, 64), nn.ReLU(), nn.Linear(64, 1))
    opt = torch.optim.AdamW(m.parameters(), lr=1e-3)
    for _ in range(200):
        loss = F.binary_cross_entropy_with_logits(m(x[:200]), y[:200])
        opt.zero_grad(); loss.backward(); opt.step()
    with torch.no_grad():
        acc = ((m(x[200:]) > 0).float() == y[200:]).float().mean().item()
    return acc                          # 随机标签下应≈0.5；显著更高说明流程里有泄漏
print("leak probe val_acc =", round(leak_probe(), 3))

1.7.8 陷阱与勘误

本节小结：泛化问题的诊断靠「训练 / 验证两条曲线的三条信息」（绝对高度、间隙变化、噪声幅度），处置方向由「欠拟合加容量、过拟合加正则」分开；统一的分析框架是近似误差 - 估计误差 - 优化误差，三类误差的手段互不通用。正则化清单里的每一种手段都可以理解为「对能力预算的再分配」，其中 Dropout 的关键细节是推理期缩放、权重衰减的关键细节是必须与 AdamW 配对。归一化层的核心作用是压平各方向的曲率从而允许更大学习率，BN / LN / RMSNorm 的差别在于统计量覆盖哪些维度，这一差别直接决定 Transformer 必须用 LN 类。经典偏置-方差图景的边界是双下降：参数比样本多不必然过拟合，决定因素是训练方法的隐式偏好。最后，「泛化异常好」的第一嫌疑人是评估方法本身——在相信任何指标之前，先排除数据泄漏。

与后续的连接：本讲把「结构 → 损失 → 梯度 → 优化 → 泛化」这条完整链条打通了，后面八讲都是在结构这一环上换形状：第 2 讲换成适应序列的结构（RNN → 注意力 → Transformer），第 3 讲换成利用空间局部性的卷积并把归一化层放到骨干里，第 4 讲把「预测」换成「采样」，第 9 讲把同一套训练循环放大到数千张卡。判据、形状推演与诊断顺序不变，变的只是张量的排布。