Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

第 5 讲 · 勘误与补注

用途：说明本讲与母本讲义的差异、容易踩的译名坑、录播年代与 2023–2025 实践之间的时效落差，以及本教程自身的更正记录。 阅读顺序建议：先看第二节（术语），因为这一讲的混淆绝大多数来自词；再看第三节（时效），最后按需查第一节与第四节。

一、对照母本讲义的补注

母本把 RL 放在与监督/无监督并列的位置上，用「交互循环 → 值方法 → 策略方法 → 对齐应用」的骨架把一整讲铺完；它的目标是让你认出这些算法与它们的适用位置，而不是让你从头推导。本教程沿用同一骨架，但把每一处「母本只给结论」的地方补齐——逐条如下：

母本的处理母本省略了什么本教程补在哪里
交互循环用一张图带过；奖励「稀疏且延迟」只作口头描述稀疏程度的量级论证（成功率 2−H2^{-H}）、三种「奖励—动作」关系（即时稠密 / 延迟稠密 / 延迟稀疏）5.1.3 与其中的 think 框
讲探索「用 ε\varepsilon-greedy」探索税可以精确算出来：Δ=ε(μ∗−μˉ)\Delta=\varepsilon(\mu^\ast-\bar\mu)，以及「常数 ε\varepsilon 永远拿不到满分」的推论定理 5.1.1 与紧随的推导、intuition
写 MDP 五元组与贝尔曼方程期望方程的完整推导、矩阵形式与 (I−γPπ)−1(I-\gamma P^\pi)^{-1} 的代价、最优算子的压缩性与唯一性定理 5.2.1、定理 5.2.2 的推导；可对照附录 C.9
给 Q-learning 更新式，说「它会收敛」收敛的前提（充分访问 + Robbins–Monro 步长条件）与随机近似骨架；SARSA 与它的同一条转移对照算例定义 5.3.2 与例 5.3.1（5.3 vs 3.95）
说 DQN 用「回放 + 目标网络」两个技巧各治哪个病的对照，以及 max⁡\max 造成的过高估计量级估算 σ2ln⁡N\sigma\sqrt{2\ln N}方法 5.3.1、定理 5.3.2 与例 5.3.2
给策略梯度定理的结论式按轨迹展开的四步推导、因果性（回报-to-go）的证明、基线无偏性的一行引理定理 5.4.1、定理 5.4.2、定理 5.4.3；附录 C.10
讲 PPO「用 clip 代替 KL」，配一张目标函数示意图分四象限的梯度分析（哪两个象限归零、哪两个「拉回」）、裁剪目标是无裁剪目标的保守下界、PPO 的三项目标与诊断指标表定义 5.5.2 后的推导与例 5.5.2、方法 5.5.3、方法 5.5.4
提 RLHF 三步与「用偏好训奖励模型」Bradley–Terry 的建模假设与其危险（单维标量、σ\sigma 饱和、冲突偏好被平均掉）；DPO 的三步推导与 Z(x)Z(x) 抵消这一关键定义 5.6.2 与其 intuition、定理 5.6.2 的推导；附录 C.13
讲训练与调参经验四类失败模式的症状—根因—处方诊断表、多种子 + 多回合 + 回报分布的评估协议与置信区间算例方法 5.7.4、方法 5.7.5、例 5.7.1

一句话概括：母本给你「哪条路通向哪里」，本教程补上「这条路为什么通、代价多少、什么时候断」。

二、术语与常见译误

术语常见误用 / 误译正确理解
reward（奖励）与 return（回报）把两者都译成「收益」，于是「最大化收益」这句话既可能指最大化即时 rr 也可能指最大化 GtG_t奖励 rt+1r_{t+1} 是单步标量，回报 Gt=∑k≥0γkrt+k+1G_t=\sum_{k\ge0}\gamma^{k}r_{t+k+1} 是折扣累积量；RL 的目标是后者（定义 5.2.3）。混用会直接导出一个错误结论：「奖励大的动作多做」——奖励不在动作上，它只评价结果
policy（策略）与 actor（演员网络）把 actor 与 policy 当同义词，于是觉得「Actor–Critic 里有两个策略」策略是数学对象 π(a∣s)\pi(a\mid s)（状态到动作分布的映射）；actor 是实现它的那组参数 πθ\pi_\theta。Critic 里没有策略，只有值函数 VϕV_\phi（定义 5.2.2、方法 5.5.1）
critic（评论家）与 value function（值函数）把「Critic 就是 QQ 网络」Critic 是角色名（负责评、向 actor 提供优势），值函数是它拟合的对象。值方法里那个网络拟合的是 QQ，Actor–Critic 里拟合的通常是 VV——差别就在于决策交给谁：值方法靠 arg⁡max⁡aQ\arg\max_a Q，Actor–Critic 靠策略网络，所以只需 VV（命题 5.2.1 后 intuition）
on-policy 与 off-policy 的判据用「有没有用 max⁡\max」「更新频率」当判据，或者笼统地说「Q-learning 是 off-policy 所以用旧数据没问题」判据只有一条：产生数据的行为策略与被评估/改进的目标策略是不是同一个。SARSA 用行为策略实际选出的 a′a' ⇒ on-policy；Q-learning 用 max⁡\max，学的是与数据来源无关的目标（最优 Q∗Q^\ast）⇒ off-policy（定义 5.3.2）。反例预警：「off-policy」不等于「可以不探索」——充分访问仍是收敛前提；PPO 则是近似 on-policy：靠 ρ\rho 修正后只能多跑几个 epoch
RLHF 与 DPO 的关系说「DPO 是 RLHF 的近似」或「DPO 也是 RLHF 的一种」在「KL 正则目标 + Bradley–Terry 偏好模型」这套假设下两者等价（定理 5.6.2），真正近似的地方只有一处——假设最优解落在参数化策略族内。工程差别在失败模式：RLHF 容易被奖励模型的漏洞带偏，DPO 没有奖励模型这层缓冲，标注噪声直接进策略梯度（5.6.9 的 think）
advantage 与 TD error把 A(s,a)A(s,a) 与 δt\delta_t 当成一回事，或以为 A=Q−VA=Q-V 是「一步」的量δt=rt+1+γV(st+1)−V(st)\delta_t=r_{t+1}+\gamma V(s_{t+1})-V(s_t) 是一步残差；Aπ(s,a)=Qπ(s,a)−Vπ(s)A^\pi(s,a)=Q^\pi(s,a)-V^\pi(s) 是多步的「比平均好多少」（定义 5.5.1）。两者的桥正是 GAE：当 V=VπV=V^\pi 时 Aπ(st,at)=E[∑l≥0γlδt+l]A^\pi(s_t,a_t)=\mathbb E[\sum_{l\ge0}\gamma^l\delta_{t+l}]，一步 TD 残差只是它的 λ=0\lambda=0 特例（定理 5.5.1）
贝尔曼「期望」方程与「最优」方程说「贝尔曼方程用来求最优值」期望方程评的是给定策略的值 VπV^\pi，是线性方程组、有唯一解；最优方程才给 V∗V^\ast，把 ∑aπ(a∣s)\sum_a\pi(a\mid s) 换成 max⁡a\max_a 后变成非线性不动点（定理 5.2.2）。混用的后果是「以为在评估、实际在改进」的策略退化

三、时效补注（2023–2025 的实践落差）

母本录播年代的 RL 叙事以 DQN（Atari）与策略梯度（连续控制）为主，对齐只作为「应用展望」出现。以 2023–2025 年的实践看，重心已经明显移动，读正文时请按下表换算：

主题母本年代的说法2023–2025 的实践本讲对应处
主战场游戏与控制（Atari / MuJoCo / 机器人）语言模型对齐与推理模型：偏好优化、可验证奖励、推理期搜索成为主线5.6 全节
奖励从哪来环境内建的游戏得分偏好模型（RLHF）或程序判定的 0/1（RLVR）；「奖励设计」变成数据工程5.6.3、5.6.7
默认算法DQN 家族为主，PPO 用于连续控制PPO 仍是 RLHF 的默认执行器，但离线侧 DPO 家族已分流；推理任务上 GRPO 类（去 Critic）成为主力5.6.5、5.6.6、方法 5.6.6
「算力换什么」换样本（与环境交互次数）换采样与评判：每组多采样（GRPO 的 GG）、推理期多次采样再投票/搜索（test-time scaling）5.6.6、5.7
稳定化手段回放池 + 目标网络；KL 惩罚回放与目标网络仍是值方法标配；策略侧更多靠 KL 早停 / 裁剪比例 / 优势归一化的仪表盘式监控方法 5.5.4
评估文化报最优种子 / 单条曲线多种子 + 多回合 + 报分布已是硬要求；单点数字不构成证据方法 5.7.5、例 5.7.1
环境接口gym 的 reset() -> obs、step() -> 四元组Gymnasium 的 reset() -> (obs, info)、step() -> 五元组（terminated/truncated 必须区分）5.4.7 的 note、5.7.1

两个必须跟着更新的工程习惯：① 奖励尺度与学习率要一起定——奖励整体乘一个大常数不改变信噪比，等价于把有效学习率乘同倍数（5.4.7 即时自测 Q4）；② 终止与截断必须分开处理，否则靠近时间上限的状态值被系统性低估（方法 5.7.1）。

四、本教程更正记录

位置原表述更正说明
旧 lec05.md 的全部节标题节编号写成 1.x（## 1.1 为什么需要 RL … ## 1.5 Actor-Critic 与 PPO）重构后统一为 5.x：正文拆为 5.1–5.7 七个节页，编号与讲号一致与写作规范《页面模板与组件规范》自检清单第 3 条「节标题编号与讲号一致（第 7 讲无 1.x）」冲突；按本任务要求不改动旧文件（视作母本），新拆分的节页是唯一权威版本
5.2 的小节序列原文依次为 5.2.1、5.2.2、5.2.3（状态值函数与动作值函数）…… 缺少名为 5.2.2 的标题行数值序列本身仍连续（§5.2.2「策略、轨迹与折扣回报」承载了三个定义），不需要改正文；引用时请用定义锚点而不是节号记录以免读者按节号检索时误以为漏页
5.3.6 的改良清单序号误写为「Dueling、优先回放、多步回报与 Rainbow」四类表中共列 六个组件（另含分布式值 C51、噪声网络）——以 Rainbow 消融表为准不影响结论，但复现时容易漏掉两个组件
5.6.11 的 errata 框第 5 条把两个问题（离线 RL 误用在线算法 + β\beta 的作用）挤在同一条目里，且缺少第 5 条之前的序号衔接以正文为准，本条只做提示：β\beta 同时控制偏离参考模型的距离、隐式奖励尺度与噪声容忍度建议二刷时把该条拆成两条独立卡片，见回忆卡 D 组
5.7.6 的实验记录清单表头首行与末行都写作「环境」分组末行应为「工程」（记录库版本、硬件、墙钟与显存）记录以免照抄表格时漏记可复现性信息

本讲未决的「需核实」条目（不写成结论，留待与原文核对）：① 母本讲次的确切标题与编号以官网当期排课为准（导览已标注）；② 标注者一致性阈值的「社区惯例」说法没有权威下限（5.6.9）；③ 若干延伸阅读以网站/博客形式存在、没有 arXiv 编号（如 OpenAI Spinning Up 的教学讲义、Faulty Reward Functions in the Wild 官方博客）；④ 工程默认超参数（Stable-Baselines3 的 PPO 默认值）随库版本变化，引用时应注明版本。正文中已写明 arXiv 编号的文献（DPO 2305.18290、GAE 1506.02438、TRPO 1502.05477、PPO 1707.06347、GRPO 2402.03300、R1 2501.12948、CQL 2006.04779、IQL 2110.06169 等）按原样沿用，未逐篇复核版本号。