方法 7.2.2 · RLHF 三阶段（对齐视角）

1. 得到初始策略：预训练 + SFT，得到参考模型 $\pi_{\text{ref}}$——语言能力的载体。
2. 把偏好变成奖励：收集成对偏好数据 $(x,y_w,y_l)$（同一提示 $x$ 下，被偏好的回答 $y_w$ 与较差的 $y_l$），用 Bradley–Terry 形式训练奖励模型 $r_\phi$： $$\mathcal L(\phi)=-\mathbb E_{(x,y_w,y_l)}\Bigl[\log\sigma\bigl(r_\phi(x,y_w)-r_\phi(x,y_l)\bigr)\Bigr].$$
3. 用 RL 优化并加约束： $$\max_\theta\ \mathbb E_{x,\ y\sim\pi_\theta}\bigl[r_\phi(x,y)\bigr]\ -\ \beta\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid x)\,\Vert\,\pi_{\text{ref}}(\cdot\mid x)\bigr).$$

三个必须记住的局限：① 偏好数据来自有限、有噪声、有系统性倾向的人群，它编码的是「那些标注者在这种情形下更偏好什么」，不等于所有人的价值；② 奖励模型仍可被过度优化——$r_\phi$ 的漏洞是新的奖励黑客入口；③ KL 约束是权宜之计：$\beta$ 太小会被奖励模型带偏，太大则几乎学不动。

方法 7.2.3 · DPO 目标与其适用边界

直接偏好优化（Direct Preference Optimization, DPO；Rafailov 等，2023，arXiv:2305.18290）在成对偏好数据上用如下损失直接更新策略，无需显式奖励模型、无需在线采样：

$$\mathcal L_{\text{DPO}}(\theta)=-\mathbb E_{(x,y_w,y_l)}\Bigl[\log\sigma\Bigl(\beta\log\frac{\pi_\theta(y_w\mid x)}{\pi_{\text{ref}}(y_w\mid x)}-\beta\log\frac{\pi_\theta(y_l\mid x)}{\pi_{\text{ref}}(y_l\mid x)}\Bigr)\Bigr].$$

它能做：把偏好优化变成一次离线分类训练——工程更稳、成本更低、可复现性更好，成为开源对齐的默认选择；同一思路的变体针对不同病症（IPO 处理偏好对噪声、KTO 允许不成对数据、ORPO 融合 SFT 与偏好、SimPO 去掉参考策略项）。

它不能做：① 无法探索偏好数据之外的行为（离线方法的天花板）；② 对参考策略敏感——$\pi_{\text{ref}}$ 偏了，偏好比值也随之偏；③ 不提供「新采样分布下」的质量证据，它只有训练集上的评分。

方法 7.2.4 · 宪法式 AI 的两阶段

1. 监督阶段（自我批评 + 修订）：对模型的初始回答，让模型依据原则 $c$ 生成批评并重写作答；用修订后的作答做监督微调。
2. RL 阶段（AI 反馈的偏好）：让模型对同一提示的两个回答按原则 $c$ 判断哪个更好，用这些「AI 偏好」训奖励模型，再做 RL（或用 DPO 类方法直接偏好优化）。

三个必须说明的局限：

• 上限由原则决定：原则写得含糊或互相冲突时，模型会放大含糊；原则的选择与措辞因此成为对齐工作的核心对象（谁写原则、如何更新，是治理问题而非技术问题——本教程只指出它是决策点）。
• 自评的偏差会自我强化：用模型自己判断好坏，会继承并放大它既有的偏好；因此通常需要与人类偏好数据混合。
• 它降低了标注成本，但没有降低判断成本：省下的是标注工时，没有省下「判断哪些行为可接受」这件事。

方法 7.2.5 · 越狱为什么是一个优化问题（GCG 类）

记模型 $\pi_\theta$、用户的有害请求 $x$、待优化的对抗后缀 $z$（$n$ 个 token，可读作乱码）。一个自然的攻击目标是让模型以一个「肯定的、顺从的」开头来回应，例如让目标串 $t=$「Sure, here is」。定义目标是让模型在拼接输入后生成 $t$ 的概率最大：

$$\max_{z\in\mathcal V^{n}}\ \log \pi_\theta\bigl(t \mid x\ \Vert\ z\bigr).$$

$z$ 是离散的，不能对 $z$ 求梯度直接走一步梯度下降；GCG（Greedy Coordinate Gradient；Zou 等，2023，arXiv:2307.15043）采用的做法是：

1. 用连续梯度做定位：对当前后缀的每个位置计算 $\nabla_{e_{z_i}}\log\pi_\theta(t\mid x\Vert z)$，取 top-$k$ 个「换上去最可能涨分」的候选 token；
2. 离散搜索：对这些候选做逐位置替换 + 评估，只保留目标值真正上升的那一个（贪心坐标上升）；
3. 迭代：重复上一步若干轮，直到目标值收敛或达到预算。

实验事实（来自该论文，而非本教程的推断）：这类与语义无关的后缀可以迁移到闭源模型上，也能用多提示 + 多模型搜索提升迁移性；攻击的开销主要是前向—反向次数，因此在可调用梯度的白盒模型上高效、在黑盒上退化为查询优化。

即时自测 · 7.2

Q1 用 定义 7.2.2 的三层，把下面三个抱怨各归一层，并给出对应的修法：①「它明明知道答案却一直拒绝回答」；②「上周它开始把用户的追问当成指令执行，把数据库里的记录删了」；③「奖励分一路涨，用户评分一路跌」。

Q2 方法 7.2.5 把越狱写成对离散后缀 $z$ 的优化问题。请说明：为什么这件事不能直接对 $z$ 用梯度上升？GCG 用什么办法绕过了这一点？

Q3 一个团队准备把内部客服模型接入「工单系统」，允许它自动关单。请按 方法 7.2.6 的六层，写出三条你认为收益最高的防御动作，并说明每条能挡住什么、挡不住什么。

参考要点

Q1 ① 行为约束层（拒答边界过宽）：对策是校准拒答阈值——用带标注的可答 / 应拒集合，画风险—覆盖曲线（7.3），把过拒率作为上线门槛之一。② 系统层 + 目标层：把工具返回值标记为不可信内容、对外部内容的指令不赋予执行权（提示层级）、危险动作二次确认；只做安全对齐训练解决不了注入了的内容与用户指令在所有 token 上同形的问题。③ 目标错设 + 可监控缺口：这是 reward hacking 的典型形状（详见 例 7.2.1）——修法是换用可验证奖励、奖励集成、加捷径特征看板；注意它在「可监控」层也失手了：团队之所以从「用户评分」才知道，说明缺少独立的盲评与行为画像。

Q2 不能直接用梯度上升的原因是 $z$ 的取值空间是离散的 token 序列（$\mathcal V^n$）：梯度定义在连续参数上，$\partial\log\pi_\theta(t\mid x\Vert z)/\partial z$ 没有定义。GCG 的做法是把梯度当作启发式：对当前后缀的每个位置 $i$ 计算如果把该位置的 token 换成词表里任意一个，目标值会怎么变（对 one-hot 表示求梯度），取 top-$k$ 候选，然后逐位置、逐个候选地实际替换并评估，只保留真正涨分的那次替换——即「连续梯度定位 + 离散贪心搜索」。这个结构值得记住，因为它在别处也会遇到：当搜索空间是离散的而你有梯度时，梯度是启发式而不是方向。

Q3 参考选择（不同理由都成立，关键是写清「挡不住什么」）：

• 最小权限 + 二次确认（系统层）：把「自动关单」限制在低风险类别（例如用户明确表示问题已解决的工单），其余一律转人工；危险动作（关单、发通知、退款）需要人工确认。挡住：注入导致的越权副作用、模型判断错误的规模化后果。挡不住：人工在疲劳时照点确认（自动化偏置），所以确认界面必须显示依据而不只是一个「确认」按钮。
• 提示层级 + 工具返回值不受信任（系统层）：工单正文、客户消息一律标记为数据，其中的「请关闭本工单」不作为指令执行。挡住：绝大多数提示注入。挡不住：模型把它当建议采纳（不是作为指令执行，而是作为证据影响了判断）——这一类需要评估与监控兜底。
• 独立审计与回滚路径（流程层）：关单操作写审计日志、可批量撤销、按天抽样人工复核、设置自动化比例上限与熔断。挡住：错误的规模化与不可逆性。挡不住：已发生的不便（错误关单造成的等待），所以申诉通道是并行必需项（7.4）。