第 7 讲导览 · AI 的三条法则
这一讲要解决的真实问题
前六讲都在回答「模型能做什么」：怎么表示、怎么训练、怎么扩展、怎么生成。这一讲换一个问题：当一个系统足够强大、足够自主、被真实的人使用时，如何让它不做错事、也让我们知道它什么时候会错、并能在出错时找到负责的人。
这个问题容易被两类写法糟蹋。一类是把它讲成口号：写几段「要负责任」「要符合人类价值」，读者读完多知道几个词，但没有多出任何可执行的动作。另一类是把它讲成外部约束：仿佛安全与伦理是「别人加给技术人的合规负担」，与模型内部的机制无关。本讲的写法是第三种——把价值问题翻译成工程问题：每个概念都要落到「机制是什么、证据是什么、代价是什么、判据是什么」四件事上。
三个理由决定这条路线不是可选的。第一，后果的成本不由方法作者承担：上线一个推荐系统，被影响的是数百万用户；上线一个筛选模型，被筛掉的人可能永远没有申诉机会。这是责任的外化，而外化不等于消失。第二，只有技术人清楚系统真正的失效边界在哪：伦理委员会能决定「不该有群体性歧视」，但把它变成「哪几个子群的哪个指标、在上线门槛上要满足什么条件、达不到就回滚」，这是工程判断，只有读得懂损失函数与评估管线的人能做。第三，对齐与可解释的进展本身就是技术进展：RLHF 的奖励模型过优化、稀疏自编码器（sparse autoencoder, SAE）的特征分解、离散对抗后缀的优化目标，这些都不是哲学讨论，而是有损失函数、有实验、有反例的研究方向。
本讲把这条主线拆成三条「法则」与两块工程收尾：
- 法则一 · 可控与对齐：系统的目标对不对、行为能不能被约束在安全集合内、出问题时能不能被看见。
- 法则二 · 可解释与可信：我们能不能知道它为什么这样输出、它在什么条件下会错、它说的置信度能不能信。
- 法则三 · 公平与责任：它对不同人群的影响是否一致、谁有权解释与申诉、谁承担后果。
- 风险分析框架：把上面三条的抽象担忧压成一份可讨论、可签字、可复查的清单。
- 安全作为设计约束：把清单转成贯穿数据到监控的需求、验收与回退路径。
在九讲主线里，本讲是从「造出能力」转向「约束能力」的枢纽。它向上接住 第 5 讲（RLHF 与策略优化）、第 6 讲（后训练与偏好对齐只改行为、不改知识）、第 3 讲（对抗样本与偏见）留下的线头；向下为 第 8 讲（预测被用于真实决策时的可信与责任）与 第 9 讲（规模同时放大能力与风险）提供词汇表与检查表。母本 MIT 6.S191 对应的是「AI Bias & Fairness」与「AI Safety」两次课，它的风格是案例驱动、点到即止；本教程保留其问题意识，补齐课堂上省略的机制与可复现的判据，并把 2023–2025 年成为标准件的内容（DPO、机制可解释性、GCG 与红队评测、水印、欧盟 AI Act）归位到相应小节。凡是超出母本范围的内容，本教程会明确标注它属于「课程 / 论文事实」「工程惯例」还是「本教程的推理」。
六节一览
| 节 | 核心问题 | 关键结论 | 典型陷阱 |
|---|---|---|---|
| 7.1 为什么技术人必须主动管后果 | 后果为什么要由造它的人来管？「技术中立」的中立点在哪儿？ | 能力先于理解地增长；后果被外化给非方法作者；责任链上每一环都有可执行的义务；失败模式分三类：意外、滥用、系统性偏差 | 把「我只负责把模型做出来」当成中立——它不是中立，是把成本推给没有决策权的人 |
| 7.2 法则一 · 可控与对齐 | 我们优化的是写下的目标，还是想要的结果？对齐手段各自补哪一段缺口？ | 代理目标 与意图 的缺口不会因更强的优化而消失，只会被更精确地利用；SFT / RLHF / DPO / 宪法式 AI 是四种不同的缺口修补方式，各有专属失效点；越狱是优化问题（GCG 类离散后缀）而不只是「话术」；防御只能纵深，无法单点 | 以为「对齐 = 让模型听话」；以为红队通过等于安全；把 RLHF 的 KL 约束当成对齐的完备解 |
| 7.3 法则二 · 可解释与可信 | 模型为什么这样输出？它什么时候会错？水印能不能溯源？ | 事后归因与机制可解释回答不同问题，都不可互相替代；忠实性必须独立验证；幻觉有可描述的机制与可测量的缓解路径（检索、引用约束、拒答阈值）；校准与 OOD 监测必须配套；水印是统计信号不是证明 | 拿一张漂亮的显著图当「模型看重这个」的证据；把「解释读起来顺」当成忠实性；以为水印能防篡改 |
| 7.4 法则三 · 公平与责任 | 偏见从哪来？「公平」能不能有一个可验证的定义？谁负责？ | 偏见来自数据、标注、目标函数、部署环境四处，对策各不相同；常用公平度量一般互不兼容，必须显式选择并说明代价；责任要落到具体角色的具体义务；监管以风险分级 + 文档义务 + 事后监督为主（只作事实陈述） | 用「我们已做到公平」这种不指明准则的说法；以为去掉受保护属性就消除了歧视（代理变量仍在）；以为去标识化等于匿名 |
| 7.5 风险分析框架：系统地列出后果 | 给定一个场景，怎样不漏项地列出后果？ | 四问框架（谁受影响 / 错误代价 / 可逆性 / 谁有权申诉）是最小完备集；FMEA 的「严重度 × 发生度 × 可检测度」可直接移植并按后果重新加权；威胁模型必须写明能力假设与残余风险，否则不是需求而是愿望 | 把风险清单写成散文而不是表格；只列「用户」不列被影响的非用户；跳过「残余风险由谁接受」这一步 |
| 7.6 把安全当成设计约束 | 怎样让安全变成能验收的工程需求？ | 安全需求必须可测量 + 可验证 + 有回退路径；护栏分训练期与部署期两层，且都要有代价记录；发布前检查清单要能签字；「不给能力」是合法的设计选择，且往往是最可靠的那一个 | 把安全当成最后加的一层输出过滤；只测平均指标不测分群与最差情形；上线后没有回滚演练 |
本讲地图
[7.1 为什么技术人必须主动管后果]
能力先于理解 / 中立性的边界 / 责任链 / 三类失败
│
┌─────────────────────┼─────────────────────┐
▼ ▼ ▼
[7.2 可控与对齐] [7.3 可解释与可信] [7.4 公平与责任]
目标 / 行为 / 监控 事后归因 vs 机制 偏见来源链 / 公平度量
SFT·RLHF·DPO·CAI 幻觉 / 校准 / 水印 责任分配 / 监管 / 救济
越狱机制与纵深防御 能证明什么、不能证明什么 度量不可兼得 → 显式选择
└─────────────────────┼─────────────────────┘
▼
[7.5 风险分析框架：系统地列出后果]
四问 / FMEA 移植 / 滥用与危险能力评估 / 威胁模型 / 转成需求
│
▼
[7.6 把安全当成设计约束]
可测量的需求 / 数据治理 / 两级护栏 / 监控与回滚 / 模型卡 / 检查清单
依赖关系：7.1 → 7.2–7.4（先有责任主体，才谈得上三条法则各自的义务）
7.2 与 7.3 互为证据来源：对齐需要监控（7.3 的校准与拒答），
可解释需要知道要解释什么失效（7.2 的越狱与 reward hacking）
7.2–7.4 → 7.5（风险清单把三条法则的失效模式收进同一张表）
7.5 → 7.6（清单第 4、5 步直接变成需求与验收标准）
本讲新增的概念（与旧版讲义相比）
| 组 | 概念 | 首次出现 |
|---|---|---|
| 责任 | 后果外化、责任链五角色、三类失败模式（意外 / 滥用 / 系统性偏差） | 7.1 |
| 对齐 | 代理目标—意图缺口、行为约束、可监控、DPO 闭式目标、宪法式 AI、规范博弈、对齐伪造 | 7.2 |
| 越狱 | GCG 离散后缀优化、输入前缀攻击、表征层干预（circuit breakers）、提示层级、拒答边界 | 7.2 |
| 可解释 | 忠实性、Grad-CAM / SHAP / LIME、电路、归纳头、稀疏自编码器、激活引导 | 7.3 |
| 可信 | 幻觉机制、检索与引用约束、选择性预测与风险—覆盖曲线、水印的统计原理与局限 | 7.3 |
| 公平 | 偏见四重来源链、三种公平度量的不可兼容、分群评估、救济渠道 | 7.4 |
| 监管 | 欧盟 AI Act 风险分级与 GPAI 义务、NIST AI RMF、算力阈值的事实性说明 | 7.4 |
| 风险 | 四问框架、FMEA 移植、滥用与危险能力评估、威胁模型模板 | 7.5 |
| 工程 | 可验证安全需求、数据治理、两级护栏、灰度和回滚、模型卡 / 数据卡、发布检查清单 | 7.6 |
与实验和项目的关系
- Lab 3 · 微调大语言模型：SFT 与偏好优化环节是 7.2 的工程化身。做完实验后请回到 7.2，用它的「三个层次」框架复盘一次：你优化的是什么代理目标？你用什么证据知道行为没有越界？
- Lab 2 · 计算机视觉：人脸相关的实验涉及生物特征，7.4 的数据治理与 7.6 的模型卡是它的书面作业部分。
- 期末项目：任何涉及真实决策（录取、定价、风控、诊断辅助、内容审核）的选题，都要交一份 7.5 的威胁模型与风险清单，以及 7.6 的发布前检查清单。这两份文档会被当作项目交付物的一部分评分。
第一遍（约 3 小时）：按 7.1 → 7.2 → 7.3 → 7.4 → 7.5 → 7.6 顺序读。直觉框与陷阱框不许跳——这一讲的可迁移内容大多在那里；proof 折叠框可以跳（本讲只有少数几处推导，集中在 7.2 的对齐目标与 7.3 的校准 / 水印公式）。
必读、不许跳的框：
- 7.1 的失效模式族表（本讲后面四节都在扩充这张表）；
- 7.2 的
def-7.2.1（对齐全景）与四个方法框的局限清单——对齐手段的失效点比它的做法更重要； - 7.3 的「可解释性能证明什么、不能证明什么」这张表——它决定了你能不能在事故复盘里引用一张显著图；
- 7.4 的公平度量对照表与不可兼容结论——这是本讲唯一一个「数学上确定的坏消息」；
- 7.5 的威胁模型模板与 7.6 的需求写法——这两处是你以后真正会反复使用的工具。
二刷（约 4 小时）：读所有 proof，把 7.2 的 RLHF 目标与 DPO 目标并排推一遍（能看出 DPO 是怎么把奖励模型消掉的），把 7.3 的 ECE 定义与选择性预测的风险—覆盖权衡手算一遍。
动手：找一个你已经写过的模型（课程项目即可），按 7.5 的四问框架写一页威胁模型，再按 7.6 的清单把它改写成五条可验证需求。做完你会发现自己至少漏掉了「谁有权申诉」与「回退路径」这两项。
本讲处理的是容易被立场裹挟的题目。为了让它保持为一本技术教材，我们采取以下纪律：
- 只做技术分析：机制是什么、证据是什么、代价是什么、判据是什么。凡是「应该由谁来决定」的问题，本讲给出可选方案与其代价，不替读者做价值判断。
- 争议并列：涉及有真实分歧的题目（例如某类技术的风险量级、某条监管路径的效果、某个公平准则的优劣），本讲并列不同观点与各自依据，标明哪些是论文事实、哪些是工程惯例、哪些是本教程的推理。
- 监管只作事实陈述：法规条款、生效日期、义务对象、阈值都按官方文本陈述，并标注核查日期与版本；本讲不评价某条监管是否合理，也不提供法律意见。
- 区分事实与主张：论文给标题与年份（有 arXiv 编号的给编号）；无编号的按官方页面引用；不确定的标「需核实」，不用「研究表明」这类无主语句式。
- 不写口号：本讲不出现「科技向善」「负责任地创新」这类无法验收的段落。若某一节写成了一篇散文而没有任何可测量的东西，那是写作失败，不是文风问题。
如果你在阅读中发现某段像是在替你下结论，请把它当作本讲需要修订的地方，写进 勘误页。
本讲讨论的全部是「人如何使用模型」这一侧的风险。而 第 8 讲 会走到另一侧：当模型被用来预测蛋白质结构、材料性质、天气轨迹，它的输出会直接进入科学判断与工程决策——那里的错误代价同样高、同样需要校准、分群与责任归属，只是「受影响的群体」变成了下一条实验、下一批材料、下一次预报。你会看到本讲的词汇表（不确定性、分布外、可复现、文档）在科学场景里几乎原样复用。
本讲小结：三条法则把「后果」拆成三个可工程化的问题——目标对不对（7.2）、我们能否理解与知道它何时会错（7.3）、它对谁负责（7.4）；7.5 把这三条收进一张可签字的风险清单，7.6 把清单转成贯穿数据到监控的、可验收的设计约束。本讲没有提供任何「做完了就安全」的终点——安全是持续校准的过程，而它的第一块砖是写下你衡量什么、以及你放弃了什么。