Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

第 7 讲 · 勘误与补注

本页记录四类内容:与母本讲义的差异、术语与译法的统一、本讲特有的时效纪律,最后是本教程自身的更正记录。 这一讲与其余各讲最大的体例差别在第三节:命题涉及监管与政策,而这一类信息是所有材料里最容易过期的。因此第三节不是附录,而是阅读前提——凡是要把本讲的某句话带出课堂(写进方案、汇报、项目文档),先过一遍第三节的四项快照格式。

一、对照母本讲义的补注

母本录播课(MIT 6.S191 一类)对应的是「AI Bias & Fairness」与「AI Safety」两次课,风格是案例驱动、点到即止:它让听众意识到存在这些风险,但通常不给可复算的量、不给判据、也不并列争议。本讲是本教程重写的整讲,对照对象是「母本的一句话结论」与「公开论文 / 技术报告里的方法与工程事实」之间的距离。

主题母本 / 公开材料的处理本教程的补齐(位置)
责任与动机「技术人应当负责任」的态度陈述把责任拆成可自查的前提(可替代性 / 用途不可预知 / 影响不集中)与五角色的独有义务,并把「中立」变成可查表的事实判断(定义 7.1.2、定义 7.1.3)
对齐「AI 可能不按人类意图行事」的案例代理目标 gg 与意图 uu 的结构性缺口(三来源)与三个可分别验收的层次(目标 / 行为 / 可监控)(定义 7.2.1、定义 7.2.2)
RLHF / DPO只给流程轮廓与「用人类偏好训练」Bradley–Terry 奖励损失、KL 正则目标的闭式解与由它反推 DPO 的两步(方法 7.2.2、方法 7.2.3 前的推导)
越狱攻击演示(“看起来像话术”)写成优化问题 max⁡zlog⁡πθ(t∣x∥z)\max_{z}\log\pi_\theta(t\mid x\Vert z) 与 GCG 的「连续梯度定位 ++ 离散贪心评估」两步(方法 7.2.5),并把提示注入单列为信息流完整性问题(定义 7.2.3)
可解释性展示一张显著图,读作「模型在看这里」事后归因与机制可解释的分野、归因的忠实性问题与三类独立检验、以及把结论按证据强度分级的登记表(定义 7.3.1、方法 7.3.1、方法 7.3.4)
校准与不确定性通常不提ECE 的定义、分桶手算 0.1050.105、高置信桶失守的读数,以及选择性预测的风险—覆盖曲线(定义 7.3.5、例 7.3.2、7.3.5 的即时自测)
水印与溯源当作「AI 内容检测」绿名单偏置的检验统计量 zz,以及它不能做的四件事(抗改写、抗内行、双率都要报、只对加水印的那个模型有效)(定义 7.3.6)
公平偏见存在的案例与「要更公平」偏见的四重来源链、三类准则的口径、以及不兼容定理与直觉版推导(定义 7.4.1、定义 7.4.2、定理 7.4.1)
监管通常只提「存在讨论与倡议」只作事实性清单:风险分级 ++ 义务分层、GPAI 的并行一条线、算力推定阈值与时间表的快照纪律(方法 7.4.2,本节不评价其合理性)
风险方法一般不给可执行流程四问框架、FMEA 三维度移植(含不许用 RPN 覆盖高 SS 项的纪律)、滥用评估的基线对照、六段威胁模型、风险→需求五要素(定义 7.5.1、定义 7.5.2、定义 7.5.3、方法 7.5.1、方法 7.5.3)
工程收口停在「要负责任、要透明」需求五要素(指标 / 阈值与场景 / 验收 / 负责人 / 回退)、两级护栏的代价形态、上线四件套、事故四个时限、模型卡与发布清单(定义 7.6.1、方法 7.6.2、方法 7.6.3、定义 7.6.2、方法 7.6.5)

一句话总结差异:母本告诉你「有哪些风险、有什么案例」,本教程补的是「这个风险用什么量来测、门槛定在多少、代价落在谁身上、失效时回退到哪里」。

二、术语与常见译误

用法:当同一个中文词被用来指两件不同的事时来查。下面八条都是本讲内部就构成实际困惑的对比。

术语常见误用/误译正确理解
alignment(对齐)vs safety(安全)当同义词用,于是「安全」被读成「模型不说坏话」、「对齐」被读成「模型很听话」对齐问的是「我们优化的 gg 是否接近我们真正想要的 uu」,失效形状是「指标涨、体验降」或「该拒的不拒」(定义 7.2.1);安全问的是「在部署语境里后果是否可接受」,判据是需求形式(指标 ++ 阈值与场景 ++ 验收 ++ 负责人 ++ 回退)(定义 7.6.1)。两者相交但不等价:一个对齐良好的系统照样可能因滥用而产生后果(定义 7.1.4 第 2 类)
interpretability(可解释性)vs explainability(解释性)中译都叫「可解释」,于是「可解释性方法」被当成一个整体、可以互相替代本讲按是否动了模型内部分两层:事后解释 / 归因(Grad-CAM / SHAP / LIME,不改模型,用一个更简单的对象去近似)与机制可解释(探针、电路、SAE、激活引导,打开内部看表示与计算)(定义 7.3.1)。工程上更该追问的不是「能不能给出解释」,而是这条解释忠不忠实(faithfulness)——它必须用扰动 / 单调性 / 消融独立验证
fairness(公平)vs equity(衡平)当同一诉求的两种说法,于是「我们追求公平」成了无法验证的句子fairness 在本讲是一组度量(人口统计平价 / 机会均等 / 预测平价 / 个体公平),彼此一般不可兼容(定理 7.4.1);equity 更接近规范立场(要不要以结果分布为目标?历史差异该由谁承担?)。本讲只陈列两类立场与各自依据,不替读者裁决(方法 7.4.1)
jailbreak(越狱)vs prompt injection(提示注入)混用,于是防御被压缩成一句「加输入过滤」越狱是让模型做它本不该做的事,攻击者就是正在与模型对话的人(离散后缀优化、角色扮演),可写成优化式(方法 7.2.5);提示注入是把指令藏在模型会读到的数据里(网页、文档、工具返回值、他人消息),投放者可以从未与模型交互,本质是信息流完整性问题,且末端副作用不可逆(定义 7.2.3)。前者靠纵深防御,后者靠来源标记 ++ 权限分离 ++ 危险动作确认
red teaming(红队)vs adversarial testing(对抗测试)把「跑过对抗测试集」说成「做过红队」,或反之红队是由人或受控自动化扮演攻击者、系统性地搜索失效,产出是「在哪些攻击下会失守」以及覆盖面多宽(定义 7.2.4);对抗测试通常是固定测试集上的可重复评测(公开红队基准一类),回答「这一类攻击的成功率是多少、随版本怎么变」。两者产出不可互换:红队通过不能说明分布外表现好,评测好不能说明抗主动攻击,两者也都不能回答「这个能力把什么事变得更容易了」(那是定义 7.5.3 的滥用评估,核心是基线对照)
校准(calibration)vs 置信度 vs 准确率「置信度 0.90.9 就是说对了九成」置信度是模型自己报的数;准确率是实际对的比例;校准指两者在同一分布上按桶统计是否一致(定义 7.3.5)。校准不改善排序(AUC 一点不变),只在评测分布上成立,分布漂移后先失效且失效得很安静——所以必须与 OOD 监测成对上线
残余风险(residual risk)vs 已缓解风险文档里只写措施、不写「还剩什么」,被读成「已清零」残余风险必须写出接受它的角色与复查条件(方法 7.5.1 第六段);不写残余风险的文档一旦出事,责任会落在写文档的人身上,因为它宣称了无法成立的东西(7.5 的误解 6)
可逆性 / 止损 vs 定位把「回滚」当「恢复原状」,把事故处置当成「先查清再停」可逆性问的是「错了之后能不能撤销、成本多高、要耽误多久」(定义 7.5.1 的 Q3),它是四问里你单方面能改变的一问;处置纪律是先止损、后定位——定位期间继续运行会污染证据、并在时间压力下引入新的错误(定义 7.6.2)。「能回退」必须演练过至少一次;未演练的回退在事故当天通常不可用

三、时效补注:监管事实的快照纪律

本讲素材跨度是 2016–2025 年(公平与对齐的经典论文多在 2016–2023 年,监管与工程实践集中在 2023–2025 年)。正文里的数字分三类,引用时必须分清:

数字类别例子纪律
① 可复核算式分桶 ECE =0.105=0.105、Grad-CAM 的加权与 ReLU 结果、水印统计量 zz、RPN=S×O×D\mathrm{RPN}=S\times O\times D、不相容条件里的比例因子 πa\pi_a、102510^{25} FLOP 的读法可放心引用与手算;引用时带上假设(桶数与评测集、γ\gamma 与 TT、分析边界与时间窗、基础发生率来源)
② 量级示意 / 构造案例例 7.2.1 的奖励与盲评胜率、例 7.4.1 与例 7.5.1 的 S/O/DS/O/D 打分与分群指标正文已标「构造案例」,不得作为任何真实系统的实测值转引
③ 法规与版本快照AI Act 的条款号与适用日期、102510^{25} FLOP 阈值、NIST AI RMF 与 AI 600-1 的版本、行政令的存废、公开红队基准的名称与版本必须标注核查时点与来源,并写明「引用前核对现行文本」

快照条目的引用格式(四条缺一不可):① 核查时点(例如「核查于 2025 年,条款号以官方文本为准」);② 来源(官方文本 / 官方页面 / 论文;本讲不编造条款号与文献编号);③ 口径(法域、条款结构,并区分「生效日」与「适用日」——两者常常不同);④ 可变动性(该条是否明确写了可被修订)。

三条必须记住的时效风险:

  1. AI Act 的条款结构与时间表最易过期。正文按第 5 条(禁止类)、第 6 条(高风险两类与例外)、第 8–15 条(风险管理、数据治理、技术文档、记录、透明度、人类监督、准确性 / 鲁棒性 / 网络安全)、第 16–27 条(提供方与部署者义务,含第 27 条基本权利影响评估)、第 50 条(特定透明度义务)、第五章(第 51–56 条,GPAI 一条并行的线)、第 85–87 条(投诉、解释权、举报)、第 113 条(时间表)的结构陈述,并给出「2024-08-01 生效 / 原则上 2026-08-02 适用」与几处分阶段适用日(2025-02-02 / 2025-08-02 / 2027-12-02 / 2028-08-02)。该法生效后存在修订动议与配套授权法案,这些日期与条款号属于快照:引用前核对官方文本(EUR-Lex 与官方发布版),不要转引二手整理页的数字。
  2. 行政令的存废会随任期转向。正文记录第 14110 号行政令(2023-10-30 签署)已被第 14179 号行政令(2025-01-23)撤销,即 2023 年那套联邦层面的报告与安全测试要求不再以该行政令为依据。凡以行政令为依据的义务陈述,必须写明核查时点,并在使用前核对现行文本;引用时优先给 Federal Register 原文而不是回忆内容。
  3. 阈值与口径会变。102510^{25} FLOP 是可反驳的推定(第 51(2) 条)且可被授权法案修改(第 51(3) 条),因此引用它必须注明年份;NIST AI 600-1 的风险类别数量在不同转述中表述不一,引用时直接引用官方 PDF 的清单,不要回忆数字;公开红队基准(HarmBench / JailbreakBench 一类)的名称、版本与攻击成功率口径随版本变化,报告攻击成功率必须同时报告评测集版本与攻击预算。

另有一条本讲特有的提醒:正文里凡标「需核实」或「编号未在官方页面逐字确认」的条目(部分 arXiv 编号、第三方逐条整理页的链接)是有意保留的标注,不要自行补号或改写成确定语气。

四、本教程更正记录

位置原表述更正说明
7.6.4 监控与回滚 与定义 7.6.2 的四个时限行内公式写成 $T_{\detect}$、$T_{\mitigate}$ 一类已全部改为 $T_{\text{detect}}$、$T_{\text{triage}}$、$T_{\text{mitigate}}$、$T_{\text{notify}}$\detect / \mitigate 不是 KaTeX 已定义命令,构建期会渲染成未定义命令报错;带文字下标的行内公式一律写成 $T_{\text{…}}$ 形式。本页与本讲的六页也遵循同一写法
本讲各节早期的盒子标记部分段落以 ::: 开盒但缺少对应的闭合行(::: 单独成行),导致后续内容被误并入盒子、折叠块层级错乱已按「先关内层、再关外层」的顺序逐处补齐闭合盒子必须平铺闭合:::: sol 嵌套在 ::: method / ::: ex 里时,闭合顺序是「先 sol 的 :::、再外层的 :::」。修复后本讲全目录的盒子配平自查输出「全部配平」
本讲目录下的讲末六页(summary.md / errata.md / exercises.md / checklist.md / recall-cards.md / mock-exam.md)除 summary.md 外,其余五个曾是单行占位文件,构建后渲染成空页;summary.md 里指向 ../labs/lab2.md、../labs/lab3.md 的两条链接少退一级已补齐六页(四组习题含 C 组可运行验收标准、四组回忆卡与 Anki 导出、100 分闭卷自测卷含评分标准与漏点定位表、覆盖 K7.x / S7.x / A7.1 的自检表),并把两条跨层链接改为 ../../labs/lab2.md、../../labs/lab3.md占位页会让读者误以为「本讲没有练习与自测」;跨层引用必须退两级(lectures/lec07/ → src/)。六页互引与对正文的引用均为相对路径

待核实的开放条目(发现新差异时追加到本表,不要就地改动正文):

位置现象待核实的问题
方法 7.4.2AI Act 的分阶段适用日与「数字综合法案」一类修订动议以官方文本(EUR-Lex / 官方发布版)与最新配套授权法案为准;本讲给出的日期只代表核查时点的快照
方法 7.4.2NIST AI 600-1(生成式 AI 风险档案)的风险类别数量直接引用官方 PDF 清单,不用转述数字
方法 7.4.2、7.4 的延伸阅读行政令 14179 撤销 14110 的具体范围与后续替代安排引用前核对 Federal Register 现行文本与后续行政令
7.3 的延伸阅读少量综述类文献的 arXiv 编号(正文已标「编号未在官方页面逐字确认」)引用时核对标题与官方编号,不要补号
方法 7.5.1 与 定义 7.5.2FMEA 的 S/O/DS/O/D 刻度定义与 AI 场景的替换口径本讲给出的是替换定义与纪律(SS 按最严重受影响者评、DD 越高越难检测、OO 写条件形式);跨团队使用前需先把刻度定义写进文档,否则不同人会填出不同的表