第 7 讲总结 · AI 的三条法则
本页把 导览 与 7.1–7.6 压成一张可复习的骨架。用法：先只看「核心问题」列自问，答不全再读「关键结论」列，最后回「典型陷阱」列校核。
节一览
| 节 | 核心问题 | 关键结论 | 典型陷阱 |
|---|---|---|---|
| 7.1 为什么技术人必须主动管后果 | 后果为什么必须由造它的人主动管？「技术中立」在哪一刻失效？ | 能力先于理解地增长，所以能承诺的只是「知道在什么条件下会失效、代价多大、多快能发现与回退」；外化的写法是决策目标里不含 （定义 7.1.1）；中立性有三条可自查前提：可替代性、用途不可预知、影响不集中（定义 7.1.2）；义务按信息与权力的分布落给五类角色，每一环都有别人做不到的那件事（定义 7.1.3）；失败分三类且对策不重叠（定义 7.1.4） | 把「我只负责实现」当诚实；把责任平摊成「大家都有份」；只列用户不列非用户；用红队去处理数据偏见 |
| 7.2 法则一 · 可控与对齐 | 我们优化的是写下来的目标，还是真正想要的结果？每种对齐手段在哪失效？ | 代理目标 与意图 的缺口不会因优化更强而闭合，只会被更精确地利用（定义 7.2.1）；对齐分目标 / 行为 / 监控三层，可分别验收（定义 7.2.2）；SFT 只覆盖示范过的外形，RLHF 里的 是「对齐预算」，DPO 省掉流水线不省掉问题（方法 7.2.3）；越狱是优化问题：GCG 用连续梯度定位 离散贪心搜索（方法 7.2.5）；防御只能纵深，组合原则为能力收窄 行为约束 输出过滤（方法 7.2.6） | 「对齐 听话」；把 RLHF 或 DPO 当完备解；红队通过等于安全；把提示层级的「叮嘱」当成权限设计；把隐蔽欺骗当成已证实的事实 |
| 7.3 法则二 · 可解释与可信 | 它为什么这样输出？它什么时候会错？水印能不能溯源？ | 事后归因与机制可解释回答不同问题，彼此替代不了（定义 7.3.1）；归因是调试工具而非证据工具，忠实性要靠扰动 / 单调性检验（方法 7.3.1）；SAE 把叠加的激活拆成可单独干预的概念方向，但重建有残差、命名只是假设（定义 7.3.2、定义 7.3.3）；幻觉的三个来源分别落在训练目标、解码过程与偏好数据上（定义 7.3.4）；校准与选择性预测把「不确定」变成动作，ECE 必须连桶数与评测集一起报（定义 7.3.5、例 7.3.2）；水印是假阳率可控的统计信号（定义 7.3.6） | 拿一张热力图进事故复盘；把「解释读起来顺」当忠实；线性探针读出语义就断言模型在用；校准好就放心用；把水印当通用 AI 内容检测 |
| 7.4 法则三 · 公平与责任 | 偏见从哪来？「公平」有没有可验证的定义？出事后谁负责？ | 偏见有数据 / 标注 / 目标函数 / 部署环境四重来源，对策互不重叠（定义 7.4.1）；常用公平准则一般互不兼容（定理 7.4.1），所以唯一可验证的做法是显式选主准则、写明代价、把它写进目标或约束、记录残余风险与复查条件（方法 7.4.1）；责任落到角色的具体义务，最常见的真空在「建议与决策之间」「阈值谁定」「上线后谁复查」；外部框架以风险分级 文档义务 事后监督为主（方法 7.4.2，只作事实陈述）；救济必须可推翻、可聚合（定义 7.4.3） | 「我们已做到公平」这类不指明准则的说法；删掉受保护属性等于消除歧视；把去标识化当匿名；把申诉做成客服工单；把监管框架当技术配方 |
| 7.5 风险分析框架 | 给定一个场景，怎样不漏项地列出后果？ | 四问框架是最小完备集（谁受影响 / 错误的代价 / 可逆性 / 谁有权申诉），其中可逆性是你单方面能改的一问（定义 7.5.1）；FMEA 三维度可移植，但要写明分析边界、把发生度写成带条件的形式、且不拿 RPN 覆盖 极高的项（定义 7.5.2、例 7.5.1）；滥用评估的关键是基线对照（定义 7.5.3）；威胁模型写六段，信任边界决定注入类问题能否被定位（方法 7.5.1）；风险只有翻成五要素需求才改变系统（方法 7.5.3） | 把清单写成散文；只列用户；用 RPN 排序挤掉高严重度项；以为「有监控」等于可检测；不写残余风险的接受者 |
| 7.6 把安全当成设计约束 | 怎样把安全变成能验收的工程需求？ | 需求五要素＝指标 阈值与场景 验证方式 负责人 回退路径，且两侧都测、分群报告（定义 7.6.1）；「不给能力」的验证成本远低于「约束行为」（例 7.6.1）；数据治理四问（来源 / 授权 / 去标识化 / 最小化）是训练前唯一能降风险的环节（方法 7.6.1）；护栏分训练期与部署期，代价形态不同（方法 7.6.2）；上线后四件套是指标、告警、灰度、回退，其中回退最该投入（方法 7.6.3）；四个时限里止损时间最常被高估（定义 7.6.2）；模型卡 / 数据卡 / 发布检查清单是载体（方法 7.6.5） | 把安全当成最后加的一层输出过滤；只测平均指标；上线后没有回滚演练；把人工复核队列当「人在回路」（人无权限、无依据、无时间）；把检查清单当流程装饰 |
一条主线：因为只有写下来的目标才会被优化（7.1 里 不在目标中，所以系统内没有任何量在感知它），第一步必须把「我们写下的」修得尽量接近「我们真正想要的」——但优化压力会精确地利用两者之间的缺口，于是行为约束与可监控必须同时上（7.2）；这三层都需要证据，而证据的强度是可分级的：事后归因、校准、水印各自只能支撑有限结论，因此要写清等级与适用范围（7.3）；证据还必须按人群切开看，因为平均值会掩盖子群差异，而公平准则互不兼容，「公平」于是只能以「选定准则 代价 残余风险接受者」的形式出现（7.4）；把三条法则的失效模式收进同一张表（四问 FMEA 六段威胁模型），才有一份不漏项的清单（7.5）；清单再被翻译成「指标 阈值与场景 验收 负责人 回退」的需求，并靠监控与回滚维持，安全才从讨论变成工程（7.6）。
三句话带走
- 对齐是一个不会闭合的缺口：我们只能优化写下的目标；缺口分三层（目标 / 行为 / 监控），三层可分别验收，而每种手段的价值主要在于它的失效点——「对齐了但还是出事」几乎总能追溯到三层被混成了一句「我们已经对齐」。
- 「可信」是一组正交性质（正确率 / 校准 / 鲁棒 / 可解释 / 公平），每一项都要有可测量的判据；可解释性证据必须按等级引用，且替不了线上监测——它回答「为什么」，不回答「现在是否正在出错」。
- 安全变成工程的标志是需求形式：指标 阈值与场景 验证 负责人 回退；能力收窄比行为约束可靠，回滚比监控更值得投入，而每一条被接受的风险都要写出接受者的角色与复查条件。
值得记住的定量结论
| 结论 | 数值 / 形式 | 出处 |
|---|---|---|
| 外化的形式化 | 或 ， | 定义 7.1.1 |
| KL 正则目标的最优解 | ；反解 | 7.2 的推导 |
| 越狱的优化式与算法 | ；GCG 连续梯度定位 离散贪心评估 | 方法 7.2.5 |
| 分桶 ECE 与高置信桶 | 正文表上 ；桶 4（置信 、正确 ）按 1.2 倍口径超限 4 倍以上 | 定义 7.3.5、例 7.3.2 |
| 水印统计量 | ； 作可调假阳率判据 | 定义 7.3.6 |
| 公平准则的不兼容 | 基础发生率 ，组间假阴性率 ：校准与均等化几率一般不可兼得 | 定理 7.4.1、例 7.4.1 |
| RPN 与高严重度纪律 | （上限 ）； 极高的项单独列出（例中 F2 的 、 却必须先处理） | 定义 7.5.2、例 7.5.1 |
| 算力阈值（事实陈述，需核对现行文本） | 训练累计算力超过 FLOP 推定为具有高影响能力（AI Act 第 51(2) 条，且该阈值可被授权法案修改） | 方法 7.4.2 |
与后续的连接
- 第 8 讲 · AI for Science：本讲处理「人如何使用模型」这一侧的风险；第 8 讲走到另一侧——模型输出直接进入科学判断与工程决策，那里的不确定性、分布外、可复现与文档要求几乎原样复用本讲的词汇表。
- 第 9 讲 · 大规模并行训练：规模同时放大能力与风险；第 9 讲的显存与并行账决定你能承受多大规模的评测、红队与灰度对照。
- 实验与项目：Lab 3 的 SFT 与偏好优化是 7.2 的工程化身（做完用「三层」复盘一次）；Lab 2 的人脸实验要交数据治理与模型卡（7.4、7.6）；任何涉及真实决策的期末选题都要交威胁模型与风险清单（期末项目）。
- 训练与复习入口：竞技场 练 60 秒讲清一个判断（例如「为什么这次先止损」）；考试冲刺 练整卷节奏；公式回查 公式与结论卡，成对概念辨析查 易混对照卡，术语首现查 术语表。
- 收口顺序：习题集（A → B → C → D）→ 回忆卡 → 综合自测卷 → 用 学习目标自检表 对账 K7.x / S7.x / A7.1；对事实存疑处回 勘误与补注，排错先走 工程工具箱。