7.4 法则三 · 公平与责任

前两条法则关心「系统对不对」：目标写对了吗、我们能不能理解它、它知不知道自己会错。这一条关心的是另一个问题：它对谁做了什么、由谁负责。

这个问题天然是「社会-技术」（sociotechnical）的：模型只是链条中的一环，另外几环在数据采集流程、标注组织、部署流程、申诉与审计制度里。本节的处理方式是把它彻底拆成可测量的对象：偏见从哪几个位置进入系统（四个来源，对策各不相同）；「公平」能不能有一个可验证的定义（能，但不是唯一的一个——这是本节最重要的技术结论）；出错时责任如何落到具体角色的具体义务上（7.1.3 的责任链在这里细化）；以及外部框架在这一层要求什么（只作事实性陈述）。

7.4.1 偏见的四重来源链

定义 7.4.1 · 偏见的四个来源

按数据流经的顺序排列。关键性质是四处的对策互不重叠——只修一处不可能解决全部问题。

来源	机制	具体表现	唯一有效的对策位置
① 数据（历史 / 采样）	历史数据携带过往的不平等；采集过程决定谁被记录、谁被漏掉；覆盖面缺口让少数群体样本稀少	用历史录用结果当标签 → 复制历史歧视；某类方言 / 肤色 / 残障在训练集中占比极低 → 该群体错误率更高	数据侧：标签重定义、补采样、重加权、覆盖度审计
② 标注（主观 / 不一致）	标注者的判断带有文化、经验与时间偏差；标注规范含糊导致同类样本被标成不同结果	同一句话在两批标注者手里得到相反标签；「毒性」「专业性」这类概念随群体而异	规范与流程侧：标注手册、一致性度量（如 $\kappa$ ）、多人复核、按群体分层审计标注分布
③ 目标函数（代理 + 放大）	用代理指标替代真正关心的目标；公平很少被写进损失，于是它默认不是优化目标；优化会放大少数样本上的误差	训练目标是「降低平均损失」→ 优化器把资源从样本少的群体转移走；用「相似度」代理「胜任度」	目标侧：把公平度量写进约束或加权目标（这是唯一能改变优化行为的入口）
④ 部署环境（群体与反馈回路）	同一模型在不同人群、不同流程中的效果不同；模型的输出成为下一轮训练数据，使偏差自我强化	「被拒绝的人从不出现在后续数据里」→ 该群体的数据更少 → 模型对它更差；模型决定给谁看什么，改变未来行为	部署与监测侧：随机抽样保留、反馈回路的占比监测、按群体的线上指标看板

读法：这条链的价值在于定位。用户投诉「系统歧视我们」，正确做法不是笼统地问「模型有偏见吗」，而是逐格问：这一格里有没有证据？不同的格子需要完全不同的团队（数据工程 / 标注运营 / 算法 / 产品）。

为什么「删掉敏感字段」解决不了问题

删掉「性别」「种族」「户籍」这些特征，只是删掉了最显眼的一条通路。信息还在，因为它有大量代理变量（proxy）：

地址与邮编与族群、收入高度相关；
就读学校、专业、社团与阶层相关；
设备型号、操作系统版本与收入相关；
使用时长、活跃时段与照护责任、工作形态相关；
简历格式、拼写习惯、语言风格与母语、教育背景相关。

所以正确的判断依据不是「字段列表里有没有受保护属性」，而是分群评估：把受保护属性（在合规前提下只用于评估、不用于预测）单独留一份审计副本，然后测量各子群的错误率差异。这个做法本身也有一个需要注意的边界：受保护属性往往需要被收集才能被评估，因此审计用的敏感属性要么依赖自愿申报、要么依赖统计推断，两者都会引入噪声——评估结论要连这个噪声一起报告。

例 7.4.1 · 案例分析：招聘筛选的分群评估

场景（构造案例）：某简历筛选模型的验证集上整体表现良好，团队按 7.1.3 的责任链决定做分群评估。按两个受保护属性分组后得到：

组	样本数	基础通过率 $P(Y=1)$	模型通过的总体比率 $P(\hat Y=1)$	假阴性率 $P(\hat Y=0\mid Y=1)$	假阳性率 $P(\hat Y=1\mid Y=0)$
A 组	4200	0.40	0.38	0.17	0.12
B 组	900	0.26	0.19	0.33	0.10
C 组	300	0.31	0.14	0.46	0.08

请判断：三个常用公平准则各自的测量结果是什么？能否同时满足？团队应该怎么做？

解

第一步：逐准则测量。

人口统计平价（demographic parity）要求各组通过率相等： $P(\hat Y=1\mid A=a)$ 分别为 $0.38,\ 0.19,\ 0.14$ 。A 组与 B 组相差近一倍，与 C 组相比甚至接近三倍 → 明显不满足。
机会均等 / 均等化几率（equalized odds）要求在真实标签条件下错误率相等。看假阴性率： $0.17,\ 0.33,\ 0.46$ —— B 组是 A 组的两倍、C 组接近三倍。合格的人被错判为不合格的概率，B 组与 C 组显著更高 → 明显不满足（且这是最值得立刻处理的一项，因为它直接损害的是被系统筛掉的那群人）。
预测平价 / 分群校准（predictive parity）要求相同分数意味着相同正例概率。仅从本表无法直接验证（需要按分数分桶、逐组比较），但有一个可用的近似信号：两组基础发生率不同（ $0.40$ vs $0.26$ vs $0.31$ ）而假阳性率接近（ $0.12,\ 0.10,\ 0.08$ ），这种组合通常同时意味着「分群校准会被破坏」或「假阴性率必然不同」——这就是定理 7.4.1 描述的不兼容性在此表中的具体读数。

第二步：为什么不能同时满足。 记住定理的直觉：当各组基础发生率不同（ $0.40\neq0.26\neq0.31$ ）时，「各组在同等分数下对应同等概率」（校准）与「各组在同等真实标签下错误率相等」（均等化几率）一般不能兼得。这不是模型不够好，而是数学约束：用一个分数同时拟合两条不同的曲线，除非两组的标签分布相同。

第三步：应该怎么做（本教程建议的工程流程）。

先定位来源：B、C 组样本量小（900 / 300）且假阴性率高，先查定义 7.4.1 的第 ① 与第 ② 来源——B、C 组的基础通过率本身更低（0.26 / 0.31），这既可能反映真实差异，也可能反映历史录用结果作为标签所携带的偏差。这一步必须与业务方一起做，因为它涉及「什么算合格」的定义问题。
显式选择准则并说明理由（这一步不可跳过）：在招聘场景下，「合格的人不应因群体而被错筛」通常比「各组通过率数值相等」更接近多数岗位的实际目标，因此优先降低假阴性率的组间差异（机会均等方向），并接受分组校准上的偏离；把这个选择写进模型卡（7.6）。
用目标函数的改动把它变成可优化的：在损失里对 B、C 组的假阴性施加更高权重，或使用带约束的优化（把「组间假阴性率之差 $\le\delta$ 」写成约束）；只在评估阶段报告指标、不改目标，优化器不会有任何动力改善它。
补数据：C 组只有 300 个样本，任何基于它的指标置信区间都很宽。先报告置信区间，再决定是否值得投入补采样——不要在小样本上做精调，那是在拟合噪声。
部署侧护栏：对 B、C 组样本进入下一轮的路径保留随机抽样（抵消反馈回路），并建立被拒样本的申诉通道（7.4.4）。

∎

7.4.2 三种公平度量，以及为什么它们不能兼得

定义 7.4.2 · 常见的公平准则

给定受保护属性 $A$ 、真实标签 $Y$ 、预测 $\hat Y$ （或分数 $\hat p$ ）：

人口统计平价（demographic parity / statistical parity）：各群体的正例率相等， $P(\hat Y=1\mid A=0)=P(\hat Y=1\mid A=1).$
机会均等 / 均等化几率（equal opportunity / equalized odds）：在真实标签条件下各群体的错误率相等，即对 $y\in\{0,1\}$ ， $P(\hat Y=1\mid Y=y,A=0)=P(\hat Y=1\mid Y=y,A=1).$ 只对 $y=1$ （合格者不被误筛）成立时称机会均等。
预测平价 / 分群校准（predictive parity / calibration within groups）：相同的分数意味着相同的正例概率， $P(Y=1\mid \hat p=p,\,A=a)=p\quad\text{对所有 }a.$
个体公平（individual fairness）：相似的个体应被相似地对待——难点在于「相似」如何定义（这本身是一个需要显式选择的判断，不能由算法给出）。

这些准则对应不同的规范立场：有的要求「结果分布均等」，有的要求「在同等条件下机会均等」，有的要求「同一分数同一含义」。它们不是同一件事的强弱版本，而是不同的目标函数。

三条准则各自的一句话直觉与典型场景

人口统计平价看「结果比例」——选上来的人里各组占比是否接近；直觉上最接近「结果均等」，代价是可能要求对个体做区别对待。机会均等 / 均等化几率看「错误率」——合格者被误淘汰、不合格者被误放行的比例，各组是否接近；直觉上最接近「同等条件同等对待」，代价是两组合格率本身不同时结果比例必然仍有差异。预测平价 / 分群校准看「分数含义」——同一样分数在不同组里是否意味着同样的概率；直觉上最接近「评分标准一致」，代价是它允许结果比例上的差异，且（由定理 7.4.1）与前一准则一般不能兼得。场景惯例：招生与招聘常讨论前两者，信贷与保险常讨论第三者（分数含义一致直接关系定价公允）——注意这只是惯例，不是规范结论，选哪一条是判断，见方法 7.4.1。

定理 7.4.1 · 公平准则的不相容（陈述）

当各群体的基础发生率不同（ $P(Y=1\mid A=0)\neq P(Y=1\mid A=1)$ ）时，若干常用群体公平准则一般不能同时满足：典型地，分群校准与均等化几率在非平凡情形下无法兼得；人口统计平价与预测平价在基础发生率不同时也无法同时成立。

工程含义：公平没有唯一正确解。你必须根据场景的目标与合规要求，显式选择要满足的准则，并说明它牺牲了什么。「我们已做到公平」这种不指明准则的说法无法验证。技术能保证的只是「按你选定的准则优化」；选哪一个是判断，不是计算。

直觉版推导：为什么校准与均等化几率互斥

设分数 $\hat p$ 在所有群体上都是校准的： $P(Y=1\mid \hat s=s)=\pi(s)$ ，与群体无关。考虑某个分数区间 $s$ 上的命中率 $P(Y=1\mid s)$ 相同这一事实，用贝叶斯公式写两组的后验：

$P(\hat s=s\mid Y=1,A=a)=\frac{P(Y=1\mid \hat s=s)\,P(\hat s=s\mid A=a)}{P(Y=1\mid A=a)}=\frac{\pi(s)\,P(\hat s=s\mid A=a)}{\pi_a},$

其中 $\pi_a:=P(Y=1\mid A=a)$ 是 $a$ 组的基础发生率。均等化几率要求 $P(\hat s=s\mid Y=1,A=0)=P(\hat s=s\mid Y=1,A=1)$ ，代入上式需要

$\frac{\pi(s)\,P(\hat s=s\mid A=0)}{\pi_0}=\frac{\pi(s)\,P(\hat s=s\mid A=1)}{\pi_1} \ \Longleftrightarrow\ P(\hat s=s\mid A=0)=\frac{\pi_0}{\pi_1}P(\hat s=s\mid A=1).$

当 $\pi_0\neq\pi_1$ 时，这要求两组的分数分布本身相差一个非零比例因子——这对所有 $s$ 同时成立是不可能的（分布各自要归一化到 1），除非 $\hat s$ 退化。因此：校准 + 均等化几率 + 基础发生率不同三者在非平凡情形下不可能同时成立。 $\blacksquare$

（说明：这是「不相容性」的标准证明思路的直觉版，用它说明约束的来处；完整的形式化处理与更一般的结论见方法 7.4.1 所列文献。）

∎

方法 7.4.1 · 公平度量的选择流程

「显式选择并说明理由」的具体做法，五步（每一步都产出可写入文档的结论）：

写清决策的对象与后果什么：这个决定给谁分配什么（机会 / 资源 / 风险）？被错误分配时，代价是单向的还是双向的？（招聘、信贷、医疗资源分配的目标完全不同。）
列出候选准则与它们的代价：按定义 7.4.2 逐条，对每条写「采用它会牺牲什么」（例如采用人口统计平价会牺牲「同一分数同一含义」的可解释性，采用分群校准会在基础发生率不同的情形下保留结果比例差异）。
选一个主准则 + 一个副准则：允许主准则加约束的形式（例如「以机会均等为主，约束组间假阴性率之差 $\le\delta$ 」），这样优化目标明确且可验收。
把它写进目标或约束：只在评估阶段报告指标不给优化器任何动力；写进损失（加权 / 正则）或写成约束（拉格朗日或后处理阈值调整）才可能生效。
记录残余风险与复查条件：写明「哪些差异是我们选择接受的、依据是什么、什么时候重新评估」（例如样本量达到某阈值、业务目标变更、法规更新）。

需要并列的两个立场（本节不做裁决，只陈列依据）：

立场 A：应当以结果分布为目标。依据：历史不公正是通过结果分布的差异长期累积的，只保证「同等条件同等机会」不足以纠正既有的存量差异；且结果分布差异更容易被外部检验（不需要外部看到分数与标签，只需看到通过率）。
立场 B：应当以「同等条件同等对待」为目标。依据：在基础发生率真实存在差异的场景下，强行拉平结果分布意味着对个体的区别对待（同等资质的两个人得到不同结果），这在很多岗位与法律框架下被明确禁止；且它把「历史差异应当由谁承担」的问题转移给了当下的个体。
两者共同接受的：必须显式选择并记录，不选择的默认行为（只优化平均损失）本身就是一种选择，而且往往是最不利于弱势群体的那一种。

一个必须提醒的度量陷阱：小样本与代理标签

分群评估有两个常见误用，值得单独记住。

第一，小样本上的分群指标不可信。 例 7.4.1 里 C 组只有 300 个样本，假阴性率 0.46 的置信区间宽度可达 $\pm0.1$ 量级（取决于真实发生率）。在小样本上做阈值精调，等于在拟合噪声；正确做法是报告区间，并优先用数据侧的手段（补采样）而不是算法侧的捷径。

第二，受保护属性本身可能是推断出来的。 当受保护属性没有自愿申报时，评估流程往往用统计推断（按姓名、地理、行为模式）来构造分组标签。这带来一个两难：不推断 → 无法做分群评估；推断 → 推断本身会出错，而推断错误的分布并不随机（例如对少数族裔姓名的推断质量更差）。因此任何基于推断属性的分群指标都应同时报告推断质量（覆盖率、准确率、以及不同子群上的差异），否则整份评估的可信度无从判断。

7.4.3 责任分配与外部框架（事实性概述）

7.4.3.1 责任链在这种场景下的细化

7.1.3 给出了五角色的通用义务表；在公平与责任这个具体问题上，它细化成四组可落到人的动作：

角色	在这一条法则下的具体义务	可交付的证据
开发者	定义并记录选定的公平准则；做分群评估（含置信区间与推断属性质量）；把准则写进目标或约束；在模型卡里写明适用 / 不适用场景	分群评估报告；准则选择说明与代价；模型卡
部署者	落实用途限制；设计人机接口（是否可推翻、是否显示依据）；建立申诉通道与处置时限；监测线上分群指标	使用规范；申诉记录与处置时效；线上看板
使用者（操作者）	遵守使用边界；在越界与不确定情形转人工；上报异常	操作日志；异常上报记录
平台 / 平台方	权限最小化；日志留存与可检索；数据主体的查询与删除请求通道	权限配置；审计日志；请求处理记录

责任真空最常见的三处（按出现频率排序）：① 「系统只提供建议」与「操作者实际上照单全收」之间的空白——书面责任在操作者，实际决策在模型；② 「模型给出分数」与「业务用它做硬门槛」之间的空白——阈值是谁定的、有没有评估记录；③ 「上线审批」与「上线后复查」之间的空白——没有人负责在分布变化后重新评估。

7.4.3.2 监管框架的事实性概述

以下只陈述可核查的事实：法规/框架名称、主体结构、关键条款与生效时间。本教程不评价这些要求的合理性，也不提供法律意见；涉及具体业务时请以官方文本与专业意见为准。核查时间：2025 年（条款与日期可能被后续修订影响，引用前请核对官方页面）。

方法 7.4.2 · 外部框架速览（事实清单）

欧盟《人工智能法案》（Regulation (EU) 2024/1689，即通常所说的《AI Act》）

主体结构是「风险分级 + 义务分层」，不是统一的技术标准：

层级	内容（依条文结构）	主要义务类型
禁止类	第 5 条列举的若干做法被禁止（如特定情形下对自然人的操控性技术、特定生物特征分类与抓取等）	不得投放 / 使用
高风险	第 6 条：两类——① 作为受欧盟统一立法覆盖产品的安全部件的 AI 系统（附件 I）；② 附件 III 列举领域中的系统，包括生物识别、关键基础设施、教育与职业培训、就业与劳动者管理、基本服务与信贷、执法、移民、司法等。第 6(3) 条给出若干不视为高风险的例外情形	第 8–15 条的要求：风险管理体系（第 9 条）、数据与数据治理（第 10 条）、技术文档（第 11 条）、记录留存（第 12 条）、对部署者的透明度与信息（第 13 条）、人类监督（第 14 条）、准确性 / 鲁棒性 / 网络安全（第 15 条）；以及提供方与部署者义务（第 16–27 条，其中第 27 条为基本权利影响评估）
特定透明度义务	第 50 条：与自然人交互的 AI 系统、生成式内容的标注、深度伪造的披露等	告知 / 标注
通用目的 AI（GPAI）	第五章（第 51–56 条）：与「高风险系统」是并行的另一条线	见下

GPAI 这一条线的两个层级：所有 GPAI 模型提供方承担第 53 条义务（技术文档、向集成方提供信息、版权政策、公开训练内容摘要等）；被认定具有系统性风险的模型另有第 55 条义务（模型评估、对抗性测试、系统性风险缓解、严重事件报告、网络安全保护）。
系统性风险的判定（第 51 条）：两条路径——① 基于技术工具与基准评估出的高影响能力；② 欧盟委员会依附件 XIII 标准作出的决定。第 51(2) 条给出可反驳的推定：训练累计算力超过 $10^{25}$ FLOP 即推定为具有高影响能力。第 51(3) 条规定委员会可通过授权法案修改该阈值并补充基准与指标——即阈值是随时间变化的，引用时必须注明年份。
时间表（第 113 条，按官方发布版结构）：法规 2024 年 8 月 1 日生效、原则上自 2026 年 8 月 2 日适用；例外包括：第一、二章自 2025 年 2 月 2 日适用（第 5 条中部分条款另有更晚的适用日）、第 III 章第 4 节与第五章（GPAI）、第 VII 章、第 XII 章等自 2025 年 8 月 2 日适用；第三章第 1–3 节（高风险系统的分类与要求）自 2027 年 12 月 2 日（依第 6(2) 与附件 III 认定的高风险）与 2028 年 8 月 2 日（依第 6(1) 与附件 I）起适用。注意：该法生效后经历过修订动议（公开讨论中有「数字综合法案」一类提案），本表中的日期以 2025 年可查的官方文本与第三方整理页为准，引用前请核对最新版本。
救济与监督机制：第 85 条（向市场监督机构投诉的权利）、第 86 条（对个体决策要求解释的权利）、第 87 条（举报与举报人保护）；第 72 条（投放后监测）、第 73 条（严重事件报告）。
官方文本：EUR-Lex 上的 Regulation (EU) 2024/1689；本条目的条款结构与时间表可对照第三方整理站 artificialintelligenceact.eu 的逐条页面（本文核查用页面：第 51 条、第 113 条、附件 III）。

美国：以框架与行政令为主，并经历了一次明确的方向调整

NIST AI 风险管理框架（AI RMF 1.0，2023 年 1 月）：自愿性框架，核心是四个功能（GOVERN / MAP / MEASURE / MANAGE），配套的 Generative AI Profile（NIST AI 600-1，2024 年 7 月）针对生成式 AI 列出风险类别与建议动作。官方页面：AI RMF、NIST AI 600-1。注意：AI 600-1 列出的风险类别数量在不同转述中表述不一，引用时建议直接引用官方 PDF 的清单，不要回忆数字。
行政令的更替：第 14110 号行政令（2023 年 10 月 30 日签署）已于 2025 年 1 月被第 14179 号行政令（Removing Barriers to American Leadership in Artificial Intelligence，2025 年 1 月 23 日）撤销。也就是说，2023 年那套联邦层面的报告与安全测试要求不再以该行政令为依据。事实来源：Federal Register 上 EO 14179 全文（链接）。
其他可核查的相邻框架：经合组织 AI 原则（2019 年，后经更新，政府间共识性质）；ISO/IEC 42001（AI 管理体系标准，2023 年发布）；新加坡 IMDA 与 AI Verify Foundation 的 AI Verify 与 Project Moonshot（面向 LLM 应用的测试工具，2024 年）——这些都属于自愿性 / 工具性框架，与欧盟的硬法在性质上不同，放在一起比较时要注意这个差别。

数据保护侧的一条常见交叉点：欧盟《通用数据保护条例》（GDPR，Regulation (EU) 2016/679）第 22 条对「仅基于自动化处理且对个人产生法律效果或类似显著影响」的决定设有约束，并配套若干权利条款；这使「模型输出的解释」同时落到数据保护法与 AI 法的交叉地带。本节只指出交叉存在，不展开法条解释。

把这些事实放进工程语境：它改变了哪几个具体动作

法规条文本身不写代码，但它会改变你的交付物清单。抛开法域差异，上面这些框架反复要求的是同一类东西：

文档：有什么能力、适用什么场景、评估做了什么、已知局限是什么（对应模型卡 / 数据卡 / 技术文档）；
记录与可追溯：日志、版本、评估结果、变更历史（对应第 12 条、第 72–73 条）；
人类监督：有人在环、可推翻、可干预（第 14 条）；
风险管理流程：识别 → 评估 → 缓解 → 监测（AI RMF 的四个功能；AI Act 第 9 条）；
申诉与解释：被影响者能问「为什么」、能得到答复、能要求纠正（第 85–87 条）。

这五件事与 7.5、7.6 的工程内容几乎是同一张清单。这不是巧合：监管框架的起草者大多吸收了同一批事故复盘。让你把安全当成设计约束，法域只是提供了外部截止日期与审计线索，不构成技术内容的替代。

7.4.4 审计、申诉与救济

前面三小节都在说「怎么让系统更公平」；这一小节处理「已经出了问题时怎么办」。它的重要性容易被低估：在一个不完美系统上，申诉机制是唯一能让错误被纠正、让系统性偏差被发现的外部通道。

定义 7.4.3 · 审计与救济三类机制

机制	谁发起	需要什么	产出	已知限制
内部审计 / 评估	团队或公司	白盒访问、评估数据、分群属性	分群评估报告、红队报告、门槛判定	有利益冲突；覆盖面由自己决定
外部审计	监管机构、第三方机构、研究方	访问权（黑盒或受限白盒）、审计标准、数据共享协议	独立评估意见、整改要求	黑盒访问下能验证的东西有限（例如无法验证「训练数据是否包含某类内容」）；保密与知识产权是现实约束
申诉 / 救济	被影响的个人	一个可达的通道 + 答复时限 + 复核能力	个案纠正、群体性问题线索	单一个案的数据点难以证明系统性偏差；因此申诉必须可聚合（统计申诉的分布）才真正有用

一条被反复忽略的设计要求：申诉通道若只是「客服工单」，它无法纠正模型判断——需要有人在链上有权推翻模型输出，并且这个流程要能被度量（处理时长、推翻率、按群体的分布）。推翻率按群体分布本身就是一个极强的偏差探测器：如果某群体的申诉推翻率显著更高，说明模型的错误在该群体上更集中。

为什么「可聚合」是申诉机制的技术要求

单条申诉在统计上几乎是无效的：它只能说明「这一次可能错了」，无法区分「模型系统性地对该群体更差」与「随机波动」。把申诉当作一类数据来统计，它就变成偏差探测器的输入：分组的申诉量与推翻率、按原因分类的申诉分布、处理时长的分布——这些量能在模型评估之外提供独立的证据来源。这也是为什么申诉通道的设计要求比「客服」高一层：它必须记录结构化字段（被影响的决策类型、群体、理由分类），否则聚合无从做起。

由此得到一个反直觉的推论：申诉通道「太安静」通常不是好消息。如果没有任何申诉，可能是通道不可达、用户不知道它的存在、或答复成本高到没人愿意走完流程。因此需要把通道可达性（例如在通知中给出入口）与处理量一起作为监控指标——两者都低时，应当先怀疑通道，而不是先庆祝「没有投诉」。

本节的六个常见误解

「公平只有一个正确定义」：错。多准则且一般互不兼容（定理 7.4.1）。可验证的说法是「我们在准则 $X$ 下达到 $Y$ ，代价是 $Z$ 」。
「去掉受保护属性就没有歧视」：错。代理变量仍在（定义 7.4.1 的读法部分）。判断依据必须是分群评估，不是字段清单。
「整体准确率高说明模型对所有人一样好」：错。平均值会掩盖子群差异，而且优化过程会主动把资源从样本少的群体转移走（定义 7.4.1 的第 ③ 来源）。看最差子群，不只看平均。
「只要模型公平，系统就公平」：错。部署环节（阈值怎么定、操作者如何使用、反馈回路）与数据环节同样是来源之一。这就是「社会-技术」的含义。
「申诉就是客户服务」：错。没有权限推翻模型输出的通道不构成救济；而且申诉必须可聚合统计，否则个案永远证明不了系统性问题。
「监管给出了可以直接照抄的技术配方」：错。这些框架给出的是流程义务与文档义务（风险管理、记录、监督、报告、解释权），把「校准怎么算、公平准则选哪个、红队做多少轮」留给技术方自己决定。把它们当成技术标准来执行，会在审计时暴露「有流程没有实质」。

即时自测 · 7.4

Q1 某团队声称「我们的模型是公平的」。按方法 7.4.1，请写出三个追问，把这句话变成一个可验证的陈述。

Q2 在例 7.4.1 的数据上，如果业务方坚持「各组通过率必须相等」（人口统计平价），会发生什么？请用手上的数字说明代价至少体现在哪里。

Q3 一个信贷模型部署后收到申诉：某人被拒贷，理由是模型分数低。请按定义 7.4.3 设计一个能真正纠正（而不只是「受理」）的流程，并说明它需要哪两种权限。

参考要点

Q1 三个追问：① 哪个准则——是人口统计平价、机会均等还是分群校准？（若答不出来，说明没有定义过。）② 在什么数据上测的——评测集的构成、各子群样本量与置信区间、受保护属性如何获得（自愿申报还是推断，推断质量如何）。③ 什么代价——采用该准则时，哪些指标会变差（例如为拉平假阴性率而抬高的假阳性率），以及这些代价由谁承担、由谁批准接受。能答完这三问的句子才是可验证的（例如「在 XX 评测集上，以机会均等为主准则，A/B/C 组假阴性率之差从 0.29 降到 $\le0.05$ ，代价是 A 组假阳性率上升约 0.02，残余差异由产品负责人签字接受，复查条件为样本量翻倍或业务目标变更」）。

Q2 强行拉平通过率意味着把 B、C 组的通过率抬到接近 A 组（ $0.38$ ），或把 A 组压到 $0.14$ – $0.19$ 。用表里的数字看代价：B、C 组的基础发生率只有 $0.26$ 与 $0.31$ ，把它们抬到 $0.38$ 的通过率，意味着在「不合格」人群中也会大量通过——假阳性率必然大幅上升（当前只有 $0.10$ 与 $0.08$ ），也就是说代价被转移给了「与不合格者竞争的其他人」，而不是由系统承担。反过来压低 A 组则直接损害 A 组中合格者。两种做法的共同点是：代价不会消失，只会换一个承担者——这正是「必须显式选择并说明代价」的内容。

Q3 流程设计（四步，缺一不可）：① 可申诉：拒贷通知必须附带「存在自动化决策」的告知与一个可达的入口（对应 AI Act 第 50 条透明度义务与第 86 条解释权的一类要求）；② 可解释：能给出与该个案相关的忠实性经过检验的依据（7.3.7，尤其注意不要拿未经检验的归因作为法律答复）；③ 可推翻：复核者有权覆盖模型输出并给出结论——这需要两种权限：模型侧的复核权限（能重新跑、能查看该样本的特征与分数）与业务侧的覆盖权限（能批准一笔例外）。只有前者是「技术支持」，只有后者是「客服安抚」；④ 可聚合：把申诉按受保护群体与拒贷原因分类统计，定期看推翻率分布——若某群体推翻率显著更高，触发对模型的重新评估。此外应记录处理时长并设定期限，否则「可申诉」在实践中等于「无回应」。

延伸阅读与可溯源清单

公平性度量与不相容性

Hardt, Price & Srebro, Equality of Opportunity in Supervised Learning（2016，arXiv:1610.02413）——机会均等 / 均等化几率的来源，含后处理算法。
Chouldechova, Fair prediction with disparate impact: A study of bias in recidivism prediction instruments（2016，arXiv:1703.00056）——预测平价与错误率均衡不可兼得的经典分析（再犯预测场景）。
Kleinberg, Mullainathan & Raghavan, Inherent Trade-Offs in the Fair Determination of Risk Scores（2016，arXiv:1609.05807）——三条准则（校准、平衡正类率、平衡负类率）一般不可能同时满足的形式化结论，与定理 7.4.1 对应。
Corbett-Davies 等, Algorithmic decision making and the cost of fairness（2017，arXiv:1701.08230）——从决策代价（错误类型的相对代价）出发讨论「该选哪个准则」的一类视角，可作为方法 7.4.1 中两种立场的进一步阅读。
Kusner 等, Counterfactual Fairness（2017，arXiv:1703.06856）——用因果图定义个体公平的一条路线（注意：它需要因果图假设，假设本身可能不可验证）。

偏见来源与评测

Mehrabi 等, A Survey on Bias and Fairness in Machine Learning（2019，arXiv:1908.09635）——偏见来源与缓解方法的分类综述。
Buolamwini & Gebru, Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification（2018，PMLR / FAT* 会议论文，无 arXiv）——交叉子群上错误率差异的经典实证研究，是例 7.4.1 式分群评估方法论的来源之一。
Wang 等, DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models（2023，arXiv:2306.11698，NeurIPS 2023 D&B 杰出论文）——把毒性、刻板印象、鲁棒性、隐私、伦理、公平放在同一套评测里，可作为「多维可信」的评测示例。
fairlearn（开源公平性工具包，提供 MetricFrame 分群度量与多种缓解算法）、AIF360（另一套开源公平性工具箱）、Captum（归因）——工程落地时优先用现成工具，避免自己实现指标时的口径错误；但工具不会替你选准则，方法 7.4.1 的第 1–3 步仍然是人工决策。

监管与框架（官方来源，本教程仅作事实陈述）

Regulation (EU) 2024/1689（AI Act）官方文本：EUR-Lex；条款逐条参考 artificialintelligenceact.eu（本例核查页面：第 51 条、第 113 条、附件 III、第 26 条、第 27 条）。
NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0)（2023 年 1 月，NIST AI 100-1）；NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile（2024 年 7 月，NIST AI 600-1）——官方页面。
Executive Order 14179, Removing Barriers to American Leadership in Artificial Intelligence（2025 年 1 月 23 日）——Federal Register 全文；该行政令撤销了 2023 年 10 月 30 日的 EO 14110。
ISO/IEC 42001:2023（AI 管理体系，国际标准组织）；新加坡 IMDA / AI Verify Foundation 的 AI Verify 与 Project Moonshot（2024，官方页面：https://www.imda.gov.sg/ 与 AI Verify 项目站 https://aiverifyfoundation.sg/ ）——自愿性框架与工具的代表。

责任与技术性问责

Mitchell 等, Model Cards for Model Reporting（2018，arXiv:1810.03993）——模型卡的原始论文，7.6 会用到。
Gebru 等, Datasheets for Datasets（2018，arXiv:1803.09010）——数据卡的原始论文。
关于「算法问责」的程序化讨论可阅读 Algorithmic Accountability 一类的政策文件；本教程不在此展开，只提醒：技术措施（分群评估、日志、申诉）是可审计性的前提，没有它们，任何问责程序都会停在「无法核实」。

本节小结：偏见有四重来源（数据、标注、目标函数、部署环境），对策互不重叠；公平有多种度量且一般互不兼容，因此唯一可验证的做法是显式选择主准则 + 说明代价 + 写进目标或约束 + 记录残余风险；责任要落到具体角色的具体义务上，最常见的真空在「建议与决策之间」「阈值谁定」「上线后谁复查」三处；外部框架（欧盟 AI Act 的风险分级与 GPAI 义务、NIST AI RMF 等）给出的是流程与文档义务，恰好与 7.5、7.6 的工程清单重合；申诉与救济必须可推翻、可聚合，否则不构成纠正能力。下一节把这条线上的所有失效模式收进同一张表：一套系统地列出后果的方法。

Keyboard shortcuts