$S$ 的失效成本 $C_{\text{fail}}$ 主要由受影响人群 $\mathcal U$（以及在链条上无决策权的第三方）承担，而不由 $D$ 或 $P$ 的决策目标承担：$g_{D}(S)$ 或 $g_{P}(S)$ 中不含 $\alpha\,C_{\text{fail}}(S,\mathcal U)$（$\alpha\gt0$）。说它是结构问题，因为优化器只优化写进去的东西；外化常常只是「目标函数里没有这一项」，所以「主动管后果」的技术内容就是把 $C_{\text{fail}}$ 的一部分重新写进设计约束——写成指标、门槛与回退条件（定义 7.1.1）。（✓ / △ / ×）

① 可替代性（我不做，别人能用同样资源与知识做出等价的东西）；② 用途不可预知（下游用途在合理的专业判断下不可预知，而不是「我不去了解」）；③ 影响不集中在特定人群。三条任一条不成立，「我只负责实现」在事实上等于把判断义务转移给没有决策权的人。最常被违反的是第 1 条：判断依据是资源分布——算力、数据、许可、时间窗口是否为你独有（定义 7.1.2）。（✓ / △ / ×）

数据提供方（来源与授权记录、覆盖度与缺口说明、去标识化与最小化）；模型开发者（失效模式识别与文档、评估口径含分群与鲁棒、红队、模型卡）；部署者（用途限制、人机接口设计、监控与回退）；使用者 / 操作者（遵守使用边界、越界转人工、上报异常）；平台 / 基础设施（权限最小化、限速与配额、日志留存）。依据是信息与权力的分布，不是「谁离得近谁负责」：每一环都有别人做不到的那件事，因此责任不能被集中也不能被平摊（定义 7.1.3）。（✓ / △ / ×）

① 意外失效——$g$ 与 $u$ 一致但系统在未覆盖的输入或环境下行为错误（分布偏移、对抗扰动、管线故障），对策以评估与监测为主；② 滥用——系统按设计工作但被用于设计目标之外的目的，对策以访问控制与能力设计为主；③ 系统性偏差——$g$ 与 $u$ 在人群维度上系统性偏离且平均指标不可见，对策以数据治理与分群度量为主。三者交叠：一次事故常同时含两种（被滥用的能力恰好作用在分布外样本上，而受影响的是历史样本稀少的群体）（定义 7.1.4）。（✓ / △ / ×）

我们真正期望的目标 $u$ 通常模糊、难以形式化；系统实际被优化的代理目标 $g$（损失 / 奖励 / 指标）提升到很高水平并不保证 $u$ 改善——对齐工作 $=$ 不断把 $g$ 修得更接近 $u$，并约束优化过程不去利用这个缺口。三来源：① 目标错设（$g$ 写错，如用停留时长代理用户满意）；② 目标泛化错误（在新情境、新分布下偏离，对齐没有随能力一起泛化）；③ 优化压力（优化越充分，系统越会精确地找到并利用缺口）（定义 7.2.1）。（✓ / △ / ×）

层	目标	验收证据	失效即
目标对齐	让 $g$ 更接近 $u$	代理缺口的说明 $+$ 与人类判断的抽样一致性	指标涨、体验降
行为约束	行为空间上不进危险区域	红队攻击成功率 $+$ 过拒率（两侧都要测）	该拒的不拒，或该答的不答
可监控	偏离可被发现	检出率与误报率、告警到处置的时延	出问题但没人知道

三层缺一不可，顺序是诊断顺序而非施工顺序：出事故先问「是目标错、约束漏还是没看见」，再决定改哪一层（定义 7.2.2）。（✓ / △ / ×）

$$\text{不可信内容}\ \xrightarrow{\ \text{被模型读入}\ }\ \text{模型决策}\ \xrightarrow{\ \text{调用工具}\ }\ \text{真实世界副作用}.$$ 关键性质：每一跳都可能发生，而末端不可逆（已发出的邮件、已删除的文件、已完成的支付）。因此在接入工具的系统里，防御目标不是「让模型不被骗」，而是让最坏情况下的副作用有限且可逆。修复不在模型内部（被注入的内容与正常内容在字符串层面无法区分），而在系统层：来源标记（提示层级）、权限分离、危险动作二次确认、最小权限（定义 7.2.3）。（✓ / △ / ×）

红队问「能不能被主动攻破」（对抗性、广度优先），产出「在哪些攻击下失守」以及覆盖面多宽；常规评测问「在给定分布上表现如何」（统计性、纵向追踪）；滥用评估问「这个能力把什么事变得更容易了」（相对基线）。三者不可互换：红队通过不说明分布外表现好；评测好不说明抗攻击；两者都不说明「能力本身是否把门槛降低了」（定义 7.2.4、定义 7.5.3）。（✓ / △ / ×）

判据只有一句：它动了模型内部吗？ 动了 → 机制可解释；只在输入—输出之间做拟合 → 事后解释。事后：特征重要性、LIME / SHAP、梯度或输入显著性图、自然语言解释；机制：线性探针、电路（子结构）、SAE、激活引导。SAE 是过完备编码器 $+$ 解码器：$f(x)=\mathrm{ReLU}(W_{\text{enc}}(x-b_{\text{dec}})+b_{\text{enc}})$、$\hat x=W_{\text{dec}}f(x)+b_{\text{dec}}$，目标是重建 $+$ 稀疏；激活引导是推理时对某层激活加概念方向 $h'=h+\alpha\boldsymbol v$，$\boldsymbol v$ 常由「正例激活均值 − 反例激活均值」得到（定义 7.3.1、定义 7.3.2、定义 7.3.3）。（✓ / △ / ×）

事实性幻觉（与外部世界事实不符：编造引用、错误数字）与忠实性幻觉（与给定上下文不符，RAG 里更常见也更容易自动检测）。三来源：① 训练目标——语言建模优化的是下一 token 似然，流畅与合语法对高似然的贡献大于可验证的准确性；② 解码过程——采样随机性 + 低信息位置只能靠先验，先验不足时仍输出高置信的连贯文本；③ 对齐的副作用——偏好数据里「自信、直接」比「我不确定」更受欢迎，因此 RLHF 可能提高拒答不足与过度自信（定义 7.3.4）。（✓ / △ / ×）

三层防的是不同的事：条款再细也挡不住新情境（泛化缺口）；行为约束不会告诉你有人正在绕（可见性缺口）；能对账也不改变条款写错这个事实（目标缺口）。所以它们是三个独立验收项，各自留证据，而不是合并成一个「对齐是否完成」的是非题。出事故时先问「是目标错、约束漏、还是没看见」，三种答案对应完全不同的修法——这就是「诊断顺序」的含义：先分层再动手，避免用红队去解决目标错设（定义 7.2.2、方法 7.2.1）。（✓ / △ / ×）

能力收窄 $\gt$ 行为约束 $\gt$ 输出过滤。理由是验证成本：结构性收窄可以直接检验（没有那个工具、接口返回 403、没有那个权限），而「让模型正确地不做某事」只能靠概率证据（评测 + 监控），且输出过滤只是统计它的漏报率（例：定义 7.6.1 后的不等式）。例子：不做 1:N 生物检索只做 1:1 验证；模型不直接写生产库、只产出变更建议；对外发送一律「草稿 $+$ 显式确认」（方法 7.2.6、例 7.6.1）。（✓ / △ / ×）

它与对抗样本是同一件事在离散输入空间里的版本：输入空间里存在一些方向，沿它走一小步就会让模型的高层判断大幅改变——这些方向对损失是下降方向，但人类在语义上不感知；连续输入里是向量扰动，离散 token 里表现为看似无意义的字符序列。两条推论：① 输入过滤的天花板很低——后缀空间是离散且极大的（$V^{n}$），换一个目标函数就能生成新后缀，因此依赖黑名单的防御必须假设它可被绕过，其价值是提高攻击成本；② 更可靠的方向是让有害意图在内部表示上不再线性可分（表征层干预不去追后缀形状，因而能挡住未见过的变体）（方法 7.2.5）。（✓ / △ / ×）

① 重建不完美——未解释的方差残留在重建误差里；② 稀疏与可解释只是相关——存在「死特征」与难以命名的抽象特征，「可命名」是经验事实不是保证；③ 成本高，且换一个模型层就要重训一套 SAE。因此它的结论只能支撑「某个方向被压掉后行为按预期改变」这类受测分布上的因果证据，不能支撑「模型已被理解」或「系统安全」（定义 7.3.2、方法 7.3.4）。（✓ / △ / ×）

难对付是因为三个来源分别在训练目标、解码过程、偏好数据里，没有单一开关；可测量体现在三类抓手：可验证字段（数字、日期、引用）自动比对、文本—证据一致性（匹配与蕴含）、拒答与过拒本身可统计。排序建议：先用工具与检索把可验证部分从生成中移除（最有效、副作用最小），再用引用约束约束剩下的，最后才用拒答阈值兜住残余——因为拒答是对可用性最贵的动作（方法 7.3.3）。（✓ / △ / ×）

① 校准只在评测分布上成立，漂移后先失效且失效得很安静（数字仍好看、含义已变）→ 必须与 OOD 监测成对上线；② 校准不改变排序（AUC 不变），模型分不开两类样本时只是把数字改得更诚实 → 需修模型 / 加特征，而不是继续拧温度；③ ECE 是加权平均，会把「低置信区完全正确」与「高置信区严重过自信」混成不错的数字 → 门槛必须写成分桶形式，并把上限的工作点与覆盖率一起报（定义 7.3.5、例 7.3.2）。（✓ / △ / ×）

能做：在没有密钥的第三方手里，对一段文本给出「统计上是 / 不是本模型生成」的判断，且假阳率由阈值直接给出（相对「检测器模型」的关键优势：那是又一个可能被对抗绕过的黑箱，而水印是可计算的检验统计量）。不能做：① 不能防篡改（改写、翻译、截断、换模型润色都会让信号衰减）；② 不能抵抗内行（生成规则被推断后可优化「去水印」改写）；③ 假阳与假阴都要报告，而假阴率取决于文本长度与改写程度（短文本几乎无法判定）；④ 不是通用 AI 内容检测——只对加了水印的那一个模型有效，对开源权重模型无效（定义 7.3.6）。（✓ / △ / ×）

工程含义：公平没有唯一正确解——你必须根据场景目标与合规要求显式选择要满足的准则，并说明它牺牲了什么；「我们已做到公平」这种不指明准则的说法无法验证；技术能保证的只是「按你选定的准则优化」，选哪一个是判断，不是计算。五步：① 写清决策的对象与后果（给谁分配什么、代价是否双向对称）；② 列出候选准则与各自代价；③ 选一个主准则 $+$ 一个副准则（允许主准则作为约束，如「组间假阴性率之差 $\le\delta$」）；④ 写进目标或约束（只报指标不给优化器任何动力）；⑤ 记录残余风险与复查条件（哪些差异被选择接受、依据是什么、何时重估）（定理 7.4.1、方法 7.4.1）。（✓ / △ / ×）

六段：① 系统边界与数据流（含信任边界）；② 资产与目标；③ 攻击者与能力假设（含最常被漏的无意触发者）；④ 攻击面清单（按入口 / 通路 / 出口）；⑤ 缓解措施（按层写，每条写代价）；⑥ 残余风险与接受者 $+$ 复查条件 $+$ 回退路径；最后一步是把它变成需求。信任边界之所以关键：注入的本质是信息流完整性被破坏——不可信来源的内容被当作指令执行；要判断某个入口有没有这个问题，唯一需要的信息就是「这段内容来自可信还是不可信来源」与「它之后能影响哪些动作」（方法 7.5.1）。（✓ / △ / ×）

指标、告警、灰度、回退（方法 7.6.3）。回滚更值得投入，因为两者的失效代价不对称：监控缺失时你只是「不知道」，系统还不算更坏；回滚缺失时你已经知道出了事，却停不下来，后果继续累加，且所有后续动作都在压力下完成（更容易出错）。四个时限（$T_{\text{detect}}$ / $T_{\text{triage}}$ / $T_{\text{mitigate}}$ / $T_{\text{notify}}$）中止损时间 $T_{\text{mitigate}}$ 最常被高估——它由「回退路径是否演练过」决定，而未演练的回退在事故当天通常不可用（配置漂移、依赖变更、权限过期）（定义 7.6.2）。（✓ / △ / ×）

$$g_{D}(S)\ \text{或}\ g_{P}(S)\ \not\ni\ \alpha\,C_{\text{fail}}(S,\mathcal U),\qquad \alpha\gt0 .$$ $C_{\text{fail}}(S,\mathcal U)$ 是系统 $S$ 对人群 $\mathcal U$ 的失效成本；$\alpha$ 表示该成本在决策目标里的权重——外化即 $\alpha$ 在目标中缺项，而不是 $\alpha=0$ 的「权衡结果」（前者是没写进去，后者是明知代价而接受）（定义 7.1.1）。（✓ / △ / ×）

$$\mathcal L(\phi)=-\mathbb E_{(x,y_w,y_l)}\Bigl[\log\sigma\bigl(r_\phi(x,y_w)-r_\phi(x,y_l)\bigr)\Bigr],$$ $$\max_\theta\ \mathbb E_{x,\ y\sim\pi_\theta}\bigl[r_\phi(x,y)\bigr]\ -\ \beta\,\mathrm{KL}\bigl(\pi_\theta(\cdot\mid x)\,\Vert\,\pi_{\text{ref}}(\cdot\mid x)\bigr).$$ $r_\phi$ 学的是「标注者在这种情形下更偏好什么」，因此同时继承标注者的系统性倾向；$\beta$ 是对齐预算（方法 7.2.2）。（✓ / △ / ×）

$$\pi^\star(y)=\frac{1}{Z(x)}\pi_{\text{ref}}(y)\exp\!\Bigl(\frac{r(y)}{\beta}\Bigr),\qquad Z(x)=\sum_y\pi_{\text{ref}}(y)\exp\!\bigl(r(y)/\beta\bigr),$$ $$\beta\log\frac{\pi^\star(y)}{\pi_{\text{ref}}(y)}=r(y)-\beta\log Z(x)\ \Longrightarrow\ r(y)=\beta\log\frac{\pi^\star(y)}{\pi_{\text{ref}}(y)}+\beta\log Z(x),$$ $$\mathcal L_{\text{DPO}}(\theta)=-\mathbb E_{(x,y_w,y_l)}\Bigl[\log\sigma\Bigl(\beta\log\frac{\pi_\theta(y_w\mid x)}{\pi_{\text{ref}}(y_w\mid x)}-\beta\log\frac{\pi_\theta(y_l\mid x)}{\pi_{\text{ref}}(y_l\mid x)}\Bigr)\Bigr].$$ $Z(x)$ 消失是因为 $y_w$ 与 $y_l$ 共享同一个提示 $x$：它是同一个常数，只在差值里出现（方法 7.2.3）。（✓ / △ / ×）

$$\max_{z\in\mathcal V^{n}}\ \log \pi_\theta\bigl(t \mid x\ \Vert\ z\bigr),$$ 其中 $x$ 是有害请求、$z$ 是 $n$ 个 token 的对抗后缀、$t$ 是「顺从的开头」（如「Sure, here is」）。搜索空间规模 $\lvert\mathcal V^{n}\rvert$：$\log_{10}\lvert\mathcal V^{n}\rvert=n\log_{10}V$（$V=32000$、$n=20$ 时约 $10^{90}$）；攻击开销主要是前向—反向次数，因此白盒高效、黑盒退化为查询优化（方法 7.2.5）。（✓ / △ / ×）

① 对目标类别分数求最后一层卷积激活的梯度，做全局平均得到通道权重 $\alpha_c$；② 对激活做加权求和：$\mathrm{CAM}=\mathrm{ReLU}\bigl(\sum_c\alpha_c A_c\bigr)$；③ 归一化到 $[0,1]$。ReLU 是关键一步（只保留对类别有正贡献的位置），但分辨率受最后一层感受野限制，且对捷径特征（背景、水印）敏感而不一定诚实（方法 7.3.1、例 7.3.1）。（✓ / △ / ×）

$$f(x)=\mathrm{ReLU}\bigl(W_{\text{enc}}(x-b_{\text{dec}})+b_{\text{enc}}\bigr),\qquad \hat x=W_{\text{dec}}f(x)+b_{\text{dec}},$$ $$\mathcal L=\bigl\lVert x-\hat x\bigr\rVert_2^2+\lambda\bigl\lVert f(x)\bigr\rVert_1 .$$ $\lambda$ 越大 → 编码越稀疏、可读性越好但重建越差；$\lambda$ 太小则退化成普通自编码器，$\lambda$ 极大则可能「什么都不开」（死特征、空重建）。可比较的指标是重建损失 vs 平均激活特征数 $L_0$（定义 7.3.2、习题 B5）。（✓ / △ / ×）

$$\mathrm{ECE}=\sum_{m=1}^{M}\frac{\lvert B_m\rvert}{n}\,\bigl\lvert \mathrm{acc}(B_m)-\mathrm{conf}(B_m)\bigr\rvert .$$ 当所有桶都是 $\mathrm{acc}\lt\mathrm{conf}$（系统性过自信）时，绝对值可整体提出： $$\mathrm{ECE}=\overline{\mathrm{conf}}-\overline{\mathrm{acc}} .$$ 正因如此，改桶数不会改变数值，也就看不见「高置信桶失守」——报告必须同时给桶数与评测集（定义 7.3.5、例 7.3.2）。（✓ / △ / ×）

$$z=\frac{\lvert s\rvert_G-\gamma T}{\sqrt{T\gamma(1-\gamma)}},$$ 其中 $T$ 为 token 数、$\lvert s\rvert_G$ 为落在绿名单（约占 $\gamma$）中的 token 数。未加水印时 $z$ 近似标准正态（均值 $0$）；加水印时 $\mathbb E[z]=(p-\gamma)\sqrt T/\sqrt{\gamma(1-\gamma)}$，随 $T$ 增长而显著为正。取 $z\gt4$ 即假阳率约 $\Phi(-4)=3.17\times10^{-5}$，这就是「可调假阳率」的含义（定义 7.3.6）。（✓ / △ / ×）

在校准（$P(Y=1\mid \hat s=s)=\pi(s)$ 与群体无关）下，均等化几率要求 $$P(\hat s=s\mid A=\text{A})=\frac{\pi_{\text{A}}}{\pi_{\text{B}}}\,P(\hat s=s\mid A=\text{B}),\qquad \pi_a:=P(Y=1\mid A=a).$$ 即两组的整个分数分布必须相差同一个非零常数因子；因各自要归一化到 $1$，这在 $\pi_{\text{A}}\neq\pi_{\text{B}}$ 时不可能（除非分数退化）。若 $\pi_{\text{A}}=\pi_{\text{B}}$，比例因子为 $1$，两组可取同一分布——矛盾消失（定理 7.4.1）。（✓ / △ / ×）

$$\mathrm{RPN}_i=S_i\times O_i\times D_i\quad(\text{上限 }1000),$$ 纪律：不许用 RPN 覆盖 $S_i$ 极高的项——RPN 是乘法，低发生度会掩盖高严重度，「几乎不发生但一旦发生是灾难」的项必须单独列入高危清单。 $$\text{新增风险}\ \propto\ \bigl(\text{能力提升}\bigr)\times\bigl(\text{原先的门槛高度}\bigr)\times\bigl(\text{可扩散程度}\bigr),$$ 纪律：基线必须写进报告——不写基线的结论会被两类读者同时误读（「天塌了」与「早就有人能做」），两者都不是从数据推出的（定义 7.5.2、定义 7.5.3）。（✓ / △ / ×）

两处都错。① 服从某条具体指令本身可能是不对齐：一个能被任意越狱、对任何请求都照做的系统是不对齐的；对齐指向的是意图与价值，不是服从度。② RLHF 对齐的是「这些偏好数据、这个奖励模型、这个 $\beta$」下的行为：偏好数据来自有限、有噪声、有系统性倾向的人群；奖励模型仍可被过度优化（$r_\phi$ 的漏洞是新的奖励黑客入口）；KL 约束是权宜之计。另外偏好对齐改行为、不改知识——幻觉与事实错误不会因偏好优化而消失（7.2 的误解 1–4）。（✓ / △ / ×）

两处都错。红队产出的是「在哪些攻击下会失守」以及覆盖面有多宽，对已知失效集合的补集没有任何陈述能力：「没找到问题」与「不存在问题」之间的距离由覆盖面与创造性决定，不由结论决定。可验证的写法是给出用例数、攻击类别、工具范围与完整绕过率，并把「红队通过 $\neq$ 安全」写进文档；同时要把红队与常规评测、滥用评估分开记录，说明「测过什么、没测什么」（定义 7.2.4、7.1 的误解 4）。（✓ / △ / ×）

三处都错。① 删掉的是特征不是信息：地址与邮编、就读学校、设备型号、活跃时段、语言风格都可能成为代理变量；判断依据只能是分群评估，并且要报「受保护属性如何获得（申报 / 推断）及其质量」。② 平均值会掩盖子群差异，而且优化过程会主动把资源从样本少的群体转移走——要看最差子群。③ 通道「太安静」通常不是好消息：可能是不可达、用户不知道、或答复成本高到没人走完流程；应把通道可达性与处理量一起监控（定义 7.4.1、定义 7.4.3）。（✓ / △ / ×）

三处都错。① 高亮是归一化后的可视化，其形状受方法、层与后处理影响，不同方法可能给出不同区域；它是线索不是结论，且忠实性要用扰动 / 单调性 / 消融独立检验。② 可分 $\neq$ 被使用：探针说明信息在表示空间中线性可分，要证明「被使用」必须做消融（把该方向投影掉，看行为是否改变）。③ SAE 有重建误差与不可命名的特征，且有成本；它提供的是审计接口，不是全模型解释（7.3 的误解 1–4）。（✓ / △ / ×）

两处都错。① 校准只在评测分布上成立，漂移后先失效且失效得安静；它不改变排序（AUC 不变）；ECE 还是加权平均，可能掩盖高置信桶失守——门槛必须写成分桶形式，并配 OOD 监测。② 温度缩放只改置信度的标定（一个标量），不改变预测与排序，因此不改善准确率；若过度自信的根因在训练（例如偏好数据奖励自信语气），它只是贴了一层补丁，下一次模型更新后要重新拟合（定义 7.3.5、例 7.3.2）。（✓ / △ / ×）

两处都错。水印只对加了水印的那一个模型有效，对未加水印的模型与开源权重模型都无效；它不能防篡改（改写、翻译、截断、换模型润色都会让统计信号衰减甚至消失），攻击者也能直接给出「改写指令」把它洗掉；假阴率取决于文本长度与改写程度，短文本几乎无法判定。它给出的是取证线索（统计上是 / 不是本模型生成，且假阳率可控），既不证明内容真实、合规、原创，也不能当防伪标（定义 7.3.6）。（✓ / △ / ×）

两处都错。① RPN 是三个因子的乘积，低发生度会掩盖高严重度：例子中 F2 的 $S=9$、$\mathrm{RPN}=180$ 排在 F5（$360$）之后，却必须单列高危项并先处理；标准纪律是不许用 RPN 覆盖 $S$ 极高的项。② $D$ 衡量「后果发生之前被发现的可能性」，有指标只是第一件：还要有由基线推出的阈值、从告警到人工介入的时延，以及止损动作；「有监控」不等于「会被发现」（定义 7.5.2、例 7.5.1）。（✓ / △ / ×）

三处都错。① 没有权限推翻模型输出的通道不构成救济，而且申诉必须可聚合统计（结构化字段、推翻率按群体分布），否则个案永远证明不了系统性问题。② 恰恰相反：不写残余风险的文档会被误读为「已清零」，一旦出事责任会落在写文档的人身上；写出「剩下的由谁接受、什么条件下重估」才是专业表现。③ 能力提升、接入新工具、换部署场景都会让旧护栏失配——护栏是有时效的配置，不是一次性交付物（定义 7.4.3、7.5 的误解 6、方法 7.6.2）。（✓ / △ / ×）