第 6 讲 · 勘误与补注
本页记录四类内容：与母本讲义的差异、术语与译法的统一、本讲特有的时效纪律，最后是本教程自身的更正记录。 这一讲与其余各讲最大的体例差别在第三节：本讲素材以 2023–2025 年为主线，模型版本、榜单名次、API 定价、上下文窗口数字会迅速过期。因此第三节不是附录，而是本讲的阅读前提。
一、对照母本讲义的补注
母本录播课（MIT 6.S191 一类）到了「前沿」部分通常只给结论与演示，不给可复算的账，也不并列争议。本讲是本教程重写的整讲，所以这一节的对照对象是「母本的一句话结论」与「公开论文/技术报告里的方法与工程事实」之间的距离。
| 主题 | 母本 / 公开材料的处理 | 本教程的补齐（位置） |
|---|---|---|
| 缩放律 | 只给「参数越大越好」的印象，或只给 这一条 | 两次结论的并列对照与差别来源（学习率调度是否统一、是否跑到收敛），以及「最优随目标函数漂移」（方法 6.2.1、6.2.2） |
| 能力涌现 | 常作为「规模带来质变」的例证直接引用 | 两方证据并列 + 可证伪的判据（多度量对照、直接测单步、单调重标定），并把 写成可手算的台阶（6.2.4、例 6.2.3） |
| 提示与推理 | 「CoT 很有用」的一句话结论 | CoT 的三个机制、不忠实性、自洽性在 与错误相关时失效，以及测试时计算的成本—收益排序（6.3.2、例 6.3.4） |
| 多模态 | 演示「能看图对话」 | 视觉 token 的账（576/2304/5184）、连接器参数量、切片与有效分辨率的关系（例 6.4.2、例 6.4.3） |
| 具身智能 | 「机器人 + 大模型」的接口叙事 | 四重错配的频率与延迟算术、动作表示的三笔账（归一化 / 旋转 / 精度）、八项可复现清单（例 6.5.1、方法 6.5.5、方法 6.5.6） |
| 智能体 | 介绍框架与 Demo | Observation 的外部性、schema 设计四原则、不可逆操作隔离、同源反思放大偏差（定义 6.6.1、例 6.6.1、6.6.4） |
| 世界模型 | 「视频生成 = 世界模拟器」的表述 | 复合误差的可用长度算术与两方证据并列（例 6.6.2、6.6.8） |
| 评测 | 「看榜单」 | 四类基准的失效方向、污染三路径的不可判定性、配对比较与方差、校准与弃答阈值、四道闸门（6.7 全节） |
一句话总结差异：公开材料给「谁更强、涨了多少」，本教程补「这个数字是怎么得到的、在什么条件下会翻转、算错时长什么样」。
二、术语与常见译误
用法：当同一个词被用来指两件事时来查。下面八条都是本讲内部就构成实际困惑的对比。
| 术语 | 常见误用／误译 | 正确理解 |
|---|---|---|
| 涌现（emergence） | 读成「规模跨过阈值后出现了全新推理机制」 | 严格地说，被报告的是指标行为（某些度量下曲线呈台阶状），机制是另一层主张。正方（Wei et al. 2022）给的是「多任务上反复观察到的陡升」，反方（Schaeffer et al. 2023）给的是「非线性度量可把连续能力映射成台阶」。已被证伪的只有最激进的那版机制主张；「涌现」一词本身既指现象也指解释，引用时必须说明是哪一层 |
| 推理模型 vs 思维链 | 把两者当同义词：「有 CoT 就是推理模型」 | CoT 是提示层面的一种输出形态（先写中间步骤）；推理模型指的是经过 RLVR 一类训练、把长推理当成行为习惯的模型（6.3.5）。前者不需要训练、任何模型都能被「一步一步想」触发；后者是训练产物。等价的说法是把「提示技巧」当成了「模型类型」 |
| benchmark vs leaderboard | 混用「基准」与「榜单」，于是把排名当能力 | benchmark（基准） 是一套任务 + 判定协议（题目、答案抽取规则、是否允许 CoT）；leaderboard（榜单） 是别人用某一套配置跑出来的排名表。同一模型在不同提示格式、few-shot 数、抽取规则下分数差异可以吃掉几个百分点（6.7.3）。所以「榜单第几」是配置的快照，不是能力的定义 |
| 幻觉 vs 事实性错误 | 把「说错话」一律叫幻觉 | 幻觉（hallucination） 一般指编造出不存在的内容（图中没有的物体、不存在的文献），其根源常是语言先验压过证据（定义 6.4.5）；事实性错误则是陈述与事实不符，可能来自知识缺口或过时信息，未必是编造。「模型看到但说错」与「模型没看到只能补」需要分开治理——这也与 CoT 的忠实性（faithfulness）问题同源：输出的理由未必是内部计算过程（6.3.2） |
| AGI（通用人工智能） | 用「某基准接近人类水平」或「能完成很多任务」来宣称 AGI | AGI 是没有可操作定义的术语：它既不是某一项基准的分数，也不是「任务覆盖数」。本讲只允许三类可检验的说法——具体任务上的能力、能力的度量与条件、误差随规模/长度的变化（6.6.8 的表述纪律）。凡「已实现 AGI」的说法，先问：在什么任务上、用什么指标、与什么基线比、误差如何随时间增长 |
| 上下文学习（ICL） | 说成「模型在提示里学会了新任务」，进而类比监督学习 | 权重完全没变，没有梯度、没有参数更新；发生的是前向条件化：在前缀里指定「现在做哪一类任务」，把预训练已有的子程序调出来（定义 6.3.1）。因此它不能创造预训练里没有的知识——不会的就是不会，只能去查或去训 |
| 世界模型 vs 世界模拟器 | 两者互换使用 | 世界模型是「学习环境演化的模型」 或潜空间版本，带动作接口，可做反事实查询与规划（定义 6.6.4）；世界模拟器是「视频生成模型」的宣传用语，缺动作输入通道与反事实能力，长程还会漂移（6.6.8）。用一个词覆盖两者，会让下游高估它在控制与规划中的可用性 |
| 校准（calibration）vs 置信度 vs 准确率 | 「置信度 0.9 就是说对了九成」 | 置信度是模型自己报的数；准确率是实际对的比例；校准指两者在同一分布上按箱统计是否一致（定义 6.7.3）。语言模型系统性过度自信（例 6.7.4 的 ECE ）。置信度可以当排序信号用，但不能当概率承诺；换个域的分布，校准就会失效 |
三、时效补注：版本时点快照纪律
本讲的素材时间跨度是 2023–2025 年（含少量必要的前置经典，标注原年份）。正文里出现的数字分三类，读的时候必须分清：
| 数字类别 | 例子 | 纪律 |
|---|---|---|
| ① 可复核算式 | KV cache 的 33 GB、视觉 token 的 576、动作分箱的 2150、、ECE 的分箱加权、 的反解 | 可以放心引用与手算；引用时带上假设（精度、层数、KV 头数、分箱精度） |
| ② 量级示意 | 对照表里的成功率、成本倍数、PPL 数值、MTBF 式的中断率 | 正文已标「示意 / 量级」，不得作为任何论文的实测值转引 |
| ③ 版本时点快照 | 上下文窗口规格（如「128K」）、API 定价、榜单名次与评测分数、模型版本与发布日期、某系统的延迟量级、「68 万小时」这类数据口径 | 必须标注核查时点与来源，且给出「token 还是字符」「单次还是均值」「P95 还是平均值」等口径 |
快照条目的引用格式（四条缺一不可）：① 核查日期（如「截至 2025-06 官方文档」）；② 来源（官方页面 / 系统卡 / 论文，凡正文标「无 arXiv」的一律指向官方页面，如 Sora 技术报告、o1 系统卡、MCP 规范，不编造编号）；③ 口径（token / 字符、输入 / 输出、单次 / 多次平均）；④ 条件（提示格式、采样次数、是否启用长思维链）。四项不齐，该数字只能当传闻。
另有一条本讲特有的提醒：「无 arXiv 编号」的条目不要自行补号。正文中 π0 一类条目标了「编号以官方页面为准」，Shumailov et al. 2024 一类标了「arXiv 编号需核实」——这些标注是有意保留的，不是疏漏。
四、本教程更正记录
| 位置 | 原表述 | 更正 | 说明 |
|---|---|---|---|
| 例 6.7.3 的配对检验 | 「18/27 …… （单尾），在 5% 水平上刚刚显著」 | 口径需写明： 对应未做连续性修正的正态近似（，单尾 ）；精确二项分布单尾为 、做连续性修正后约 | 方向不变（A 优于 B），但「刚刚显著」这一措辞依赖检验方法：按精确检验， 在 5% 水平上并不显著。本书的处理是保留正文数字并在此登记口径，配套练习见习题 B6（含 14/20 → 精确 vs 近似 的同类陷阱） |
| 例 6.4.2(c) 的注意力倍数 | 「比值约 15.1 倍」 | 按 口径复算 倍 | 差异 ，属四舍五入写法；登记于此是为了说明本讲的倍数都应连同假设（只看注意力矩阵规模、忽略常数项）一起引用 |
本讲目录下的讲末六页（summary.md / errata.md / exercises.md / checklist.md / recall-cards.md / mock-exam.md） | 曾为单行占位文件，构建后会渲染成空页 | 已补齐完整六页：节一览 + 一条主线 + 三句话带走 + 可复算数字清单；四节勘误与时效纪律；A/B/C/D 四组习题（C 组每题含可运行验收标准）；七条目标自检；四组回忆卡 + Anki 导出；100 分闭卷自测卷 + 评分标准 + 漏点定位表 | 占位页会让读者误以为「本讲没有练习与自测」。补齐后盒子配平自查输出「全部配平」，六页互引与对正文的引用均为相对路径（同讲 secNN.md、跨讲 ../lec07/…、跨层 ../../labs/lab3.md） |
待核实的开放条目（发现新差异时追加到本表，不要就地改动正文）：
| 位置 | 现象 | 待核实的问题 |
|---|---|---|
| 6.1.6 | 10 万 token 单会话的 KV cache「约 33 GB」 | 复算值 GB，未计分页 / 碎片 / 对齐开销；不同推理引擎的实际占用需实测 |
| 6.2.3 | 模型塌缩引用 Shumailov et al.（2024, Nature）「arXiv 编号需核实」 | 保持原样；引用时指向期刊页面 |
| 6.2.2 | 与「最优点漂移」 | 常数随架构、数据质量、目标函数（训练损失 / 总拥有成本 / 延迟）变化，不给点值 |
| 6.4.4 | Whisper「68 万小时」与全双工延迟「数百毫秒量级」 | 数据口径与延迟量级均随系统实现变化，引用时须给出具体系统的报告口径 |
| 6.5.4 | π0 的 arXiv 编号 | 正文标注「以官方页面为准」，引用前核对 |
| 6.6.6 / 6.7.1 | SWE-bench / WebArena / OSWorld / Arena Elo 等榜单的名次与分数 | 一律视为写作时点快照；分数会随版本与配置变化，引用时标注核查日期 |