Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

第 6 讲总结 · 新前沿

本页把导览与 6.1–6.7 压成一张可复习的骨架。用法：先只看「核心问题」列做自问，答不全再读「关键结论」列，最后回到「典型陷阱」列校核。 本讲是全书最容易过期的一讲：本页只保留可复算的量级与算式，凡涉及产品规格、定价、榜单名次的具体数字，一律按勘误页的时效纪律自行标注核查时点与来源。

节一览

节核心问题关键结论典型陷阱
6.1 大语言模型：从自监督预训练到对齐把 Transformer 放到极致地大、喂进海量文本，为什么能学出语言能力？预测下一个 token 的交叉熵字面上就是压缩码长（命题 6.1.1）；三段式流程各移动什么（方法 6.1.1）；KV cache 显存 =2BLnlayernkvdhb=2BLn_{\text{layer}}n_{\text{kv}}d_hb，10 万 token 单会话约 33 GB（定义 6.1.5）跨 tokenizer 比较 PPL；不 mask 指令损失；把「对齐顺带激发能力」当定论
6.2 缩放律与「能力涌现」规模变大，效果怎么变？「突变」是真的吗？幂律 + 不可约损失是经验拟合（定义 6.2.1）；C≈6NDC\approx6ND 与 D≈20ND\approx20N 是量级锚点；2020 / 2022 两次结论相反，差别在方法（方法 6.2.1）；涌现之争并列两方（6.2.4）把缩放律当物理定律背数字；把「涌现是度量假象」读成「规模无关紧要」
6.3 提示、思维链与推理模型不改参数，怎样用输入与推理期算力换准确率？天花板在哪？提示是条件化不是学习（定义 6.3.1）；CoT 用序列长度换串行计算深度，但未必忠实；p<0.5p\lt0.5 时投票劣于单链（0.317<0.40.317\lt0.4，例 6.3.2）；测试时计算三形态；RLVR 受可验证面限制（定义 6.3.6）以为提示能创造知识；把推理 token 数当「思考」的证据；以为奖励涨到 0.95 就能上线
6.4 多模态模型：让模型看图听声怎样把图像与声音接进语言模型？它会看错什么？CLIP 只对齐「整图—整句」，不建模细粒度关系（定义 6.4.1）；VLM 三段式里连接器便宜、视觉 token 贵（例 6.4.2：336² 图 = 576 token，连接器仅约 4.2 M 参数）；分辨率与压缩率是两个独立旋钮（方法 6.4.2）以为模型真的「看见」；把同一架构当统一表示；只报总分不做错误归因
6.5 具身智能与视觉—语言—动作模型语义理解怎样接到物理动作上？四重错配：输出空间 / 速度 / 时间尺度 / 错误代价（定义 6.5.1）；动作分块把 6.76.7 Hz 恢复到 5050 Hz（例 6.5.1）；离散 token 换语义迁移、连续生成换多峰动作（方法 6.5.3）以为 VLA 就是「接个机械臂」；以为仿真能替代真机数据；只报单个成功率
6.6 智能体与世界模型怎样让模型持续行动？它真的在「规划」吗？ReAct 的关键是 Observation 不由模型生成（定义 6.6.1）；schema 设计决定工具调用成败，不可逆操作必须隔离并确认（例 6.6.1）；同源反思放大偏差；rollout 受复合误差限制（单步 2% → 5 步 / 25 步，例 6.6.2）把框架当能力；以为反思能自我纠错；把生成视频当可靠仿真
6.7 评估、不确定性与可信部署怎么别被骗？怎样把分数变成可上线的决策？四类基准失效方向不同，选型至少覆盖三类（方法 6.7.1）；污染三路径且「无污染」无法被证明（定义 6.7.1）；配对比较比平均分差可靠（例 6.7.3）；模型系统性过度自信 → 弃答阈值是业务决策（例 6.7.4）；四道闸门（方法 6.7.4）用单榜第一名选型；把「没主动放测试集」当作无污染；按均值而非 P95 估成本；回滚只切模型不管提示与配置

一条主线：因为「好的概率预测 = 好的压缩 = 好的理解」把扩大规模变成一件值得下注的事（6.1），所以必须回答「参数与数据怎么配」——缩放律给出经验配比，也顺带暴露了「涌现」这类读法问题（6.2）；既然扩规模既有天花板又有争议，就转向不改参数的另一条路：提示与思维链，并把「多花推理算力」变成正式技术路线，但它的边界是可验证面（6.3）；同一套「用算力换质量」的思路向外长出能看图听声的多模态模型（6.4）、把符号接成动作的 VLA（6.5），以及会在环境里持续行动的智能体与在内部想象的世界模型（6.6）；而系统越贴近真实使用，评测与部署纪律就越成为决定成败的那一环（6.7）。

三句话带走

  1. 本讲的数字几乎都能自己复算，本讲的主张都必须带条件。 交叉熵就是压缩码长；D≈20ND\approx20N 只是某组拟合下的量级锚点；视觉 token 数随分辨率平方增长；动作分块把 6.76.7 Hz 恢复到 5050 Hz；单步 2% 的误差只够规划 5–25 步。把这些算式记牢，比背任何产品规格都耐用（勘误页第三节）。
  2. 三处争议必须并列两方、不站队：能力涌现是真突变还是度量假象（6.2.4）、视频模型算不算世界模拟器（6.6.8）、评测污染与刷榜（6.7.2）。要学的不只是两方说了什么，而是怎样的实验能分辨它们。
  3. 从「分数」到「决策」要过四道闸门：匹配性 → 污染 → 稳定性 → 可用性（方法 6.7.4）。任何「某模型更好」的主张，只要有一道过不去，它就只是一个待验证的观测。

可复算数字清单（背这些，别背产品规格）

数字 / 算式出处复算方式
交叉熵 == 压缩码长期望 =H(p)+DKL(p∥q)=H(p)+D_{\mathrm{KL}}(p\lVert q)命题 6.1.1换测度分解两步
PPL =eL=e^{\mathcal L}：L=0.693⇒PPL≈2\mathcal L=0.693\Rightarrow \mathrm{PPL}\approx2；重复片段让 2.0→1.332.0\to1.33例 6.1.1指数换算 + 加权平均
KV cache：2×1×105×80×8×128×2≈332\times1\times10^5\times80\times8\times128\times2\approx33 GB定义 6.1.5代公式，GQA 线性打折
C≈6NDC\approx6ND 与 D≈20ND\approx20N：C=2.4×1022⇒N≈14.1B, D≈283BC=2.4\times10^{22}\Rightarrow N\approx14.1\text{B},\ D\approx283\text{B}例 6.2.2C≈120N2C\approx120N^2 反解
Acc=pk\mathrm{Acc}=p^{k}：p:0.4→0.8p:0.4\to0.8，k=1k=1 平缓、k=8k=8 从 0.0039→0.1680.0039\to0.1686.2.4逐点取幂
自洽性：p=0.4,k=5⇒0.317<0.4p=0.4,k=5\Rightarrow0.317\lt0.4；p=0.6⇒0.683p=0.6\Rightarrow0.683；含 30% 共同错误 ⇒0.478\Rightarrow0.478例 6.3.2二项式求和
视觉 token：336² → 576、672² → 2304、1008² → 5184；连接器 1024×4096≈4.21024\times4096\approx4.2 M例 6.4.2(H/14)(W/14)(H/14)(W/14)
动作分箱：3×500+3×200+50=21503\times500+3\times200+50=2150 个新 token；H=16H=16 → 128 个动作 token例 6.5.2分箱数与序列长度分开算
复合误差：ϵ=0.02\epsilon=0.02 → 线性 5 步 / 平方根 25 步；ϵ=0.005\epsilon=0.005 → 20 步 / 400 步例 6.6.2eH=ϵHe_H=\epsilon H 与 eH=ϵHe_H=\epsilon\sqrt H
ECE =0.085=0.085（三箱加权）；τ=0.9\tau=0.9：覆盖 30%、错误 10%例 6.7.4分箱偏差加权

与后续的连接

  • 第 7 讲接着本讲的「后果」往下走：本讲的 Goodhart 结构（奖励上升质量下降、评测被优化、验证器被钻空子）会以「对齐的限度」重现；本讲的工具输出与提示注入（6.6.3 的信任边界）是安全议题的直接入口；本讲的弃答与校准（6.7.4）是「可信」在工程层面的最小可操作形态。
  • 第 9 讲接住本讲的算力侧：长上下文、长思维链与大规模 rollout 全部落在并行与显存约束里——本讲讲「能做什么」，第 7 讲管「该不该、稳不稳」，第 9 讲解决「怎么让它跑得动」。
  • Lab 与项目：本讲的落地入口是 Lab 3 · 微调一个大语言模型（预训练 + 后训练的最小工程化身，记录分词器 / SFT 数据分布 / 评估协议三项）；Lab 1 · 音乐生成 是「下一个 token 预测」的最小版本；Lab 2 · 人脸检测系统 的检测模型可以当作工具接进 6.6 的 function calling 框架。期末项目方向与四个低成本选题见导览页，落笔前先把评价函数写清楚（6.7.6）。
  • 复习链：习题集（A/B/C/D）→ 闭卷回忆卡（当天 / 隔天 / 第 3 天 / 第 7 天）→ 综合自测卷（闭卷计时，100 分制）→ 学习目标自检表；压缩与辨析用速查背记卡、公式与结论卡、易混对照卡，口头输出练习用竞技场。