6.4 多模态模型：让模型看图听声

6.1–6.3的模型活在离散 token 里：文字与符号被分词器切成整数序列，一切都在同一个自回归目标下解决。但世界不是文本——图像是连续的像素场，声音是连续的波形。多模态要解决的就是这个接口问题。

第 3 讲已经从视觉一侧讲过 CLIP 式对齐与「视觉基础模型」，本节从语言模型一侧接上：怎样把一个已经很强的语言模型扩展成会看图、会听声的系统，以及这样做会在哪里出问题。四节内容分别是：对齐两条空间的 CLIP（6.4.1）、把视觉接进 LLM 的三段式训练（6.4.2）、视觉 token 与分辨率的工程账（6.4.3）；最后两节处理另外两个模态与一个贯穿性问题——语音与音频大模型（6.4.4）、扩散语言模型（6.4.5），以及多模态幻觉与评测难点（6.4.6）。

6.4.1 CLIP：把图像与文本压进同一个空间

定义 6.4.1 · 对比式视觉—语言预训练（CLIP 风格）

用图像编码器 $f$ 与文本编码器 $g$ 把一批配对的 $(v_i,t_i)$ 映射到同一空间，得到 $\boldsymbol u_i=f(v_i)$ 、 $\boldsymbol w_i=g(t_i)$ （通常做 L2 归一化）。用 InfoNCE 式对比损失，对每个样本把「配对」当正例、批内其他文本当负例：

$\mathcal L_{i\to t}=-\log\frac{\exp\bigl(\mathrm{sim}(\boldsymbol u_i,\boldsymbol w_i)/\tau\bigr)}{\sum_{j=1}^{B}\exp\bigl(\mathrm{sim}(\boldsymbol u_i,\boldsymbol w_j)/\tau\bigr)},\qquad \mathrm{sim}(\boldsymbol a,\boldsymbol b)=\frac{\boldsymbol a^{\mathrm T}\boldsymbol b}{\lVert\boldsymbol a\rVert\,\lVert\boldsymbol b\rVert},$

再对称地做一遍 $t\to i$ （即「文本找图像」方向），两者相加并除以 2。 $\tau$ 是可学习温度，控制分布的尖锐程度。

对齐之后，分类可做成「把类别名当文本查询」的零样本匹配：对图像 $\boldsymbol u$ 与类别提示 $\boldsymbol w_1,\dots,\boldsymbol w_C$ ，取 $\arg\max_c \mathrm{sim}(\boldsymbol u,\boldsymbol w_c)$ 。

对比学习到底在优化什么

把 $B$ 个配对排成 $B\times B$ 的相似度矩阵，对角线是正例，其余全是负例。训练的实质是：把对角线推高、把非对角线压低。因此每一个 batch 都在向模型提出同一类问题——「在这张图和这一堆描述里，哪一句是对的？」

这解释了它的两个性质。其一，批大小是关键算力： $B$ 越大，负例越多，任务越难，表征越好（这也让「有效批大小」成为这类方法的核心工程问题，可用负例缓存与跨卡交换来扩大）。其二，它只对齐「整体语义相似」，不建模细粒度对应：一句「狗在左边的草地上」与「狗在右边的草地上」在整句相似度上几乎一样，所以 CLIP 对空间关系、计数、否定词天然不敏感——这条短板的后果会在 6.4.6 的幻觉讨论里再次出现。

例 6.4.1 · 手算一个

3\times3

批次的对比损失

设 $B=3$ ，相似度矩阵（已乘过 $1/\tau$ ，取 $\tau=1$ 简化）为

$S=\begin{pmatrix}0.9 & 0.1 & 0.2\\ 0.3 & 0.8 & 0.4\\ 0.1 & 0.2 & 0.7\end{pmatrix},$

其中行是图像、列是文本，对角线为配对。

(a) 计算 $i\to t$ 方向的损失 $\mathcal L_{i\to t}$ ； (b) 计算对称方向的 $\mathcal L_{t\to i}$ 与总损失； (c) 若把温度调到 $\tau=0.1$ （即上面矩阵整体除以 $0.1$ ），总损失如何变化？说明它的含义。

解

(a) 逐行做 softmax 后取对角线项。

第 1 行： $\exp(0.9)=2.4596,\ \exp(0.1)=1.1052,\ \exp(0.2)=1.2214$ ，和 $=4.7862$ ，故 $p_{11}=0.5139$ ，贡献 $-\log 0.5139=0.6658$ 。第 2 行： $\exp(0.3)=1.3499,\ \exp(0.8)=2.2255,\ \exp(0.4)=1.4918$ ，和 $=5.0672$ ，故 $p_{22}=0.4392$ ，贡献 $0.8226$ 。第 3 行： $\exp(0.1)=1.1052,\ \exp(0.2)=1.2214,\ \exp(0.7)=2.0138$ ，和 $=4.3404$ ，故 $p_{33}=0.4639$ ，贡献 $0.7682$ 。

$\mathcal L_{i\to t}=\frac{0.6658+0.8226+0.7682}{3}\approx0.7522 .$

(b) 转置方向按列做 softmax（文本找图像）。

第 1 列： $1.1052+1.3499+1.1052$ 对应 $\exp(0.1)$ 与 $\exp(0.3)$ 、 $\exp(0.1)$ → 这里直接用原矩阵第 1 列为 $0.9,0.3,0.1$ ， $\exp$ 值 $2.4596,1.3499,1.1052$ ，和 $4.9147$ ， $p_{11}=0.5005$ ，贡献 $0.6920$ 。第 2 列： $0.1,0.8,0.2\Rightarrow 1.1052,2.2255,1.2214$ ，和 $4.5521$ ， $p_{22}=0.4888$ ，贡献 $0.7158$ 。第 3 列： $0.2,0.4,0.7\Rightarrow 1.2214,1.4918,2.0138$ ，和 $4.7270$ ， $p_{33}=0.4260$ ，贡献 $0.8533$ 。

$\mathcal L_{t\to i}=\frac{0.6920+0.7158+0.8533}{3}\approx0.7537,\qquad \mathcal L=\frac{0.7522+0.7537}{2}\approx0.753 .$

（注意两个方向恰好接近，是因为该矩阵近似对称；一般情形两者不等——两者的和等价于把「图文匹配」与「图找文」两个任务都算一遍。）

(c) 若 $S\gets S/\tau=S/0.1$ ，则各行的相对差距被放大约 10 倍，softmax 变得极尖锐：第 1 行 $p_{11}\to e^{9}/(e^{9}+e^{1}+e^{2})\approx0.9993$ ，损失 $\to0.0007$ 。

含义： $\tau\downarrow$ 让「正例是否排第一」几乎变成 0/1 判决，损失迅速趋近 0。若不设下限，模型会把温度调到最小来「白拿」低损失——因此实际实现中温度常被设上限 / 下限约束或用固定值。这揭示了一个重要观察：对比损失的绝对值高度依赖 $\tau$ ，跨模型比较损失数值必须在相同 $\tau$ 下进行；有意义的比较对象是检索准确率（如 Recall@K）这类下游指标。 $\blacksquare$

∎

关于 CLIP 式对齐的四条常见误解

「CLIP 会理解图像」：它对齐的是整句—整图的相似度，不生成描述、不做定位、不建模空间关系。把它当成「视觉理解模型」会严重高估。
「零样本分类说明它很通用」：零样本分类的提示词措辞（prompt engineering）会显著影响准确率——这本身就是「分类靠的是文本分布的匹配」的证据，而不是「模型理解了类别」。
「对比学习得到的 embedding 可以随便组合」：图文相似度是对齐过的方向，图像—图像、文本—文本也可用，但跨模态相减/加权不保证有语义（那是表示空间几何问题，需要单独验证）。
「CLIP 是唯一的视觉编码器选择」：它是其中一类；有大量工作改用更强的视觉骨干、自监督预训练表征或更高分辨率方案（如 SigLIP 一类用 sigmoid 损失替代 softmax 的方案），选型应看下游任务而非习惯。

6.4.2 VLM 的三段式训练范式

CLIP 解决的是表示对齐。要让模型「看着图回答问题」，需要把一个视觉编码器接到一个语言模型上——这就是 VLM（vision-language model）。

定义 6.4.2 · 视觉—语言模型（VLM）与连接器

VLM 的基本结构是「视觉编码器 → 连接器 → 语言模型」：

$\text{图像 } v\ \xrightarrow{\ \text{视觉编码器}\ }\ \{z_1,\dots,z_{N_v}\}\ \xrightarrow{\ \text{连接器（投影）}\ }\ \{\tilde z_1,\dots,\tilde z_{N_v}\}\ \text{拼进文本 token 序列}\ \xrightarrow{\ \text{LLM}\ }\ y .$

连接器（connector / projector）是视觉 token 与文本 token 之间的适配层，常见两类：轻量 MLP 投影，或在编码器与 LLM 之间插入一组可学习查询的 Q-Former 式重采样器（把 $N_v$ 个视觉 token 压缩成少量 token）。

VLM 的三段式训练范式（工业配方）

早期是两阶段，2024 年前后收敛为事实上的三阶段：

阶段	训练什么	数据	目标	输出能力
① 对齐预训练（alignment）	只训连接器，冻结视觉编码器与 LLM	大规模图文对（从 CLIP 式数据到描述性字幕）	让视觉 token 落到 LLM 的输入分布里	「看得懂」的基础映射
② 多任务 / 指令微调（instruction tuning）	通常解冻全部或大部分参数（视觉编码器常部分解冻或加 LoRA）	视觉问答、OCR、检测式问答、文档理解、数学图表等混合指令数据	教「按指令用视觉信息完成任务」	会答题、会读文档、会按格式输出
③ 偏好对齐（preference tuning）	策略微调（DPO 类）	同一图问的多答案偏好对	减少幻觉、改善格式与语气	更少编造、更贴近使用偏好

关键点：阶段 ① 冻结 LLM 而只训连接器，是因为连接器的参数量极小（往往不到总参数的 1%），能在有限算力下完成「翻译」；一旦进入阶段 ②，需要的是指令数据的多样性而非连接器容量（与 6.1.5 的「广度优先」同理）。

为什么「先只训连接器」这一步是对的

把问题拆开看：视觉编码器已经会说「视觉语」，LLM 已经会说「文本语」，中间缺的是一个翻译器。

如果一上来就同时解冻全部参数，会出现两个麻烦：① 视觉编码器在小规模数据上被灾难性遗忘（它原本的通用视觉表征被特定任务覆盖）；② LLM 会在视觉 token 分布还很陌生时开始胡乱建立关联，形成难以纠正的错误模式。先冻结两端、只训翻译器，等于先把这个中间层调到一个合理的起点，再联合微调——这与第 3 讲的「先预训练再微调」是同一个先粗后细的节奏。

代价也要说清：阶段 ① 的上限受连接器容量限制，而它只是一个 MLP 或一组查询向量。真正带来细粒度能力的是阶段 ② 的数据与解冻策略。

例 6.4.2 · VLM 的形状与 token 预算推演

某 VLM：视觉编码器把 $H\times W=336\times336$ 的图像切成 $14\times14$ 的 patch，输出 $N_v$ 个 token，每 token 维度 $d_v=1024$ ；连接器把 $d_v$ 投影到 LLM 的 $d=4096$ ；LLM 上下文含 200 个文本 token。

(a) 求 $N_v$ ；(b) 求连接器（单层线性）的参数量；(c) 求总序列长度 $L$ 与注意力计算量相对纯文本的增长倍数（用 $L^2$ 粗略比较）。

解

(a) patch 数 $=\dfrac{H}{14}\times\dfrac{W}{14}=\dfrac{336}{14}\times\dfrac{336}{14}=24\times24=576$ 。故 $N_v=576$ （若用 CLS token 另计 1 个）。

(b) 单层线性投影参数量 $=d_v\times d=1024\times4096=4{,}194{,}304$ （约 4.19 M），加偏置 $4096$ ，合计约 $4.198$ M。对比：一个 7B 语言模型的 0.06% 量级——这正是「连接器极小」的量化体现。

(c) 总长度 $L=576+200=776$ 。若只看注意力矩阵规模， $L^2=776^2=602{,}176$ ，而纯文本为 $200^2=40{,}000$ ，比值约 15.1 倍。

读法：一张 336×336 的图就吃掉 576 个 token，是文本提示的 2.9 倍——而 336×336 在现代要求下相当低清。如果要把图像分辨率提到 $1008\times1008$ （3 倍边长）， $N_v=72\times72=5184$ ，仅一张图就超过多数上下文窗口的历史配额。

分辨率	patch 网格	$N_v$	相对 336² 的倍数
$336\times336$	$24\times24$	576	1.0×
$672\times672$	$48\times48$	2304	4.0×
$1008\times1008$	$72\times72$	5184	9.0×
$2016\times2016$	$144\times144$	20736	36.0×

这解释了为什么视觉 token 的压缩与分辨率处理是 VLM 最实际的工程战场（6.4.3）。(b) 与 (c) 的对比还给出一个重要直觉：连接器便宜，token 贵。把预算花在「减少 token 数而不丢信息」上，比加宽连接器更划算。 $\blacksquare$

∎

6.4.3 视觉 token 与分辨率处理

上一例子给出了核心矛盾：分辨率越高，模型看得越细，但 token 数量平方增长。这一小节讲工程上的四种应对。

分辨率与视觉 token 的四类处理手段

手段	做法	换来的	代价
固定分辨率 + 缩放	一律缩到 $336^2$ 一类固定尺寸	简单、可批处理、token 数固定	小字与细纹理丢失（文档、图表场景致命）
动态分辨率 / 切片（tiling / any-resolution）	按原图长宽比切成若干「子图 + 一张缩略全图」，各自编码后拼接	保留细粒度，同时保留全局布局	token 数随子图数线性增长；需处理跨片上下文
视觉 token 压缩 / 重采样	用 Q-Former 式查询、池化、或 learned token 归并，把 $N_v$ 压到常数	长视频、多图对话可行	压缩是有损的，细节任务受损
视觉侧的 token 合并 / 剪枝	在高分辨率特征图上按相似度合并相邻 patch（token merging 一类）	在保持分辨率的同时减 token	实现复杂；合并策略对密集预测任务敏感

「分辨率 × 压缩率」是一组必须显式选择的旋钮

把 VLM 的输入预算是两个独立旋钮：

分辨率决定看得到多细（能不能读出小字、认出远处的物体）；
token 压缩率决定细粒度信息能带进 LLM 多少（编码器看清楚了，但压缩时扔掉，等于没看清）。

因此「换个更强的编码器」不一定提升 VLM——如果压缩率太高，编码器的细节能力传不过去。这解释了一个常见的工程现象：在 OCR 类任务上，把分辨率提高或改用切片，往往比换更大的 LLM 更有效。先找到瓶颈在哪一侧（编码器看不清 vs 看清了但没传进去），再决定改哪一端。

例 6.4.3 · 文档问答场景的分辨率选型（对照表分析）

场景：一份 A4 扫描件（约 $2480\times3508$ 像素）上的表格问答。可选方案（token 数按 patch 边长 14 估算，示意）：

方案	处理	视觉 token	表格文字可读性	说明
P1	整体缩放到 $336^2$	576	极差	相当于把 A4 压到约 3 DPI 宽度的字符尺寸
P2	整体缩放到 $1008^2$	5184	中等	小字仍可能糊
P3	切成 $3\times3=9$ 片 + 1 张缩略图	$9\times576+576=5760$	好	每片约 $827\times1169$ ，缩到 336 后字符高度足够
P4	切成 $4\times4=16$ 片 + 缩略图	$16\times576+576=9792$	很好	token 成本翻倍

(a) 为什么 P1 在这个场景必然失败？(b) P3 与 P2 的 token 数相近（5760 vs 5184），为什么 P3 明显更好？(c) 给出选型判据。

解

(a) P1 把 $2480\times3508$ 压到 $336\times336$ ，线性缩放因子约 $\frac{336}{3508}\approx0.096$ ，即原图上的 10 像素高的字符变成约 1 像素高。信息在进入编码器之前就已经丢失，任何后续模型都无法恢复。这属于「瓶颈在输入侧」的典型失败。

(b) 先算每 patch 覆盖的原图像素数（它决定有效分辨率）：

P2：图像高度 $3508$ 被分成 $1008/14=72$ 个 patch，每个 patch 覆盖 $3508/72\approx48.7$ 原像素高度；
P3：每片高度约 $3508/3\approx1169$ ，缩放后 $336$ 高、 $336/14=24$ 个 patch，每个 patch 覆盖 $1169/24\approx48.7$ 原像素高度。

两者相同。 这不是巧合：只要「patch 总数 ≈ 原图像素边长 / patch 边长」在两种方案下接近，有效分辨率就接近。所以 P3 的优势不在有效分辨率，而在另外三处特征：

它额外提供一张缩略全图，让模型同时掌握全局版面与跨栏、跨页结构——P2 的 $1008^2$ 在提供细粒度时丢掉了全局视图（缩到 336 才能给全图）；
支持任意长宽比：超宽表格或超长页面切片时不会被压扁（P2 的方形缩放会扭曲长宽比）；
token 预算可分配：可以只对相关区域提高切片密度，把预算花在需要的地方——这是 P4 或「先定位再精读」策略的基础。

要点：分片并不自动提高分辨率。分片买的是「全局 + 局部并存」和「分辨率可分配」这两件事，不是像素效率——后者由每 patch 覆盖的原图像素数决定，必须在选型时算清楚。

(c) 选型判据：

判断	结论
任务需要读细小文字（OCR / 表格 / 图表数值）	必须算清字符等效像素高度：原图字符高度 × 缩放因子 ≳ 若干像素才可靠（阈值依编码器与 patch 大小而变，需实测）
需要同时掌握局部细节 + 全局布局	切片 + 缩略图的组合优于等分辨率的整图（P3 优于 P2）
上下文紧张、页数多	先用 P3 验证准确率；不达标再上 P4，或改用「先定位相关区域、再高分辨率重看那块」的两步策略
目标是「整页问答」而非精读	P2 可能已经够用，省下的 token 留给多轮对话

通用方法：这类选型不要凭感觉，做法是固定模型，只变分辨率与切片策略，在自建的小测集上画「token 成本—准确率」曲线，取拐点。这条曲线通常呈现「先陡升后平台」，而平台起点就是你的最优分辨率。 $\blacksquare$

∎

6.4.4 语音与音频大模型

定义 6.4.3 · 语音/音频大模型的两条基本形态

形态一：序列到序列的语音任务模型。输入音频的时频特征（如 log-Mel 谱），输出文本 token，用同一个多任务目标训练转写、翻译、语言识别、时间戳标注等任务。代表：Whisper 式做法（同一模型用任务 token 前缀区分任务，不做模态拼接）。

形态二：把音频离散成 token 的音频语言模型。用神经音频编解码器（neural audio codec）把波形压成离散码（常是多码本 / 分层的残差量化码），把码当成一种「音频词表」，与文本 token 一起交给自回归模型；生成时先产生音频码，再由解码器还原波形。代表：AudioLM / AudioPaLM 一路，以及面向全双工对话的 Moshi 一类系统。

Whisper 的规模效应说明了什么

Whisper 最值得教材记录的结论不是架构，而是弱监督数据的规模效应：用数十万小时（报告口径为 68 万小时）未经精细筛选的多语言网络音频配上（往往不完美的）字幕做训练，在零样本迁移到多个数据集时表现出很强的鲁棒性——尤其是对口音、噪声、专业词汇这类在传统精标数据集里覆盖不足的情形。

它给出的工程教训是：在数据层面，「海量弱监督 + 足够大的模型」可以超过「少量精标 + 精细技巧」。这与 6.1.4 的语言模型数据讨论同构，也与 6.2 的缩放律呼应——只是这里把「数据质量」换成了「数据规模与多样性」，代价是训练成本与（字幕噪声带来的）准确性上限。

注意边界：这种鲁棒性不是无条件的。低资源语言、强方言、专业领域术语上，弱监督数据本身的覆盖不足会直接反映为错误率上升；「68 万小时」里各语言的分布是高度不均衡的。

两条形态的工程对照

维度	序列到序列语音模型（Whisper 式）	音频 token + LM（AudioLM / Moshi 式）
输出	文本（转写/翻译/时间戳）	音频本身（可对话、可续写声音）
延迟	通常需要分段处理，延迟与段长相关	面向流式 / 全双工设计，延迟可压到数百毫秒量级（依实现）
架构关键	编码器 + 解码器 + 任务 token	音频编解码器 + 分层码本 + 自回归（或双流）LM
训练目标	多任务序列到序列	下一音频 token 预测（可联合文本 token）
主要难点	长音频分块、时间戳对齐、字幕噪声	码本层级建模、生成质量、如何与文本共享上下文
评价指标	词错误率（WER）、翻译 BLEU 类	主观听感、会话延迟、语义连贯性（缺乏公认单一指标）

为什么「全双工」是硬指标而不是营销词

人对话时是同时听与说的：可以被打断，也可以在对方说话时发出「嗯」这类反馈。传统语音助手是「按下 → 说 → 等 → 听」的串行流程，其本质缺陷不是延迟数字，而是它无法接收打断——一旦开始播放就停止聆听。

全双工系统要求模型维护两条并发流（输入音频流 + 输出音频流）并对打断做出响应。工程上这直接影响架构选择：需要流式编解码、低延迟调度、以及「何时该说、何时该停」的策略建模。这也是为什么很多系统把「延迟」与「可打断」作为并列的核心指标。（具体延迟量级依实现差异很大，引用时须给出具体系统的报告口径。）

6.4.5 扩散语言模型：文本上的另一种生成方式

到目前为止，本讲所有文本生成都是自回归的：从左到右逐 token。但生成建模的第 4 讲已经给了另一条路线——扩散。它在图像上取代了自回归，那能不能用在文本上？

定义 6.4.4 · 扩散（掩码）语言模型

把文本生成写成离散去噪：给定长度 $L$ 的序列，用一个加噪过程把 token 逐渐替换为掩码/噪声（类似图像扩散里的加噪），再训练一个网络预测被污染的 token（或预测噪声），生成时从全掩码序列出发迭代去噪：

$x^{(T)}\ \text{（全掩码）}\ \xrightarrow{\ \text{去噪一步}\ }\ x^{(T-1)}\ \to\ \cdots\ \to\ x^{(0)}\ \text{（文本）}.$

关键性质：每一步可以对多个位置同时更新（并行解码），这与自回归的严格从左到右不同；同时模型可以双向利用上下文（看到整个当前序列，而非只有左侧）。代表路线：Diffusion-LM 一类早期连续/离散混合方案、SEDD 一类离散扩散，以及把全部 token 做掩码去噪的 LLaDA 式大规模掩码扩散语言模型。

为什么这条路线有吸引力，也有硬骨头

吸引力（三个）：

并行解码 → 理论上可以用更少的串行步数生成同样长度的文本（自回归必须 $L$ 步，扩散可以 $T$ 步且 $T$ 与 $L$ 解耦）；
双向建模 → 填充、改写、续写、约束满足（如「必须包含某个词」）这类任务天然适配，因为它不假设「只能看左边」；
与图像/视频生成统一 → 同一套「扩散/流匹配」的工程栈可以覆盖多模态。

硬骨头（三个）：

离散空间没有梯度通道。图像扩散在连续空间用高斯噪声，文本是离散的，必须用掩码 / 转移矩阵 / 连续松弛中的一种，各自的统计性质与训练稳定性都更难应对。
去噪步数与质量不是免费互换。步数太少质量骤降，步数太多就失去「比自回归快」的优势；而且自回归有一项天然优势：它每一步都保证已生成部分是完全合法的前缀。
当下生态不成熟。自回归的 KV cache、批处理、投机解码等整个推理工程栈是围绕它建的；扩散语言模型要重新做一整套优化，且在「长文生成质量」与「可控性」上的公开证据仍在积累。

结论性表述：这条路线在 2025 年前后出现了可用的 8B 级模型，是值得关注的方向；但把它写成「已经取代自回归」是超出证据的说法。

关于多模态建模的四条常见误解

「多模态模型真的『看见』了」：它对齐的是表示，可能大量依赖文本先验与共现统计。在细粒度空间关系、计数、小字、罕见组合上常出错——「能对着一张图聊得头头是道」不等于「真的看清了那张图」。
「用同一套架构训练 = 学到了统一表示」：视觉 token 与文本 token 是否在内部被同等、同质地处理，还是仍然拼接、仍以文本为主干，尚存争议。看到「统一多模态」这类表述时，值得追问它统一到的是接口还是表示。
「模态越多越强」：每个模态都带来新的失败模式（视觉幻觉、音频误听），而评测往往只覆盖其中一个。多模态系统的整体可靠性取决于最弱的那条链。
「Whisper 式的成功可以照搬到所有模态」：规模效应依赖「海量弱标注数据确实存在」。若某模态没有这种数据可得性（例如高质量的触觉、雷达、医学影像），缩放故事不成立——数据可得性决定路线选择。

6.4.6 多模态幻觉与评测难点

定义 6.4.5 · 多模态幻觉（multimodal hallucination）

模型在给定图像（或音频）的条件下，生成图像中不存在的内容或与图像矛盾的描述。常见形态可粗分为：

物体幻觉：描述了图中没有的物体（「桌上有一个杯子」——实际没有）；
属性 / 计数错误：颜色、数量、位置出错；
关系幻觉：物体间空间关系的错误（左右、上下、前后）；
文本幻觉：把图中的文字「读」成了形似的其他字（OCR 场景最常见，且最有实际危害）。

判别边界：需要区分「模型中没看到」与「模型看到了但说错」——人类评测常常无法从输出反推内部状态（这与 6.3.2 的 CoT 忠实性问题同源）。

幻觉的四个可解释来源

语言先验压过视觉证据。模型在语言上训练得极强，于是「合理的句子」比「图中真实的细节」更容易被生成。例 6.4.1 已经解释了 CLIP 式对齐不建模细粒度关系，这个短板会一路传下来。
分辨率与 token 压缩的信息损失（6.4.3）：看不清或没传进去的信息，模型只会用先验补——补出来的就是幻觉。
训练数据的偏差结构：网络图文对里的描述通常是简短且聚焦主体的，很少描述背景细节。因此模型对「主体」较准、对「背景与周边」极易编造。
解码目标：模型优化「像不像真话」而非「是不是真话」（6.1.1 的压缩视角），流畅的错误描述恰好满足目标。

对策方向（都不是银弹）：给出可核验的输出格式（先列观测到的清单再推理）、要求引用区域（坐标 / 边界框）、多分辨率复核（先全局定位再高分辨率重看）、引入外部验证器、以及允许弃答（6.7.4）。

多模态评测为什么比语言评测难三件事

参照物不可穷尽。「描述这张图」的正确输出有无穷多个，用单一参考答案打分会系统性惩罚正确但风格不同的输出（这就是 6.7.1 里 LLM-as-judge 被广泛使用的直接原因，也是它偏差的来源）。
能力是耦合的。一个视觉问答错误可能源于感知、语言推理、格式遵循或知识缺口——错误归因困难。这让「模型 A 比 B 强」的结论难以定位到具体组件，也难指导改进。
训练集与评测集高度纠缠。网络图文数据与常见视觉问答基准在分布上重叠严重，污染风险更高，而且难以用「答案去重」的方式检测（题目与图片都可能重复出现）。相关做法与限制见 6.7.2。

例 6.4.4 · 设计一个能定位失败原因的多模态小测集

要求：为一个文档问答 VLM 设计 6 类探针（每类 40 题），使得错误能归因到具体环节而非笼统地说「模型不行」。

解

设计原则：让每类探针只变一个变量（与 6.2.4 里「控制变量判据」的思维方式一致）。

探针	构造方式	变动的变量	失败指向
T1 单字符识别	高分辨率截图，问页面上一个孤立的大号字符	感知下限（分辨率是否够）	若失败 → 输入侧分辨率不足
T2 小字识别	同一页面上最小的正文字号，问其中一句	分辨率需求	若 T1 过而 T2 败 → 压缩/分辨率不足
T3 表格数值	表格中一个具体单元格的数值	结构化布局理解	若 T1/T2 过而 T3 败 → 版面与对齐建模弱
T4 跨页推理	需要结合第 3 页与第 7 页的信息才能回答	长上下文整合	若单页类全过而 T4 败 → 长上下文/检索问题（6.1.6）
T5 反事实陷阱	问一个图中明确不存在的要素（「第 2 节的作者是谁？」——该页无此节）	弃答能力	若编造 → 幻觉倾向（6.7.4）
T6 格式遵循	要求以固定 JSON schema 输出多个字段	指令遵循	内容对而格式错 → 输出控制问题，与视觉无关

报告方式：不报单一总分，而是报六类分项 + 归因链。这样改进方向就明确了：T1/T2 失败改分辨率与切片策略（6.4.3）；T3 失败改数据与编码器；T4 失败改检索或上下文策略；T5 失败加弃答训练与验证；T6 失败纯调格式约束。

必须同时记录的控制项（否则结论不可用）：同一版本的模型与推理参数、是否用了温度采样、提示模板、以及每次评测重复 3 次以上取均值与方差（6.7.3 会说明为什么单次评测分数不可信）。 $\blacksquare$

∎

即时自测 · 6.4

Q1 写出 CLIP 式对比损失的单向形式，并说明批大小为什么是这类方法的「核心算力」。

Q2 VLM 三段式训练里，第一阶段为什么要冻结LLM 和视觉编码器？

Q3 一张 $672\times672$ 的图像用 $14\times14$ 的 patch 编码，会占用多少视觉 token？如果上下文预算只有 2000 token，你有哪些手段解决？

Q4 「Whisper 的成功来自给音频也做了 tokenization」这句话对吗？为什么？

Q5 给出两条可在不重训模型的前提下降低多模态幻觉的具体手段。

Q6 为什么多模态评测中「错误归因」比「准确率数字」更重要？

参考要点

Q1 $\mathcal L_{i\to t}=-\log\dfrac{\exp(\mathrm{sim}(\boldsymbol u_i,\boldsymbol w_i)/\tau)}{\sum_{j=1}^{B}\exp(\mathrm{sim}(\boldsymbol u_i,\boldsymbol w_j)/\tau)}$ （再对称做 $t\to i$ 求平均）。批大小 $B$ 决定负例数量： $B$ 越大，任务越难、表征越好（可用负例缓存、跨卡交换扩大有效批）。因此它是这类方法的核心算力开销。

Q2 因为两端的表征各自已经训练良好，缺的只是中间的「翻译层」（连接器）。若一开始就联合训练：① 视觉编码器会被小规模数据覆盖（灾难性遗忘）；② LLM 会在视觉 token 分布尚未对齐时建立错误的跨模态关联。先只训连接器，相当于给联合微调一个合理起点。代价是阶段 ① 的上限受连接器容量限制。

Q3 $\dfrac{672}{14}\times\dfrac{672}{14}=48\times48=2304$ 个 token——已经超出 2000 的预算。手段：① 降低分辨率或只用缩略图（可能牺牲细节）；② 用连接器重采样 / token 压缩（如查询式重采样）把 $N_v$ 压到常数；③ 视觉侧 token 合并/剪枝；④ 切片策略只保留与问题相关的区域（先定位再高分辨率重看）；⑤ 若编码器支持，用更大的 patch 或者池化层减少 token 数。需要实测「token 成本—准确率」曲线选拐点。

Q4 不完全对，甚至方向反了。Whisper 属于序列到序列的语音任务模型（输入 audio 特征 → 输出文本 token），不是「把音频变成 token 再交给语言模型」那条路线；它的核心结论是海量弱监督数据的规模效应带来鲁棒性（口音、噪声、专业词汇），并存在明确的边界（低资源语言、强方言、专业术语上覆盖不足）。音频 token 化的路线是 AudioLM / AudioPaLM / Moshi 那一支（形态二）。

Q5 任意两条即可：① 要求可核验的输出形式（先列出「我在图中观测到的元素」清单，再基于清单作答；或要求给出区域/坐标）；② 多分辨率复核（先全局定位相关区域，再高分辨率重看该区域后作答）；③ 提供弃答出口并显式允许「图中没有该信息」；④ 加外部验证器（OCR 用独立 OCR 交叉核对、数值用计算器核对）；⑤ 用偏好对齐数据专攻幻觉（把幻觉答案标为差、如实回答标为好）。

Q6 因为多模态错误可能来自完全不同的环节：输入分辨率不足、编码器看不清、连接器丢失信息、LLM 忽略视觉证据、格式控制失败。只有一个总分无法指导改进（甚至会把问题归咎于错误的一端）。归因带来的价值是：能直接指向要改的组件，也避免了「换个更大的模型」这种昂贵而无效的尝试。

Keyboard shortcuts