模型状态 = 参数 + 梯度 + 优化器状态 + 主权重，$\propto N$、与批大小无关、训练全程常驻（处方：ZeRO/FSDP 分片、8-bit 优化器、CPU offload、降精度）（定义 9.1.1）；激活 = 前向中间张量，$\propto B_{\text{micro}}T L$、用完即释放（处方：梯度累积 / 减小 micro-batch、激活重计算、序列并行）。两者手段不可互换——分片对激活无效。（✓ / △ / ×）

显存墙：$M_{\text{state}}+M_{\text{act}}+M_{\text{comm}}\gt M_{\text{cap}}$，症状 OOM / 被迫缩批 → 分片、切层、省（定义 9.1.2）；算力墙：单步时间远大于 $C/F$ 且 GPU 利用率高 → 提吞吐（FP8、更大批）；通信墙：$t_{\text{comm}}\approx t_{\text{compute}}$，症状是利用率忽高忽低、扩展效率随卡数下降 → 重叠、换拓扑、降并行度。三者联动：为了绕开显存墙而切分，立刻制造通信墙。（✓ / △ / ×）

$S=t_1/t_k$，$E=S/k$（$t_k$ 是同样全局批下 $k$ 卡的耗时）；$E=0.5$ 意味着「一半的卡在等通信或空转」（定义 9.1.3）。卡数翻倍而每卡吞吐减半时，总吞吐没变、成本翻倍——所以看 $E$ 且必须同全局批比较。（✓ / △ / ×）

① 每卡用自己的数据分片前向 + 反向得局部梯度 $\boldsymbol g_i$；② All-Reduce 求跨卡平均 $\bar{\boldsymbol g}=\frac1k\sum_i\boldsymbol g_i$；③ 每卡用同一个 $\bar{\boldsymbol g}$ 更新自己那份参数（故各副本每步末完全一致，数学上等价于批 $kB$ 的单卡训练）（定义 9.2.1）。两条代价：显存冗余（每卡一份 $16N$，共浪费 $(k-1)\times16N$）与每步同步（$\approx2S$，且与批无关）。（✓ / △ / ×）

把大 batch 拆成 $K$ 个 micro-batch 依次前向/反向并累加梯度，攒满 $K$ 个再更新一次；$B_{\text{global}}=K\times B_{\text{micro}}\times k$，为保持梯度尺度需把每个 micro-batch 的损失乘 $1/K$（定义 9.2.2）。省激活（任意时刻只有一份 micro-batch 的激活）；不省模型状态；不增通信（整批只同步一次，通信占比反而降约 $K$ 倍）。代价是单步墙钟变长、算子变小 → 算力利用率下降。（✓ / △ / ×）

按粒度递进（定义 9.2.3）：ZeRO-1 分优化器状态与主权重 → $4N+12N/k$，通信不变（仍 All-Reduce）；ZeRO-2 再分梯度 → $2N+2N/k+12N/k$，因每卡只需自己那 $1/k$ 份 → 用 reduce-scatter 替代 All-Reduce，通信约减半；ZeRO-3 再分参数 → $16N/k$，额外每层 all-gather 参数 → 通信升至约 1.5 倍。8 卡 7B：$112\to38.5\to26.25\to14$ GB。（✓ / △ / ×）

按需聚齐、用完即散：参数 / 梯度 / 优化器状态都以分片常在（$16N/k$）；前向进入第 $l$ 层前 all-gather 该层参数 → 算 → 立即释放；反向再 all-gather → 算梯度 → reduce-scatter（每卡只留 $1/k$）；现代实现会预取下一层参数把 all-gather 藏进计算（定义 9.2.4）。FSDP = ZeRO-3 语义在 PyTorch 原生实现里的落地（FSDP2 改为逐参数 DTensor 分片，2024 年起，无对应论文）。（✓ / △ / ×）

Broadcast $\approx S$（初始化 / 同步超参）；Reduce $\approx S$（中心化聚合）；All-Reduce $\approx2S$（DDP 梯度同步）；Reduce-Scatter $\approx S$（ZeRO-2/3 与 FSDP 的梯度归约）；All-Gather $\approx S$（FSDP 聚合参数、序列并行重排）；All-to-All $\approx S(k-1)/k$（专家并行、Ulysses 换头）；P2P $=S$（流水线段边界）。两条恒等式：All-Reduce ≈ Reduce-Scatter + All-Gather（定义 9.6.1）。（✓ / △ / ×）

DP（切数据，每步一次大 All-Reduce，最外层尽量大）；TP（切层内权重与激活，每层若干次 All-Reduce、延迟敏感，$\le$ 单机 GPU 数，常 4 或 8）；PP（切层，段间 P2P、量小，2–16 且 $M\ge$ 若干倍 $P$）；EP（MoE 专家，All-to-All）；CP/SP（序列维激活与 KV，环状或 all-to-all）（定义 9.6.2）。配平四原则：最密集的通信放最快链路、最少的放最外层、乘积等于总卡数、每轴守住整除约束。（✓ / △ / ×）

通信对象是梯度张量，其形状只由模型结构决定；批大小决定的是「算出这个梯度花了多少矩阵乘」，因此批影响计算 / 通信比而非通信量（结论 9.2.1）。用途：加卡会让通信量略微增大（$2S(k-1)/k\to2S$）而计算按卡数摊薄 → 「卡越多、每卡计算越少、通信占比越高」；从而推出「小卡数 × 大批 × 长序列」的偏好，以及「每卡 token 太少时通信占比失控」。（✓ / △ / ×）

基线要让每张卡都拿到完整的平均梯度，所以必须「归约 + 广播」两遍（$\approx2S$）；ZeRO-2 中每卡只需要自己那 $1/k$ 份梯度，于是用只做归约的 reduce-scatter（$\approx S$）替代 All-Reduce。ZeRO-3 额外需要每层参数的 all-gather（前向 + 反向各一次），这是全新的通信，净效果约 $1.5\times2S$。（✓ / △ / ×）

① $k$ 很小（2–4 卡）：省下的显存有限，却引入归约路径与每层 all-gather 的固定延迟；② 模型本来放得下（$16N\lt M_{\text{cap}}$）：平白多出通信，小模型上通信占比极高；③ 跨机且消息小：每层参数分片后碎成很多小消息，受延迟支配（看 profiler 里通信内核次数是否暴涨）；④ 序列短、批小：计算量本来就小，通信无法被摊薄（方法 9.2.2）。（✓ / △ / ×）

列切免通信但把分片留在输出；行切把分片留在输入，必须求和才能拼回完整。若两层都列切：第二层需要完整输入却拿到分片 → 必须先 all-gather，通信不省；若两层都行切：每层后都要归约 → 通信翻倍。因此「列切 → 逐元素激活 → 行切」是唯一能做到每块一次归约的组合（前向 1 次、反向对称 1 次，与 $k$ 无关）（结论 9.3.1）。（✓ / △ / ×）

① 频次：TP 每层 2 个通信点，32 层就是 64 次/步，而 DP 每步只有 1 次 → 延迟而非带宽成为瓶颈，必须低延迟链路；② 消息大小：TP 的消息是单层输出（数十 MB），小消息对带宽利用率差、对往返延迟更敏感，跨机固定开销会吃掉收益（例 9.3.1）。按「对链路要求由高到低」排序是 TP > DP > PP。（✓ / △ / ×）

不改变气泡公式（气泡总量在朴素口径下不变）。改变的是：GPipe 要把全部 $M$ 个 micro-batch 的激活留到各自反向开始（峰值 $\propto M$）；1F1B 在预热后交替执行一前一后，反向一完成就释放激活，同时驻留约 $P$ 份；前反向交错还让通信更容易与计算重叠（9.4.4）。所以它改善的是「同样的卡数能塞下多大的 micro-batch / 多少个 micro-batch」。（✓ / △ / ×）

混合精度把参数与梯度从 $4N+4N$ 压到 $2N+2N$，但低精度参数上做小步更新会被舍入吃掉，必须另存 fp32 主权重 $4N$ → 正好抵消，静态账仍是 $16N$（例 9.5.1）。它真正的红利是算力吞吐（16 位张量核心）与激活 / 临时张量（bf16 存储减半）。要动静态账必须动优化器状态：8-bit 优化器 $16N\to10N$。（✓ / △ / ×）

$\lambda_{\text{sys}}\approx$ 各组件故障率之和 $\approx G\lambda$，任一失效即中断，故 MTBF $\approx1/(G\lambda)$——随组件数线性缩短。取 $\lambda\approx3\times10^{-6}$/小时：8 卡 $\approx4.2\times10^4$ 小时；512 卡 $\approx650$ 小时；8192 卡 $\approx41$ 小时；16384 卡 $\approx20$ 小时。而训练时长不变（数周到数月）→ 「每天都坏」是统计必然，容错因此是与吞吐并列的设计目标（9.6.4）。（✓ / △ / ×）

参数 $2N$ + 梯度 $2N$ + $m$ $4N$ + $v$ $4N$ + 主权重 $4N$ = $\mathbf{16N}$ 字节（方法 9.1.1）。口径对照：纯 fp32 Adam $=4N+4N+8N=16N$（无独立主权重）；混合精度 Adam $=2N+2N+8N+4N=16N$；混合精度 + 8-bit 优化器 $=2N+2N+2N+4N=10N$。7B：$14+14+28+28+28=112$ GB；8-bit 时 $70$ GB（省 37.5%）。（✓ / △ / ×）

$V=2\times\frac{k-1}{k}S\to2S$（$k$ 大时）：第一阶段 reduce-scatter 走 $k-1$ 步、每步 $S/k$；第二阶段 all-gather 同样 $S(k-1)/k$；$S$ 是被归约张量的字节数（结论 9.2.1）。代入 $S=2N=14$ GB：$V=2\times\frac78\times14=24.5$ GB/卡 → IB（50 GB/s）$\approx0.49$ s、NVLink（300 GB/s）$\approx0.08$ s（乐观下界）。ZeRO-2 用 reduce-scatter：$12.25$ GB → $0.25$ s。（✓ / △ / ×）

$\text{bubble}=\dfrac{P-1}{M+P-1}$（结论 9.4.1）。$P=8,M=16$：$7/23=30.4\%$（利用率 69.6%）；$M=64$：$7/71=9.9\%$。10% 条件 $\frac{7}{M+7}\le0.1\Rightarrow M\ge63\approx9P$。极限：$M\to\infty$ 气泡→0；$M\ll P$ 气泡→$\frac{P-1}{P}\approx1$。（✓ / △ / ×）

每块前向 1 次 All-Reduce、反向对称 1 次，与 $k$ 无关。消息是行并行层的输出，形状 $B\times T\times h$：$S=4\times2048\times4096\times2=6.7\times10^7$ B $\approx67$ MB；每卡每次 $V=2\times\frac{k-1}{k}S$（$k=8$ 时 $\approx117$ MB）。每层前向 2 个通信点（注意力输出投影 + FFN 的 $W_2$）→ $\approx234$ MB；32 层每步 $\approx22$ GB/卡（例 9.3.1）。（✓ / △ / ×）

$B_{\text{global}}=K\times M\times B_{\text{micro}}\times k$（方法 9.4.2）：$K$ 梯度累积步数、$M$ 流水线 micro-batch 数、$k$ 数据并行度。注意：流水线的 $M$ 是对已分到本卡的小批再切分，一般不改变本卡样本总数；只有把「$P$ 段各过一遍」算作 $PM$ 个样本的记账方式（GPipe 论文口径）才会多出 $P$ 因子——配错会让学习率缩放算错（正文标「需核实」）。（✓ / △ / ×）

ZeRO-1：$4N+12N/k$ → $28+10.5=38.5$ GB；ZeRO-2：$2N+2N/k+12N/k$ → $14+1.75+10.5=26.25$ GB；ZeRO-3：$16N/k$ → $14$ GB（例 9.2.3）。其中 $12N$ 是优化器相关（$m,v$ 各 $4N$ + 主权重 $4N$）。配通信读法：不变 / 减半 / 约 1.5 倍。（✓ / △ / ×）

不重算 $\approx34$ 字节、选择性重算 $\approx18$ 字节、全层重算 $\approx2$ 字节（只留层输入 $B\times T\times h$、2 字节/元素）（9.5.3）。三个系数高度依赖「哪些中间张量被计入」（是否重算注意力、是否实体化 softmax 矩阵、是否启用 FlashAttention），且正文的乘积与单位口径处已标「需核实」——报价必须用你自己的实现实测。（✓ / △ / ×）

MTBF $\approx\dfrac{1}{G\lambda}$；每小时额外时间 $E(T)=4fT+\dfrac{55.8}{T}$（$f$ 次/小时，$4=0.5\times8$ 分钟，$55.8=60\times0.93$）→ $T^\star=\sqrt{\dfrac{13.95}{f}}$，$f=0.5$ 时 $\approx5.3$ 小时（例 9.6.3）。硬约束：恢复时间必须远小于间隔、单次故障不至于丢掉太多算力；故障呈批次性时先修机器。（✓ / △ / ×）

错。省下的 $4N$ 被新增的 fp32 主权重吃回去，静态仍是 $16N$（例 9.5.1）。它省的是激活与临时张量，红利在吞吐。要省静态账必须动优化器状态（8-bit 优化器 $16N\to10N$）或分片。（✓ / △ / ×）

错。通信量 $V\approx2S$ 由模型字节数决定，与批大小无关；批越大，同样的通信摊到更多计算上，通信占比更低。真正让通信占比失控的是「每卡 token 数太少」（9.2.2）。（✓ / △ / ×）

错。ZeRO-1 通信不变、ZeRO-2 减半、ZeRO-3 上升到约 1.5 倍；$k$ 小或模型本来放得下时 ZeRO-3 反而更慢。判据：能放下就用 DP + ZeRO-1/2，放不下才上 ZeRO-3 / FSDP2（方法 9.2.2）。（✓ / △ / ×）

错。$V=2S(k-1)/k$ 中的 $S$ 是完整输出的大小，与 $k$ 无关，所以每卡通信量几乎不变（只缓慢趋近 $2S$）；变的是「消息更小、次数更多」，延迟受限时有害。第二条约束：能靠更大批解决，就别加 TP 度（例 9.3.1 及其后陷阱框）。（✓ / △ / ×）

错。1F1B 改的是调度顺序与峰值显存：气泡总量在朴素口径下不变；它把峰值激活从 $\propto M$ 降到 $\propto P$，并让前向通信与反向计算更容易重叠。消气泡要靠增大 $M$、交错调度或 zero-bubble（方法 9.4.1）。（✓ / △ / ×）

错。checkpoint 只解决「丢多少进度」，不解决一致性：恢复后若数据顺序被打乱、优化器步数与学习率调度位置对不上、随机状态未还原，等于悄悄换了实验条件。必须一并恢复：分片布局、优化器步数、已消费样本数、随机状态、调度器位置（9.6.4 误解 1、6）。（✓ / △ / ×）

错（不完整）。$0.5$ 字节/参数是 NF4 单重量化的理想值，双重量化与分块缩放会引入少量额外开销（常按 0.55–0.6 字节估计，需实测）；此外还有激活、KV cache、适配器、以及训练时把主干按层反量化出的临时副本（现代实现按层反量化以抑制峰值）（例 9.5.4 的两个易错点）。（✓ / △ / ×）

错。它们的目标是部署：把权重压到 4 bit 供推理。训练时的瓶颈是 $m,v$ 与主权重（$12N$）以及激活，都不在它们的解决范围内（定义 9.5.5、9.5.5 误解 8）。（✓ / △ / ×）