对。 纯 fp32：参数 $4N$ + 梯度 $4N$ + $m,v$ $8N$（参数本身是 fp32，无需独立主权重）；混合精度：参数 $2N$ + 梯度 $2N$ + $m,v$ $8N$ + fp32 主权重 $4N$——低精度参数上做小步更新会被舍入吃掉，所以必须另存一份高精度副本（方法 9.1.1）。7B 时两者都是 $112$ GB。给分：判断 1 分 + 说出「主权重 4N」2 分。

错，方向反了。 数据并行要求每卡都装得下完整模型状态（$16N$）；它让计算变快、批变大，不省显存。显存受限要看分片（ZeRO / FSDP）、低精度、8-bit 优化器或 PEFT（9.2.5 的判据表）。给分：判断 1 分 + 理由 2 分。

错。 数据并行在每个优化器步骤同步一次梯度：$K$ 个 micro-batch 只在最后触发 1 次 All-Reduce，通信量仍是 $\approx2S$，通信占比还下降约 $K$ 倍（因为计算量增大）（例 9.2.1、定义 9.2.2）。给分：判断 1 分 + 「每个优化器步只同步一次」2 分。

对。 每卡只需要自己那 $1/k$ 份梯度，因此不必「归约 + 广播」两遍，只做归约即可：$\approx S$ 而非 $\approx2S$（定义 9.2.3、例 9.6.1）。给分：判断 1 分 + 理由 2 分。

错。 $V=2S(k-1)/k$ 中的 $S$ 是完整输出的大小，与 $k$ 无关，所以每卡通信量几乎不变，变的只是消息更小、次数更多（延迟受限时反而更糟）（例 9.3.1）。给分：判断 1 分 + 指出「$S$ 与 $k$ 无关」2 分。

对。 每张卡持有 $V$ 个不连续的层块，于是任意时刻总有一块「可算」，原本的空档被填上；但边界数从 $P-1$ 增到 $V(P-1)$（方法 9.4.1）。适用场景是「通信便宜、气泡贵」；段间通信已吃紧时应先恶化通信。给分：判断 1 分 + 至少一条代价 2 分。

对。 段边界传的是激活（$B_{\text{micro}}T h$ 量级，几十 MB），每步每卡约 GB 以下量级；而 DDP 的梯度 All-Reduce 是 $24.5$ GB/卡/步（例 9.4.3）。代价转移到了气泡与调度复杂度上。给分：判断 1 分 + 量级对比 2 分。

错。 FP8 省的是「存 FP8 的那部分」（激活、部分权重副本）；优化器状态与主权重仍是 fp32（$12N$），一分不减——与混合精度是同一个道理。同时 FP8 需要缩放管理与相应硬件（Hopper 及之后），配方需匹配（9.5.2）。给分：判断 1 分 + 「$12N$ 不减」2 分。

错。 重计算只管激活那半本账：前向只保存检查点激活，反向缺什么重算什么（全层额外约 $1/3$ 前向，选择性只多个位数百分比）。模型状态要靠分片、低精度或 8-bit 优化器（定义 9.5.3）。给分：判断 1 分 + 「对象不同」2 分。

对。 跨卡归约的实现顺序由拓扑决定，不同卡数下浮点求和顺序不同，结果在最低位就有差异，随后被放大；此外还有非确定性算子（原子加等）。工程上实际追求的是统计可复现（损失曲线形态一致）（方法 9.6.5）。给分：判断 1 分 + 至少一个来源 2 分。

参数 $14$、梯度 $14$、$m$ $28$、$v$ $28$、主权重 $28$、合计 $\mathbf{112}$ GB；8-bit 后 $\mathbf{70}$ GB（例 9.1.1、例 9.5.1）。 为什么只省 37.5%：8-bit 只动了优化器状态的 $8N\to2N$，而主权重 $4N$ 与参数、梯度（共 $10N$）原封不动；$112\to70$ 正好是 $(112-70)/112=37.5\%$。

第一遍 reduce-scatter：沿环转 $k-1$ 轮，每轮发送 $S/k$，每一块的总和最终落在某一张卡上；第二遍 all-gather：把已算好的块沿环传开，每张卡收齐 $k$ 块得到完整结果。两遍各 $S(k-1)/k$，合计 $V=2S(k-1)/k\to2S$（结论 9.2.1）。要点是「流量守恒」：每个字节至少要每张卡看见一次，$S$ 是下界，环状只用两倍下界且并发走满链路。

$\text{bubble}=\dfrac{P-1}{M+P-1}$（结论 9.4.1）。$M\to\infty$：首尾各 $P-1$ 个时间片的填充 / 排空被足够多的 micro-batch 摊薄到零；$M\ll P$：几乎全程只有少数几段在干活，气泡趋近 $\frac{P-1}{P}\approx1$（等于白买卡）——这也是「加段必加 micro-batch」的来源。

判据：显存墙 $M_{\text{state}}+M_{\text{act}}+M_{\text{comm}}\gt M_{\text{cap}}$；算力墙 单步时间远大于 $C/F$ 且 GPU 利用率高；通信墙 $t_{\text{comm}}\approx t_{\text{compute}}$（定义 9.1.2）。切分把状态 / 层 / 数据散到更多卡上，但每张卡都要与别人交换中间结果（梯度、参数、激活），因此加卡同时缓解显存与算力墙、却加剧通信墙——于是最优卡数落在「算力墙还紧、通信墙还没到」的区间，验收只能用扩展效率 $E$。

三步：① 进入第 $l$ 层前对该层参数做 all-gather，得到完整参数；② 计算；③ 立即释放完整副本（只保留分片），反向时再来一次 all-gather，算完梯度做 reduce-scatter（定义 9.2.4）。换来：每卡模型状态从 $16N$ 降到 $16N/k$（7B、8 卡即 $112\to14$ GB），于是「放不下」变成「放得下」。付出：每层都要通信，净通信量升至约 1.5 倍，且预取需要多留参数分片（显存换重叠）——所以调优重点在「调书能否与读书重叠」。

（i）有效工作量：每个 stage 都要处理全部 $M$ 个 micro-batch（前向一次、反向一次），折算为 $M$ 个时间片。（ii）墙钟由末段决定：第 1 个 micro-batch 跑到末段要 $P$ 个时间片，此后每 1 个时间片有下一个进入，故末段处理完 $M$ 个需 $M+P-1$；反向对称且可部分重叠，故 $T_{\text{total}}=M+P-1$（更严格的论证：第 $j$ 段的启动延迟 $j-1$，任何 stage 完工时刻 $\ge M+j-1$，故下界为 $M+P-1$，GPipe 把空闲压到最小取等号）。（iii）气泡 = 墙钟 − 有效：每卡空闲 $P-1$，占比 $\frac{P-1}{M+P-1}$。 代入：$P=8,M=64$ → $7/71=9.9\%$。10% 条件：$\frac{7}{M+7}\le0.1\Rightarrow M\ge63\approx9P$。 为什么加段必加 micro-batch：气泡的分子是 $P-1$，增大 $P$ 直接抬高分子；而 $P=16$、$M=64$ 时气泡变成 $15/79=19.0\%$，比 $P=8$ 时翻了一倍多。因此「$P$ 的正确取法是刚好让每段放得下」，而不是越大越好（例 9.4.1）。 给分：三步推导 6 分（每步 2 分）+ 代入 2 分 + $M\ge9P$ 与解释 2 分。

推导：张量切 $k$ 块；reduce-scatter 阶段每卡发出 $(k-1)\times S/k$，all-gather 阶段同样 $(k-1)\times S/k$，故 $V=2S(k-1)/k\to2S$（结论 9.2.1）。 代入：$S=2N=14$ GB → $V=2\times\frac78\times14=24.5$ GB/卡，$t=24.5/50\approx0.49$ s（未减重叠、未计延迟，是乐观下界）。 ZeRO-2 版本：只需自己那 $1/k$ 份梯度 → reduce-scatter，$V=\frac78\times14=12.25$ GB → $t=12.25/50\approx0.25$ s，正好省一半。 大消息看带宽、小消息看延迟：跨机的 GB 级 All-Reduce 是秒级开销（$t\approx V/\beta$），只能靠「更大的计算量摊薄」或「与计算重叠」隐藏；而 FSDP 每层的参数 all-gather 是 KB–MB 量级的小消息，受每次通信的固定延迟（握手、kernel 启动）支配——所以「把多个小消息打包成大消息」（梯度分桶）、参数预取与算子融合都能显著提速（例 9.6.1、方法 9.6.1）。 给分：推导 4 分 + 两处代入 3 分（24.5 GB/0.49 s、12.25 GB/0.25 s）+ 大小消息判据 2 分 + 与 FSDP/分桶的联系 1 分。

(1) ZeRO-1：$4N+12N/k=28+10.5=38.5$ GB；ZeRO-2：$2N+2N/k+12N/k=14+1.75+10.5=26.25$ GB；ZeRO-3：$16N/k=14$ GB（例 9.2.3）。 (2) $256=K\times4\times8\Rightarrow K=8$。激活按「每 token 每 hidden 元素约 34 字节」口径：$34\times(B_{\text{micro}}T)\times h\times L=34\times8192\times4096\times32\approx3.7\times10^{10}$ 字节 $\Rightarrow\approx34$ GB（例 9.1.2；$h$ 这一项不能漏）。 (3) 都不需要。 单层最大是 FFN：$h\times4h=4096\times16384\approx6.7\times10^7$ 参数，bf16 下 $\approx0.13$ GB，单卡轻松放下 → 不需要 TP；显存问题被 ZeRO-2 解决、层数也不是瓶颈 → 不需要 PP。配平原则是先满足硬约束（显存 / 整除性 / 拓扑）再优化软目标，同节点时越简单风险越低（方法 9.6.4）。 (4) 推荐配置：DDP × ZeRO-2（8 卡同节点），bf16 参数与梯度 + fp32 主权重（不开 fp16、不需要损失缩放），$B_{\text{micro}}=4$、$K=8$、等效批 256，重计算先关（激活紧张再开 selective），AdamW + 学习率线性缩放 ×4 + warmup 3%，分片 checkpoint 每 500–1000 步。验收指标：用同样的全局批测扩展效率 $E\ge0.7$（并用 max_memory_allocated 对账 $26.25+34$ GB 与留 15%–30% 余量）。 给分：(1) 3 分 + (2) 2 分 + (3) 2 分 + (4) 3 分（配置 2 分、验收指标 1 分）。

方案：QLoRA——4 bit（NF4）主干 + 低秩适配器（$r=8\sim16$、target_modules=[q_proj, v_proj]、lora_alpha=16、bf16 计算），max_length 从 1024 起手，$K$ 用梯度累积把等效批凑到 64–128，选择性重计算按需开。 理由（必须给出账）：全参混合精度 Adam 的模型状态 $16N=112$ GB、8-bit 优化器 $70$ GB，单卡都放不下；QLoRA 下主干以 4 bit 驻留 $\approx0.5N=3.5$ GB，适配器只有 4.2M 参数（$\approx0.06\%$，五账单合计 $\approx0.08$ GB）→ 静态 $\approx3.6$ GB，24 GB 卡上还剩约 20 GB 给激活、KV cache 与临时张量（例 9.5.4、定义 9.5.5）。被彻底绕开的是主干的梯度与优化器状态（$12N$），它们正是基线里最贵的部分。 失败判据：① 训练侧 OOM（先降 max_length，再降 $B_{\text{micro}}$ 并用 $K$ 补等效批）；② 可训参数比例 >0.5%（说明 target_modules 挂多了，显存与容量都跑偏）；③ 效果不达标且提高 $r$ 后仍无改善 → 说明任务需要满秩更新，此时应回到全参 + 分片，而不是继续加秩；④ 峰值显存逼近上限（>80%）时任何「调大序列」的尝试都先被否决。 验证计划：先小模型 + 小数据跑通 10 步（只验链路：分词、mask、保存）→ 用 9.7.4 的四个指标建基线（峰值显存 / 每步耗时 / token/s / 效果）→ max_length 512 → 1024 → 2048 扫一遍记录峰值与 token/s → 做「微调前 vs 微调后」的效果对照（固定问题集与解码参数）→ 报告里写清权重口径与结论三行。 给分：方案具体 4 分 + 账本数字 2 分 + 失败判据 2 分 + 验证计划 2 分。

方案：① 检错——NCCL 超时 + 健康检查（小 all-reduce + 矩阵乘自测），目标是把「哪张卡坏了」在几分钟内定位，而不是整机挂掉才发现；② 恢复——分片 checkpoint + 完整元数据（分片布局、优化器步数、已消费样本数、随机状态、学习率调度器位置）；③ 弹性——坏卡就绪后重配进程组继续（各框架支持度不同，需核实）；④ 静默损坏——周期性抽样校验（手工计算的损失值 / 梯度范数是否落在期望范围）；⑤ 确定性——固定数据顺序与种子，让「恢复后」与「未中断」等价（方法 9.6.3、方法 9.6.5）。 定量依据：$\lambda\approx3\times10^{-6}$/小时（量级，需核实）→ MTBF $\approx1/(8192\times3\times10^{-6})\approx41$ 小时，即约每 1.7 天中断一次、30 天内约 18 次；分片保存一次 $112/2=56$ s；$f\approx0.024$/小时时 $$E(T)=4fT+\frac{55.8}{T}\ \Rightarrow\ T^{\star}=\sqrt{\frac{13.95}{f}}\approx24\ \text{小时},$$ 取 $T=24$ h 时 $E\approx0.5\times0.024\times24\times8+\frac{60}{24}\times0.93\approx2.3+2.3=4.6$ 分钟/小时 $\approx7.7\%$——与「每 2 小时存一次」的 $7.5\%$ 同量级，说明该规模下保存开销与故障损失相当，两者都要计入预算。硬约束：恢复时间必须远小于间隔；故障呈批次性时先修机器。 失败判据：① 每小时额外时间 >8%；② 恢复后一致性校验失败（步数 / 数据流 / 随机状态对不上）——「悄悄换了实验条件」比丢进度更危险；③ 演练中恢复时间 > 间隔的 10%；④ 静默损坏抽样始终无法与基准对齐（说明对照基准本身不可靠）。 验证计划：小规模故障注入演练（kill 一个 rank，测恢复时间与一致性）→ 每 100 步记录「已消费样本数 + grad_norm」作为一致性证据 → 用 2× 规模对照训练确认「恢复后曲线」与「不中断曲线」在预期噪声内（例 9.6.3、9.6.4）。 给分：方案覆盖检错 / 恢复 / 弹性 / 静默 / 确定性 4 分 + 定量间隔 3 分 + 失败判据 2 分 + 验证计划 1 分。