面试与答辩竞技场

面试与答辩考的不是「你学过什么」，而是「你能不能在压力下把一件事讲清楚」：给 60 秒要你区分两个概念，给 5 分钟要你在白板上推一个公式，给 10 分钟要你在约束下做一个工程决策。这三种能力训练方式完全不同——这一页把它们做成三轮计时赛。

用法：先读必考点清单照着补漏，然后关掉正文，进入三轮赛制（自带计时与记分牌），赛后按段位表复盘，错题送进抢救室。

素材依据与诚实声明（本页的「必考」从哪来）

本页题目的分级依据有三类，逐条标注、不含臆测：

S 级（课程核心）：九讲正文里给出完整推导的结论——它们必被追问，因为能推导的东西最容易被验证。
A 级（工程高频）：真实工程与面试中反复出现的判断点（显存账、并行选择、训练不收敛、对齐方案取舍）。
B 级（前沿常识）：2023–2025 年的默认实践（RoPE/GQA/FlashAttention/MoE/DPO/GRPO/量化），只需讲清「解决什么问题、代价是什么」。

全部题目与答案要点为本教程编写，不代表任何机构的真实面试题库。涉及论文的，以论文原文为准。

一、必考点清单：先打哪里

S 级 · 能推导（白板题的地基）

#	必考点	满分第一动作	弹药
S1	两层网络的反向传播递推	先定义误差信号 $\boldsymbol\delta^{(l)}$ ，再写两个递推式	1.5
S2	缩放点积注意力的形状与 $\sqrt{d_k}$ 的作用	先写 $QK^{\mathrm T}$ 的形状，再谈方差	2.4
S3	ELBO 的推导与两项含义	从 $\log p(x)$ 引入 $q(z\mid x)$ 做重要性分解	4.3
S4	扩散前向闭式与简化损失	写 $x_t=\sqrt{\bar\alpha_t}x_0+\sqrt{1-\bar\alpha_t}\varepsilon$	4.5
S5	策略梯度定理	对数似然技巧 $\nabla\log\pi$ 换出梯度	5.4
S6	PPO 的裁剪目标为何能替代 KL 约束	分 $A\gt0$ / $A\lt0$ 两种情形讨论	5.5
S7	贝尔曼最优方程	先写期望方程，再把期望换成 $\max$	5.2
S8	DPO 损失的来历	从 KL 正则目标的闭式最优解出发反解奖励	5.6

A 级 · 能做工程判断（系统设计题的核心）

#	判断点	一句话答案骨架	弹药
A1	显存账： $N$ 参数训练要多少显存	混合精度 Adam 系静态 ≈ $16N$ 字节；7B ≈ 112 GB	工具箱
A2	单卡放不下模型怎么办	先 ZeRO/FSDP 分片，再按「单层是否放得下」决定要不要 TP	9.2、9.3
A3	数据并行扩批后要改什么	学习率按线性缩放 + warmup	1.6
A4	长序列显存爆了怎么办	先算注意力项 $B!\cdot!H!\cdot!T^2$ ，再选 FlashAttention / 窗口 / 序列并行	2.6
A5	训练不收敛的排查顺序	单批过拟合 → 数据标签 → 损失/输出层 → 学习率 → 初始化/归一化 → 数值稳定性	工具箱
A6	BN 与 LN 的差别与选择	BN 统计批维（依赖批大小），LN 统计特征维（逐样本）；Transformer 用 LN/RMSNorm	1.7
A7	微调选全参还是 LoRA	数据/算力/保质期三者权衡；LoRA 省显存、易热插拔	9.5
A8	对齐选 PPO 还是 DPO	PPO 上界更高但要 RM 与调参；DPO 稳定、成本低、易复现	5.6
A9	生成模型选型	质量/速度/多样性/可控性/训练成本五维对照	4.8
A10	小数据视觉任务	迁移学习 + 强增强 + 冻结策略 + 严控验证集泄漏	3.6

B 级 · 前沿常识（2023–2025 的默认实践）

#	考点	一句话	弹药
B1	RoPE vs 正弦位置编码	RoPE 把位置写进内积，天然含相对位置，外推更好	2.6
B2	GQA/MQA 解决什么	多 query 头共享少量 KV 头 → KV cache 与带宽下降	2.6
B3	FlashAttention 为什么快	IO 感知分块 + 在线 softmax，不落 $T\times T$ 矩阵（FLOPs 不变）	2.6
B4	MoE 的收益与代价	总参数大而 FLOPs 近似不变；代价是路由、负载均衡与通信	2.7
B5	流匹配 vs DDPM	学直线速度场，训练更稳、采样步数更少	4.6
B6	缩放律的关键结论	给定算力时参数与数据应等比例扩张，不是只堆参数	6.2
B7	测试时计算	推理期多花算力（长 CoT/多采样/验证器）换准确率，有成本边界	6.3
B8	基准污染	评测集泄漏会系统性高估能力；对策是私有/时间切分/动态基准	6.7
B9	机制可解释性	SAE 把叠加激活分解为可解释特征；用于审计而非「读心」	7.3
B10	量化部署	4-bit 权重（GPTQ/AWQ）近无损；QLoRA 让大模型单卡可微调	9.5

二、三轮赛制

第一轮 · 60 秒速答（每个概念 60 秒，共 20 题）

规则：抽题 → 计时 60 秒 → 开口讲（录音或讲给同伴）→ 对照答案要点自评。只写不算。

评分：① 说出定义（1 分）；② 说出「解决什么问题」（1 分）；③ 说出一个条件或代价（1 分）。满分 3 分，低于 2 分算不过。

#	题目	答案要点（自评用）
1	为什么深层网络不用 Sigmoid 做隐藏层激活？	导数上界 0.25，连乘导致梯度指数衰减；ReLU 正区间导数为 1
2	交叉熵为什么比 MSE 更适合分类？	配 softmax 时梯度是 $\hat y-y$ ，不随饱和消失；MSE 含 $\hat y(1-\hat y)$ 因子
3	Adam 与 AdamW 的差别？	AdamW 把权重衰减从梯度中解耦，不参与自适应缩放，泛化更好
4	BN 与 LN 的关键差别？	归一化维度不同（批 vs 特征）；BN 依赖批统计且在推理时用滑动统计
5	为什么注意力要除以 $\sqrt{d_k}$ ？	点积方差随 $d_k$ 线性增长 → softmax 饱和 → 梯度消失
6	位置编码为什么必要？	自注意力对置换等变，无序信息；位置必须显式注入
7	KV cache 是什么？占多少显存？	缓存历史 K/V 避免重算；约为 $2\!\cdot\!L\!\cdot\!H_{kv}\!\cdot\!d\!\cdot\!T\!\cdot\!B\!\cdot\!\text{字节}$
8	为什么 LLM 推理常是 memory-bound？	每步只算一个 token，算力用不满，瓶颈在权重与 KV 的读取带宽
9	残差连接为何让深层可训？	梯度含恒等项 $I+\partial\mathcal F/\partial x$ ，可直接回传
10	Dropout 为什么有效？	阻止共适应，近似集成子网络；推理期关闭（Inverted dropout 训练期已缩放）
11	VAE 的 ELBO 两项各是什么？	重建项（期望对数似然）+ 正则项（KL 到先验）
12	GAN 为什么会模式坍塌？	判别器主导 → 生成器只覆盖少数模式；对策：WGAN、谱归一化、mini-batch 判别
13	扩散的采样为什么慢？	需 T 步串行去噪；加速：DDIM、蒸馏、一致性、流匹配
14	DQN 的经验回放与目标网络各解决什么？	打破样本时序相关；稳定 TD 目标避免「追着自己跑」
15	on-policy 与 off-policy 的差别？	更新用的数据是否来自当前策略；影响样本效率与稳定性
16	RLHF 的奖励模型怎么训？	Bradley-Terry 偏好模型： $\sigma(r(y_w)-r(y_l))$ 做二分类
17	reward hacking 是什么？	代理奖励上升但真实目标变差（Goodhart 效应），需 KL 约束与多指标监控
18	LoRA 为什么有效？	微调增量近似低秩；冻结基座只训 $BA$ ，显存与存储都省
19	ZeRO 三个阶段分片什么？	优化器状态 → 梯度 → 参数；通信量递增、显存递减
20	什么是指令微调？	用「指令—回答」对做监督微调，让模型学会遵循任务格式

第二轮 · 5 分钟白板（每題 5 分钟，抽 5 题）

规则：白板（或纸）上手写推导，不许查资料。写完对照要点，缺哪一步就回正讲补。

评分：① 第一行对不对（1 分）；② 推导链条是否完整（2 分）；③ 是否指出前提与失效条件（2 分）。满分 5 分。

#	题目	必须出现的步骤
1	推导两层网络的反向传播	定义 $\boldsymbol\delta^{(l)}$ ；输出层式；逐层回传式； $\partial\mathcal L/\partial W^{(l)}$
2	推导缩放点积注意力并说明复杂度	$QK^{\mathrm T}$ 形状；softmax 沿最后一维；乘 $V$ ； $O(T^2d)$ 与显存 $O(T^2)$
3	推导 ELBO	引入 $q(z\mid x)$ ； $\log p(x)=\mathrm{KL}+\mathrm{ELBO}$ ；展开为重建 + KL
4	推导重参数化技巧	$z=\mu+\sigma\odot\varepsilon$ ；说明为何能对 $\mu,\sigma$ 求导
5	推导扩散的前向闭式	逐步 $\sqrt{\alpha_t}$ 递推 → 累乘 → 得到 $\sqrt{\bar\alpha_t}$ 形式
6	推导策略梯度定理	$\nabla_\theta J=\mathbb E[\nabla_\theta\log\pi_\theta(a\mid s)\,G]$ ；对数似然技巧
7	推导 DPO	KL 正则最优解 $\pi^\star\propto\pi_{\mathrm{ref}}e^{r/\beta}$ → 反解 $r$ → 代入偏好似然
8	说明 PPO 裁剪为何替代 KL 约束	目标函数形状分析（两种 $A$ 的符号）； $\epsilon$ 的作用；与 TRPO 的差别
9	推导贝尔曼最优方程	期望方程 → 对策略取 max → 得到 $V^\star$ 与 $Q^\star$ 的互为表达
10	分析 Mamba 的并行扫描	SSM 递推 → 结合律 → 并行前缀扫描；训练可并行、推理常数内存

第三轮 · 10 分钟系统设计（抽 1–2 题）

规则：题目给约束（硬件、数据、延迟、成本），要求：目标 → 约束 → 方案 → 验证计划 → 失败判据。答完自我追问一句：「如果预算减半，你砍哪一刀？」

评分：① 约束是否被逐条回应（2 分）；② 方案是否具体到可执行（3 分）；③ 是否给出验证与失败判据（3 分）；④ 是否识别主要风险（2 分）。满分 10 分。

#	题目	及格骨架
1	用 8×A100 80GB 训一个 13B 模型（4096 上下文，1T tokens 数据）	显存账（ $16N\!\approx\!208$ GB 静态 → 必须分片）；ZeRO-3/FSDP + 梯度累积 + 激活重计算；若单层仍超则上 TP=2/4、PP 补偿；批大小与学习率联动；吞吐与 MFU 目标
2	为 128K 上下文的推理服务做优化	瓶颈是 KV 显存与带宽；PagedAttention + GQA + KV 量化 + 前缀缓存；批调度（continuous batching）；SLA 与超时策略；长尾监控
3	1000 张图做 10 类分类（含 2 类样本只有 50 张）	迁移学习 + 冻结策略；长尾：重采样/重加权/两阶段；强增强；严控验证集泄漏；报告类别级指标 + 置信区间
4	从零做一个领域对话模型（数据自建）	数据获取与清洗 → SFT 的指令构造 → DPO/偏好数据 → 评测（人评 + 自动 + 拒答率）→ 部署与回滚
5	设计推荐系统的奖励（防 hack）	长期满意度优先（停留、回访、负反馈）；不要单一 CTR；离线策略评估 + 在线 A/B + 护栏指标
6	给一条不收敛的训练曲线，定位病因	按排查树走：单批过拟合 → 数据/标签 → 损失/输出层 → 学习率 → 初始化 → 稳定性；每步给出可证伪的检验
7	给产品选生成模型（质量/延迟/成本）	五维对照（质量、速度、多样性、可控性、训练成本）；先基座后蒸馏；给出基线对照与取舍判据
8	人脸检测系统上线的完整清单	数据合规与授权；评测口径（按人群切分）；偏见与误判代价；对抗鲁棒；隐私（存储/加密/最小化）；审计与申诉通道

三、项目答辩特训（课程产出是提案，不是考试）

6.S191 一类的课程以项目提案作为唯一计分产出，答辩考的正是「你的问题值不值得做、你的方案能不能落地」。答辩用五问逼出名堂：

答辩五问（每个问题 90 秒，超时即失分）

问题：你要解决的具体问题是什么？它的成功判据是什么（可测量）？
为什么现在：已有工作做到哪一步了？你做与不做的差别在哪（最小可验证增量）？
怎么做：技术路线的三段式（数据 → 方法 → 评估）；最不确定的一环是哪一步？
代价：算力/数据/时间预算各是多少？预算减半砍哪一刀？
失败预案：什么结果会让你判定「此路不通」？届时你的 Plan B 是什么？

常见失分点：① 只讲「我要用 Transformer」不讲为什么非它不可；② 没有基线（无基线的提升不可信）；③ 评估口径含糊（「效果好」不是判据）；④ 数据来源与合规一句带过；⑤ 没有失败预案。五个里中三个，答辩就算没过。

四、段位表（自评）

段位	标志	典型表现
青铜	记得名词	能说出定义，但说不清「解决什么问题」
白银	讲得清机制	能讲清机制与条件，推导仍卡壳
黄金	白板能推	关键公式能独立推导，并能指出失效条件
铂金	能做取舍	能在约束下给出方案 + 验证计划 + 失败判据
钻石	能审自己的结论	能主动指出评测漏洞、数据泄漏、指标有效性风险

训练建议：每周一轮「60 秒 20 题」+ 两道白板题；每两周一次系统设计；答辩五问在项目启动前对着同伴跑一遍。

五、抢救室（高频错点复盘）

十个最常讲错的地方

把 softmax 说成「归一化的输出层激活」而忘了它融在损失里：框架的 CrossEntropyLoss 已含 softmax，网络输出层不要再加。
把 BN 说成「归一化到标准正态」：它是「减均值除标准差 + 可学习仿射」，仿射才是表达能力来源。
把注意力复杂度说成 $O(T^2d)$ 而忘记显存 $O(T^2)$ ：训练时的中间矩阵才是显存杀手。
把扩散的 $T$ 步说成「必须串行所以无法加速」：DDIM/一致性/流匹配都在解耦这个约束。
把 DPO 说成「不需要偏好数据」：DPO 恰恰需要成对偏好数据，省的是奖励模型与在线采样。
把 off-policy 说成「更不稳定所以不好」：样本效率高是它的核心价值，代价才是稳定性。
把 ZeRO-3 说成「一定更快」：它省显存但通信量最大，小集群上常常更慢。
把 TP 与 PP 的取舍说反：TP 通信密集（层内）、气泡小；PP 气泡明显但通信少；选谁取决于单层能否放下。
把缩放律当成「越大越好」：Chinchilla 的结论是给定算力下的最优配比，不是无限堆参数。
把基准分数当能力：污染、提示敏感、解码策略都会显著改变分数（6.7）。

最后的提醒：竞技场训练的是表达的确定性——把「我知道一点」变成「我能讲清楚、能推导、能做决策、能说出边界」。这一页的每一道题，答案都写在九讲正文里；讲不出来，说明那里还没真懂，回去补，而不是背题。

Keyboard shortcuts

深度学习导论 · 定制教程