Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

附录 A · 从九讲到研究选题

这份附录把九讲的概念接到研究:一个概念如何长成一个可做的选题。它不引入新知识,只画「从学会到会做」的桥。

一、九讲对应的活跃方向与开放问题

讲活跃方向典型的开放问题
1 基础优化与泛化理论、缩放律为什么过参数化反而泛化得更好?涌现是能力还是度量?
2 序列长上下文、高效注意力、SSM/混合架构、MoE线性复杂度的架构能否在「精确召回」上追平注意力?
3 视觉自监督、视觉基础模型、提示式分割如何减少对密集标注的依赖并保持可迁移性?
4 生成流匹配、少步采样、可控生成、离散生成少步采样如何不牺牲多样性与可控性?
5 决策离线 RL、偏好优化、推理期搜索如何保证分布外泛化且不被奖励黑客?
6 前沿推理模型、VLM/VLA、智能体、世界模型「测试时计算」的最优分配策略是什么?
7 安全对齐、机制可解释性、评测效度如何度量对齐与可解释性(而不是只讲故事)?
8 科学科学基础模型、等变网络、神经算子如何从「拟合数据」走向「发现机制」并可验证?
9 规模高效训练与推理、异构并行、容错大规模下的效率与稳定性如何同时保证?

二、从概念到选题的三个提问

把任何一个感兴趣的概念(「注意力」「扩散」「LoRA」「MoE」)套进这三个问题,就能得到选题雏形:

  1. 它现在的边界在哪?(注意力怕长序列;扩散采样慢;LoRA 容量有限;MoE 路由不稳……)
  2. 换一个场景它会怎样?(把流匹配用在你的领域的动作生成;把 LoRA 用在小样本医学图像;把 MoE 用在端侧……)
  3. 怎么量化「更好」?(必须能定义指标、基线与对照,否则不是研究而是尝试。)
选题评估矩阵(四个维度打分,1–5 分)
维度 提问 低于 3 分时的信号
可行性 算力/数据/时间是否在预算内?最小版本能否一周跑通? 「需要万卡」或「数据要跑半年」——砍到一个能验证的小版本
可评估 有现成基准吗?没有的话,人评/自动评的口径能立住吗? 「只能靠感觉」——先花两天把评估做出来
新颖性 与已有工作相比,最小可验证增量是什么? 「别人做过但我想再试一次」——改成消融或复现研究
风险 最不确定的一环是什么?失败预案是什么? 「不知道会怎样」——先做一个能证伪的实验

总分 ≥ 14 才值得投入;12–13 分先做一周的探针实验;< 12 分换题。

三、八个可落地的选题示例

选题示例 1 · 面向长序列的高效注意力

问题:全注意力在长序列上时间与显存都是 O(T2)O(T^2)。 做法:实现一种稀疏/滑窗/分块注意力,在同一长序列基准上与全注意力对比「质量—速度—显存」三角权衡;固定 FLOPs 预算做公平对照。 依赖:2.6 长序列与高效注意力、第 9 讲。

选题示例 2 · 少步生成的质量—多样性曲线

问题:扩散/流匹配在 1–4 步采样时质量与多样性如何权衡,缺少系统对照。 做法:固定同一数据与骨干,对比 DDIM / 一致性模型 / 整流流在不同步数下的 FID 与召回率;报告「质量—多样性—步数」三维曲线。 依赖:4.5–4.6、评测口径。

选题示例 3 · 少样本扩散策略用于机械臂抓取

问题:非结构化环境抓取泛化差、示教昂贵。 做法:基于扩散策略 + VLA 主链,用 LoRA 在每类 5–20 条示教上微调,评估新物体与新光照下的成功率;与行为克隆基线对照。 依赖:4.5、6.5 VLA、9.5 LoRA。

选题示例 4 · PEFT 的容量上限:可训参数—指标曲线

问题:全参微调昂贵,但 LoRA 一类的容量上限不清楚。 做法:固定基座,扫描 LoRA 秩 rr 与目标模块组合,画「可训参数量—任务指标」曲线,定位性价比拐点;加入 DoRA/AdaLoRA 对照。 依赖:9.5 PEFT、Lab 3。

选题示例 5 · 推理期算力分配策略

问题:测试时计算(长 CoT / 多采样 / 验证器重排)怎么分配最划算,缺少统一口径。 做法:在固定总 token 预算下,对比「更长的单条链」与「更多短链 + 投票 / 重排」在数学与代码任务上的准确率;给出「预算—准确率」曲线与最优分配规则。 依赖:6.3 推理模型、5.6 偏好优化。

选题示例 6 · 用稀疏自编码器审计一个行为

问题:模型拒绝回答时,内部到底「看到」了什么特征? 做法:在某开源模型上训练/使用 SAE 提取特征,找出与拒答强相关的特征方向,做激活引导实验(加/减该方向看行为变化),并报告反例。 依赖:7.3 可解释与可信。

选题示例 7 · 神经算子在小数据 PDE 上的泛化边界

问题:神经算子(FNO/DeepONet)跨分辨率泛化能力的真实边界在哪? 做法:在多个 PDE 族(如 Burgers/波动/扩散)上系统测试「训练分辨率 → 测试分辨率」的泛化退化曲线,并与 PINN、传统求解器对照。 依赖:8.4 偏微分方程与仿真。

选题示例 8 · 基准污染的可检测性与对策

问题:如何在不拥有训练数据的前提下,检测某模型是否被某基准污染? 做法:构造「同义改写 / 顺序扰动 / 选项打乱」的对照题集,比较模型在原始与扰动版本上的分数落差,作为污染的间接证据;讨论该证据的局限。 依赖:6.7 评估与污染、7.5 风险框架。

四、从提案到产出的检查清单

  • 第 0 步(先做最难的):把评估做出来(哪怕只有 50 个样本、一个手工评分脚本)。没有评估,后面所有实验都无法判断好坏。
  • 第一周:跑通基线与数据管线(哪怕模型很弱);把日志、种子、配置固化(工具箱)。
  • 第二周:实现你的改动,确认它「能跑通」且不破坏原有性能(先复现,再改进)。
  • 第三周起:对照与消融——没有对照的实验等于没做;每次只改一个变量。
  • 收尾:分析失败案例(比成功案例信息量更大),给出未来工作方向与复现说明。
三条给研究新手的话
  1. 先复现,再创新:能复现基线,你才真正理解了问题。
  2. 先小后大:在小数据/小模型上快速迭代,确认方向对了再放大。
  3. 诚实报告:负结果也是结果;把「不 work」的尝试写进失败分析,比硬凑一个正结果更有价值(这正是第 7 讲三条法则里的「可信赖」)。
把附录当路标用