8.1 为什么科学适合深度学习
科学是深度学习最反常识的一块应用。前七讲的数据由人制造:图像被标注、文本被书写、轨迹由策略产生。科学数据的生产者是自然——它不受你的标注预算支配,也不按你的采样计划出现。这既带来别处没有的困难,也带来别处没有的机会。
困难是贵与少:一个蛋白质有成千上万个原子,构象空间大到无法枚举;一个气候状态向量可以包含上亿个格点;做一次湿实验、跑一轮高精度量子化学、架一次风洞,代价都是时间与金钱的数量级问题。你能做的实验次数,远少于你想探索的候选数。
机会是结构与规律都是在的:数据库里堆着海量的序列、结构、卫星观测,它们的结构本身就是信息;而物理规律(对称性、守恒律、控制方程)是一份不需要跟你要实验预算的「老师」。于是科学问题的形态特别适合「学习一个从高维输入到目标量的映射」,并且它的标签可以不靠人工标注造出来。
这一节不急着上模型。它只回答三个问题:科学数据到底有哪些特点决定了它的方法?「把实验试错变成可微分推断」这句话确切指什么?科学机器学习的任务可以分成哪几类、各自的失败模式是什么?把这三点讲清楚,后面五节才有共同语言。
科学数据与人造数据的三个差别
8.1.1 三个特点:结构化先验、可验证答案、海量弱标注
把科学任务写成「映射学习」 之后,它与人造数据集(图像分类、文本生成)的差别集中在三点:
| 特点 | 含义 | 直接后果 |
|---|---|---|
| 结构化先验 | 存在一批与数据无关、与你观测与否无关的约束:空间对称性(旋转 / 平移 / 置换)、守恒律(能量、动量、质量、电荷)、控制方程(PDE)、局部性(相互作用随距离衰减) | 这些约束可以直接写进网络结构或损失,等价于免费的归纳偏置;不写就要靠数据从零学起 |
| 可验证答案 | 每个样本背后有一个客观的、可被独立测量或高精度计算复核的真值(结构、能量、未来状态) | 标签的正确性不依赖标注者,因此可以用廉价但高保真的近似(DFT、仿真)自动生成标签;也意味着模型的错误会被现实抓住 |
| 海量弱标注 | 样本数量巨大(序列、构型、格点观测、仿真轨迹),但「带答案」的样本极少,且获得一个新答案的边际成本极高 | 主要矛盾是标签稀缺而非数据稀缺;方法上应优先自监督、物理约束与主动学习,而不是「先攒数据再训练」 |
把三点合起来读:科学给深度学习的是「便宜的约束」与「昂贵的答案」——所以聪明的做法是尽可能地用约束换答案,用结构换样本。
监督学习缺的从来不是数据,是标签。科学里绝大多数样本的「答案」都要花实验或高精度计算才能得到,这就把问题变成一个预算分配问题:在固定的实验 / 算力预算下,怎样让模型进步最多?
科学对此有三条回应,恰好对应用掉上面三个特点:
- 用结构当标签:一段氨基酸序列旁边没有写着「它的结构是什么」,但序列内部带着共进化约束(8.2 会讲);一个分子构型旁边没有写着「它的能量是多少」,但物理能算(8.3 会讲)。数据自带结构,标签可以从结构里造。
- 用方程当标签:PDE 的残差不需要任何观测就能在任意点上计算,于是「让网络满足方程」本身就是一个可优化的目标(8.4 会讲)。
- 用实验当稀缺资源:把模型当成筛选器,用它把候选空间从百万级压到几十个,再把实验预算花在这几十个上——这是主动学习(active learning)在科学里的基本位置(8.3 会讲)。
所以科学 AI 的第一条工程判断是:先问「这份任务里,什么约束是免费的」,再问「要花多少实验才能得到一个标签」。 两个问题的答案决定了你该做自监督预训练、物理约束训练,还是主动学习闭环。
8.1.2 结构化先验之一:对称性与守恒律
设 是一组作用在系统上的变换(如三维旋转群 、平移群、原子置换群、晶格平移群), 把系统状态 映到 。
- 不变性(invariance):输出是标量(如能量、自由能),变换后不变,
- 等变性(equivariance):输出是向量 / 张量(如受力、偶极矩、坐标),变换后跟着一起变,
(这里为简洁把群元素 与它在状态空间上的线性作用写成同一个符号;对旋转 与平移 就是 ,本节后半与 8.2 都用这个具体形式。)
守恒量是另一条线的表述:若某个标量 沿系统的真实演化不变(),称它是系统的一个守恒量(能量、动量、角动量、电荷、粒子数……)。
一个模型如果不知道「转 90 度的分子还是同一个分子」,它就必须从数据里把这件事重新学一遍:看见一个构象、再看它转过的版本、再转 45 度……无数等价样本被当成不同样本去记。
把对称性写进结构,等于预先告诉它这些样本是一回事。收益是双重的:参数被约束住(本来要学的自由度直接消掉),样本效率更高(不必靠数据穷举所有朝向)。这和我们用卷积把「平移不变」写进图像网络的道理相同——归纳偏置与任务的对称性匹配,是深度学习最可靠的红利。
但要留意一个区别:不变与等变不是同一件事。标量输出(能量)应当不变;向量输出(力、坐标)应当等变。选错的话,网络会被要求用容量去「学回」一个本来就成立的关系,代价就是样本效率与泛化能力(8.2 会给出判断方法)。
设系统的动力学由拉格朗日量 描述,运动满足欧拉–拉格朗日方程 则每一个连续对称性对应一个守恒量:
- 不显含某个坐标 (沿该方向平移对称) 共轭动量 守恒;
- 不显含时间 (时间平移对称) 能量 守恒。
(Noether, 1918;这里给出两个最常用特例的陈述与证明骨架,完整定理含连续群的一般形式。)
特例 1(循环坐标)。 若 ,EL 方程右侧为零,于是 ,即 沿轨迹为常数。取自由粒子 : 故 守恒——这正是「空间均匀(平移对称)意味着动量守恒」。
特例 2(能量)。 对 求时间导数: 第一项按 EL 方程恒为零,故 。若 不显含 ,右端为零, 守恒——「时间均匀意味着能量守恒」。
∎定理 8.1.1 的实用价值不在物理课,而在给模型装约束。两条最直接的用法:
- 守恒量可以做成损失项或结构约束:例如对长时间分子动力学,要求模型预测的总能量沿轨迹不漂移;对流体,要求离散的质量通量守恒。测量「模型违反守恒多少」是不需要真值就能做的检查(8.4 会把它列为三类评测之一)。
- 守恒量可以做成监督信号:若你知道某个量必须守恒,就可以在没有标签的轨迹上用「守恒误差」当损失——这就是「物理免费造标签」的最朴素形态。
要注意守恒律的边界:它只在给定动力学与理想条件下成立。数值离散会破坏守恒(离散格式是否保能量是一门专门技术),模型近似也会破坏守恒,而现实中还存在耗散、开边界、外力——守恒律的违反不一定是 bug,要看系统是否真的孤立。这条判断在 8.5 的气候讨论里会再出现一次。
8.1.3 可验证答案:把「免费标签」造出来
「弱标注」的应对方式可以归纳成三张配方,它们分别用掉了三个特点里的一个:
| 做法 | 标签从哪来 | 典型形式 | 对应特点 | 代表方向 |
|---|---|---|---|---|
| 结构自监督 | 数据自身的结构(遮挡、上下文) | 掩码预测:随机遮住一部分输入,让网络预测它 | 海量弱标注 | 蛋白语言模型(ESM 系列,见 8.2) |
| 物理标签 | 高精度计算或物理模型(DFT、仿真) | 用廉价的高保真计算给海量构型打标签,训练快速代理 | 可验证答案 | 机器学习势函数(MACE / NequIP,见 8.3) |
| 方程残差 | 控制方程本身 | 在任意采样点上算残差并最小化,无需观测 | 结构化先验 | PINN(见 8.4) |
三条配方可以叠加:先用自监督在大规模无标签数据上预训练,再用物理标签微调,最后用方程残差做约束微调——这正是当前科学模型训练的常见骨架(工程惯例,具体配比随任务而变)。
答案分两层,值得分开看:
第一层:标签可以自动化。 图像数据的标签要靠人看;蛋白质结构的标签可以由实验解析(贵但可自动化到数据库),分子能量的标签可以由 DFT 计算(贵但可自动化到集群),PDE 解可以数值求解。只要标签能从「计算或测量」里来,就不需要人——这是科学独有的便利。
第二层:约束可以当正则。 即使完全没有标签,对称性、守恒律、方程残差也提供了「这个预测是否物理上合法」的判据。这层约束在别处不存在(没有哪条自然律规定「一句话必须符合语法且不得重复」),因此科学模型的无监督信号质量远高于通用领域。
但请记住这层的代价:自动标签继承自动生成器的误差。用 DFT 训的势函数,其精度上限被 DFT 的泛函误差限制;用仿真训的代理模型,其误差上限被仿真模型本身的近似限制。所以「免费标签」不是「无代价标签」,它把误差从标注者转移到了物理模型上——这也是为什么模型评估必须与独立来源(实验、更高精度计算)对照(8.3、8.6)。
从实验试错到可微分推断
8.1.4 三类任务:预测、反演、发现
把科学问题写成「映射学习」后,落进来的任务分三类(比旧版的两类多出第三类,它正是近年来增长最快的一块):
| 任务 | 形式化 | 输入 → 输出 | 数据需求 | 典型方法 |
|---|---|---|---|---|
| 预测(前向问题) | 学 | 结构 / 条件 → 性质、未来状态 | 需要(标签可由物理或仿真生成) | 监督回归、代理模型、势函数、预报模型 |
| 反演(设计问题) | 求 使 ;或采样 | 目标性质 → 结构 | 常不需要成对标签,需要生成模型或可微目标 | 条件生成、贝叶斯优化、可微优化 |
| 发现(结构与规律) | 从数据中找出新的量或关系:新守恒量、新的有效方程、新的候选结构 | 观测 → 表达式 / 判据 / 候选清单 | 需要可验证的评分器(拟合误差、量纲、守恒、形式证明) | 符号回归、程序搜索、主动学习探索 |
三类任务像「求值」「求反函数」与「找规律」:前向问题通常有明确的物理定义,适合监督回归;反演问题往往多解、欠定(许多分子能给出同一种性质),因此更需要生成模型与优化,而不是单点回归;发现类任务的产出是可验证的陈述,因此它天然与「验证器」绑定(8.6 会展开)。
把它们混在一起是选题阶段最常见的错误。三类任务各自最容易死在什么地方:
- 预测任务死在分布外:训练分布内精度再高,也不能保证在新元素、新构型、更长时间上成立(8.6 的外推三判据就是给这类任务准备的体检表)。
- 反演任务死在约束上:生成模型可能给出化学上无效、合不出来、或一合成就分解的结构——样本「像真的」与「能用」是两件事(8.3)。
- 发现任务死在验证上:搜出来的表达式可能只是拟合技巧(量纲错、在数据外立刻崩),候选清单可能只是数据库比对口径的产物(8.3 的新颖性争议)。
因此在动手之前先写下三件事:这是哪一类任务、它的失败模式是哪一条、我用什么证据区分「成功」与「碰巧」。
把下列四个问题归入 定义 8.1.3 的三类,并各指出一种合适的做法与一条必须做的验证:
- 给定一个有机分子的二维连接表,预测它的 HOMO–LUMO 能隙。
- 给定「带隙 ≈ 1.4 eV 且含铅量尽量低」的目标,给出一批候选钙钛矿成分。
- 给定一段行星运动的观测轨迹,问系统里是否存在一个守恒量、它是什么。
- 给定今天的大气状态场,预测 5 天后的 500 hPa 位势高度。
① 预测(前向)。 输入是结构、输出是标量性质,物理上定义明确。方法:监督回归(图网络或等变网络,见 8.3)。必须做的验证:分布外测试——把训练集里没有的元素组合或环系单独留出,比较内插与外推误差;同时用更高精度方法(如 CCSD(T))抽查若干样本,确认训练标签(若来自 DFT)的泛函误差不是主要瓶颈。
② 反演(逆设计)。 目标是给定期望性质求结构,且带多目标约束(含铅量)。方法:条件生成(按目标性质采样)+ 代理模型打分 + 约束过滤,或直接对连续成分变量做可微优化。必须做的验证:可合成性与稳定性——候选是否价键合法、是否有已知合成路径、是否在有限温度下动力学稳定(8.3 的三关)。
③ 发现。 目标是找出数据里的结构(守恒量的存在与形式),而不是预测一个给定量。方法:符号回归 / 稀疏回归(在候选函数库里搜稀疏表达,如 SINDy 式做法),用「拟合优度 + 复杂度 + 量纲合法」做评分。必须做的验证:独立数据与不变量检验——把表达式放到另一段轨迹上验证不变性,并检查量纲与已知极限情形(例如轨道半径 → 0 时的退化行为)。
④ 预测(前向),但属于「自回归多步」子类。 输入是场、输出也是场,且要迭代 次。方法:数据驱动预报模型(8.5)。必须做的验证:多步与尾部——按业务口径与数值模式在同一初始场上对照 RMSE / ACC,并单独检查极端事件(台风、极端降水)的表现,而不是只看平均误差。
∎8.1.5 可微分推断:把「好 / 坏」换成「往哪走」
科学流程里最贵的环节是实验试错:造一批候选、测一批、再根据结果猜下一批。这套流程本质是没有梯度的黑箱搜索——你只拿到「好 / 坏」,拿不到「往哪个方向改会更好」。深度学习把它逐级改造:
| 台阶 | 你拿到什么 | 优化方式 | 每次迭代的成本 | 典型代表 |
|---|---|---|---|---|
| ① 黑箱试错 | 只有评价结果 | 网格 / 随机 / 贝叶斯优化(无梯度) | 一次实验或一次高精度计算 | 传统湿实验筛选 |
| ② 代理模型 | 一个可微的近似评分函数 | 对 做梯度上升(因为 可微) | 一次网络前向 | 虚拟筛选、势函数、预报模型 |
| ③ 可微仿真 | 仿真器本身的梯度 | 端到端反向传播,梯度穿过物理过程 | 若干次仿真步 + 反向 | 可微分分子动力学、可微流体、可微渲染 |
三级的区别不在精度,而在「梯度从哪来」:① 没有梯度;② 梯度来自一个学出来的近似模型(因此梯度只在模型可信的区域可信);③ 梯度来自物理过程本身(因此要面对离散与不可微,见 8.4)。
实务上的组合顺序通常是「③ 或 ② 生成候选 → ① 验证少量样本 → 数据回填 → 重训」:梯度负责搜索方向,实验负责最终判决(8.3 的主动学习闭环就是这条顺序)。
把三件东西分清楚,才不会把「可微」当成万能钥匙:
- 方向(direction):梯度给出「往哪个方向改参数会让目标变好」的局部信息。这是黑箱搜索拿不到的东西——黑箱只能告诉你当前点的好坏,方向要靠额外采样去猜。
- 敏感度(sensitivity): 本身就是科学上有意义的量(如「改这个键长对结合能的影响有多大」),可以直接用于解释与设计。
- 端到端的可组合性:当每一环都可微时,你可以把「生成 → 仿真 → 评分」串成一张计算图,用一次反向传播拿到贯穿全链路的梯度,而不是在每个接口处断开。
代价也必须说清楚:可微模型给出的梯度只在模型可信区内有意义。用一个在训练分布内精调的代理模型去指导远离分布的优化,梯度会把优化器直接推向「模型最自信但物理上荒谬」的区域——这是「代理模型被利用」的典型形态(在 第 7 讲 的语境里,它就是奖励被过度优化的一种)。所以工程上有两条硬规矩:优化时对 加约束(保持在其可信域内),以及对最终候选永远用独立手段验证。
设模型有 个参数(量级相当于一个小型科学网络,例如 8.3 节里的等变势函数),要估计梯度 。比较两种做法的评估次数与总成本,并说明这条差距为什么是「科学也能用梯度」的前提。
① 有限差分(黑箱梯度的标准做法)。 对每个参数做中心差分 每个参数需要 2 次前向评估(无反向传播),合计 次前向。
② 反向传播。 一次前向 + 一次反向。反向的成本通常按「前向的 倍」估算(每层一次矩阵乘的转置形式,量级取决于具体结构),于是总成本约 倍单次前向。
③ 比值。 若忽略常数并假设一次前向评估的时间为 ,则有限差分约 ,反向传播约 ,比值约 :五十万倍。
④ 这条差距意味着什么。 它意味着「能不能做梯度优化」在科学里不是工程偏好,而是可行性问题:一次 DFT 或一次高保真仿真的成本本来就高,如果估梯度还要再乘 ,梯度优化在科学规模上根本不成立。反向传播把梯度成本压到与前向同阶,才让「用梯度搜索分子 / 材料 / 设计参数」从幻想变成日常。但要记住前提:反向传播要求整条链路(网络、可微的仿真步)都能表达成可微计算图;一旦链路里出现不可微的离散分支,就退回到「近似梯度」,需要额外校验(8.4 会给出校验方法)。
∎与通用大模型路线的差别
8.1.6 数据稀缺、必须物理上立得住
科学模型与通用大模型(语言 / 视觉基础模型)的差别不在「用了多少参数」,而在数据条件与验收方式:
| 维度 | 通用大模型路线 | 科学模型路线 |
|---|---|---|
| 数据 | 规模极大、可自动采集、覆盖广 | 样本数可能很大但标签极稀;高保真标签单价极高 |
| 先验 | 主要靠架构与规模,物理先验基本没有 | 对称性、守恒、方程、局部性可显式写进结构或损失 |
| 成功判据 | 分布内指标、人类偏好、下游泛化 | 外推 + 守恒 + 独立复现;分布内指标只是必要条件 |
| 错误代价 | 体验、事实错误、可用性下降 | 可能进入后续实验设计、工程决策与科学结论(错误会被放大与传递) |
| 可解释需求 | 偏好温和(能调试即可) | 高:需要知道模型依赖什么量、在哪个区间可信 |
| 典型规模瓶颈 | 算力与数据 | 数据与验证(标签与实验速度) |
这张表解释了为什么科学界长期对「大模型直接预测科学问题」保持谨慎:在分布内赢得多,并不代表在科学上有用。
缩放律(scaling law)的经验是:在数据分布覆盖充分的前提下,参数与数据一起扩张通常带来可预测的误差下降。科学场景往往同时破掉两个前提:
- 覆盖不充分:你想问的问题(新元素组合、更极端的温度、更长的预报时效)恰恰是数据里最稀少的部分。此时扩张规模只能改善插值,改善不了你真正关心的那一块。
- 验证昂贵:通用领域可以用更大的测试集来确认进步;科学里确认一个「新发现」的成本可能是几个月实验。误差指标的改善无法自动转化为科学结论的可信度。
于是科学模型的两条现实路线是:把已知约束写进模型(用先验替代缺失的覆盖),以及把模型放在工作流的筛选位置(用实验做最后判决)。这两条路线分别对应本讲的 8.2–8.4 与 8.6。
一个必须避免的误读:这不是说「规模对科学无用」。结构预测(8.2)与预报模型(8.5)恰恰都受益于大规模训练——它们的共同特点是训练分布与使用分布接近,且有明确的评测口径。判断标准始终是同一句话:这个任务的测试分布,和它要被用的分布,是不是同一个?
- 「科学 AI 就是拿大模型去预测科学问题」:错。科学任务的关键差别在先验可写进结构(对称性、守恒、方程)与验证必须独立。把科学问题当普通回归来做,通常能拿到好看的测试分数,却在最需要的地方(外推、新体系)失效。
- 「数据够多就不需要归纳偏置」:条件不成立。对称性带来的等价样本数是连续无穷多的(任意旋转角),数据永远穷举不完;把对称性写成结构约束是唯一能把这件事真正解决的办法,其余都是逼近。
- 「可微 = 一定优化得更好」:可微只保证有方向,不保证方向对。梯度来自近似模型时,它只在模型可信区内可信;来自仿真器时,可能遇到不可微点(8.4)。「能反传」不等于「梯度可信」。
- 「免费标签没有代价」:自动标签继承自动生成器的误差——DFT 的泛函误差、仿真模型的近似、数值格式的离散误差都会传进训练数据。因此需要独立来源的验证,而不是用同一套生成器做「自证」。
- 「三类任务只是说法不同,做法通用」:不通用。预测任务死在分布外、反演任务死在约束、发现任务死在验证;三者的数据需求、评测方式与预算分配都不同。先确定任务类型,再选方法。
Q1 写出科学数据三个特点各自的一条后果,并说明「免费标签」的最主要代价是什么。
Q2 判断下列输出应当不变还是等变,并给出理由:① 分子总能量;② 每个原子受到的力;③ 分子偶极矩向量;④ 两个原子之间的距离。
Q3 用 例 8.1.2 的思路估算:若某科学模型的单次前向成本是 秒、参数规模 ,用有限差分估一次梯度需要多长时间?这个数字说明什么?
参考要点
Q1 三个特点 → 三条后果:结构化先验 → 可以把约束写进结构与损失(免费归纳偏置,省样本省参数);可验证答案 → 标签可由物理或高保真计算自动生成,正确性不依赖标注者;海量弱标注 → 主要矛盾是标签稀缺而非数据稀缺,方法上优先自监督、物理约束与主动学习。免费标签的主要代价是继承自动生成器的误差(DFT 泛函误差、仿真近似、离散误差),所以验证必须来自独立来源。
Q2 ① 不变:能量是标量,整体旋转 / 平移 / 原子编号重排都不改变它。② 等变:力是向量,整体旋转时它跟着旋转()。③ 等变:偶极矩是向量,整体旋转时跟着转(注意在整体平移下偶极矩本身也需要以坐标原点为参考,实际做法是用相对位置定义)。④ 不变:距离是标量, 正交、 抵消,故 。
Q3 有限差分需要 次前向,每次 秒,总计约 秒。换算:一天 秒,故约 天——估一次梯度的代价超过三个月。反向传播下,一次梯度约为 次前向的代价(约 秒),差距约 个数量级。结论:在科学场景里,能否把梯度成本压到与前向同阶,直接决定「基于梯度的设计与优化」是否可行;这也是为什么「把仿真写成可微的」是一笔值得投入的工程账(8.4)。
- Noether, Invariante Variationsprobleme(1918,Nachrichten von der Gesellschaft der Wissenschaften zu Göttingen)——对称性与守恒量对应关系的原始论文;本节 定理 8.1.1 只涉及其两个最常用特例(连续群的一般形式见原文)。
- Raissi, Perdikaris & Karniadakis, Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations(2019,Journal of Computational Physics;预印本 arXiv:1711.10561)——把方程残差写进损失的代表工作,8.4 会详细讨论其边界。
- Karniadakis 等, Physics-informed machine learning(2021,Nature Reviews Physics;素材标注 arXiv:2108.08481,编号需核实)——物理与学习融合路线的综述,适合作为本讲 8.1 与 8.4 之间的桥。
- Brunton & Kutz, Data-Driven Science and Engineering: Machine Learning, Dynamical Systems, and Control(Cambridge University Press, 2019)——从稀疏回归到降阶模型的教科书式处理,8.6 的符号回归一节以它为背景。
- 开源参考实现:
DeepXDE(PINN 工具库)、e3nn(等变网络算子库)、neuraloperator(FNO 等神经算子参考实现)。三者都是论文随附或社区维护项目,接口与版本以官方仓库为准(需核实)。
本节小结:科学数据的三个特点是结构化先验、可验证答案、海量弱标注;它们的直接后果是「用约束换样本、用物理造标签、把实验当稀缺资源」。科学任务分三类:预测(死在分布外)、反演(死在约束)、发现(死在验证)。核心命题是把实验试错变成可微分推断——三级台阶分别给出「无梯度」「近似模型的梯度」「仿真器的梯度」,而 例 8.1.2 说明这条路线的前提是把梯度成本压到与前向同阶。与通用大模型路线的差别不在规模,而在数据稀缺与「必须物理上立得住」:分布内的高分只是必要条件,外推与独立验证才是判决依据。下一节从科学里最成熟的一个案例开始——序列到结构。