Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

8.1 为什么科学适合深度学习

科学是深度学习最反常识的一块应用。前七讲的数据由人制造:图像被标注、文本被书写、轨迹由策略产生。科学数据的生产者是自然——它不受你的标注预算支配,也不按你的采样计划出现。这既带来别处没有的困难,也带来别处没有的机会。

困难是贵与少:一个蛋白质有成千上万个原子,构象空间大到无法枚举;一个气候状态向量可以包含上亿个格点;做一次湿实验、跑一轮高精度量子化学、架一次风洞,代价都是时间与金钱的数量级问题。你能做的实验次数,远少于你想探索的候选数。

机会是结构与规律都是在的:数据库里堆着海量的序列、结构、卫星观测,它们的结构本身就是信息;而物理规律(对称性、守恒律、控制方程)是一份不需要跟你要实验预算的「老师」。于是科学问题的形态特别适合「学习一个从高维输入到目标量的映射」,并且它的标签可以不靠人工标注造出来。

这一节不急着上模型。它只回答三个问题:科学数据到底有哪些特点决定了它的方法?「把实验试错变成可微分推断」这句话确切指什么?科学机器学习的任务可以分成哪几类、各自的失败模式是什么?把这三点讲清楚,后面五节才有共同语言。

科学数据与人造数据的三个差别

8.1.1 三个特点:结构化先验、可验证答案、海量弱标注

定义 8.1.1 · 科学数据的三个特点

把科学任务写成「映射学习」fθ:x↦yf_\theta:\boldsymbol x\mapsto y 之后,它与人造数据集(图像分类、文本生成)的差别集中在三点:

特点 含义 直接后果
结构化先验 存在一批与数据无关、与你观测与否无关的约束:空间对称性(旋转 / 平移 / 置换)、守恒律(能量、动量、质量、电荷)、控制方程(PDE)、局部性(相互作用随距离衰减) 这些约束可以直接写进网络结构或损失,等价于免费的归纳偏置;不写就要靠数据从零学起
可验证答案 每个样本背后有一个客观的、可被独立测量或高精度计算复核的真值(结构、能量、未来状态) 标签的正确性不依赖标注者,因此可以用廉价但高保真的近似(DFT、仿真)自动生成标签;也意味着模型的错误会被现实抓住
海量弱标注 样本数量巨大(序列、构型、格点观测、仿真轨迹),但「带答案」的样本极少,且获得一个新答案的边际成本极高 主要矛盾是标签稀缺而非数据稀缺;方法上应优先自监督、物理约束与主动学习,而不是「先攒数据再训练」

把三点合起来读:科学给深度学习的是「便宜的约束」与「昂贵的答案」——所以聪明的做法是尽可能地用约束换答案,用结构换样本。

为什么「缺标签」才是核心矛盾

监督学习缺的从来不是数据,是标签。科学里绝大多数样本的「答案」都要花实验或高精度计算才能得到,这就把问题变成一个预算分配问题:在固定的实验 / 算力预算下,怎样让模型进步最多?

科学对此有三条回应,恰好对应用掉上面三个特点:

  1. 用结构当标签:一段氨基酸序列旁边没有写着「它的结构是什么」,但序列内部带着共进化约束(8.2 会讲);一个分子构型旁边没有写着「它的能量是多少」,但物理能算(8.3 会讲)。数据自带结构,标签可以从结构里造。
  2. 用方程当标签:PDE 的残差不需要任何观测就能在任意点上计算,于是「让网络满足方程」本身就是一个可优化的目标(8.4 会讲)。
  3. 用实验当稀缺资源:把模型当成筛选器,用它把候选空间从百万级压到几十个,再把实验预算花在这几十个上——这是主动学习(active learning)在科学里的基本位置(8.3 会讲)。

所以科学 AI 的第一条工程判断是:先问「这份任务里,什么约束是免费的」,再问「要花多少实验才能得到一个标签」。 两个问题的答案决定了你该做自监督预训练、物理约束训练,还是主动学习闭环。

8.1.2 结构化先验之一:对称性与守恒律

定义 8.1.2 · 对称变换、不变性与守恒量

设 GG 是一组作用在系统上的变换(如三维旋转群 SO(3)\mathrm{SO}(3)、平移群、原子置换群、晶格平移群),g∈Gg\in G 把系统状态 x\boldsymbol x 映到 gxg\boldsymbol x。

  • 不变性(invariance):输出是标量(如能量、自由能),变换后不变, f(gx)=f(x),∀g∈G.f(g\boldsymbol x)=f(\boldsymbol x),\qquad \forall g\in G .
  • 等变性(equivariance):输出是向量 / 张量(如受力、偶极矩、坐标),变换后跟着一起变, f(gx)=g f(x),∀g∈G.f(g\boldsymbol x)=g\,f(\boldsymbol x),\qquad \forall g\in G .

(这里为简洁把群元素 gg 与它在状态空间上的线性作用写成同一个符号;对旋转 RR 与平移 t\boldsymbol t 就是 gx=Rx+tg\boldsymbol x=R\boldsymbol x+\boldsymbol t,本节后半与 8.2 都用这个具体形式。)

守恒量是另一条线的表述:若某个标量 I(x,x˙)I(\boldsymbol x,\dot{\boldsymbol x}) 沿系统的真实演化不变(ddtI=0\frac{d}{dt}I=0),称它是系统的一个守恒量(能量、动量、角动量、电荷、粒子数……)。

把对称性读成「同一份数据的不同写法」

一个模型如果不知道「转 90 度的分子还是同一个分子」,它就必须从数据里把这件事重新学一遍:看见一个构象、再看它转过的版本、再转 45 度……无数等价样本被当成不同样本去记。

把对称性写进结构,等于预先告诉它这些样本是一回事。收益是双重的:参数被约束住(本来要学的自由度直接消掉),样本效率更高(不必靠数据穷举所有朝向)。这和我们用卷积把「平移不变」写进图像网络的道理相同——归纳偏置与任务的对称性匹配,是深度学习最可靠的红利。

但要留意一个区别:不变与等变不是同一件事。标量输出(能量)应当不变;向量输出(力、坐标)应当等变。选错的话,网络会被要求用容量去「学回」一个本来就成立的关系,代价就是样本效率与泛化能力(8.2 会给出判断方法)。

定理 8.1.1 · 连续对称与守恒量的对应(Noether 定理)

设系统的动力学由拉格朗日量 L(q1,…,qn,q˙1,…,q˙n,t)L(q_1,\dots,q_n,\dot q_1,\dots,\dot q_n,t) 描述,运动满足欧拉–拉格朗日方程 ddt∂L∂q˙i=∂L∂qi,i=1,…,n.\frac{d}{dt}\frac{\partial L}{\partial \dot q_i}=\frac{\partial L}{\partial q_i},\qquad i=1,\dots,n . 则每一个连续对称性对应一个守恒量:

  1. LL 不显含某个坐标 qiq_i(沿该方向平移对称)⟹\Longrightarrow 共轭动量 pi=∂L∂q˙ip_i=\dfrac{\partial L}{\partial \dot q_i} 守恒;
  2. LL 不显含时间 tt(时间平移对称)⟹\Longrightarrow 能量 E=∑iq˙i∂L∂q˙i−LE=\sum_i \dot q_i\dfrac{\partial L}{\partial \dot q_i}-L 守恒。

(Noether, 1918;这里给出两个最常用特例的陈述与证明骨架,完整定理含连续群的一般形式。)

证明(两个特例都是「把 EL 方程两边乘一乘」)

特例 1(循环坐标)。 若 ∂L/∂qi=0\partial L/\partial q_i=0,EL 方程右侧为零,于是 ddt(∂L/∂q˙i)=0\frac{d}{dt}\bigl(\partial L/\partial \dot q_i\bigr)=0,即 pi=∂L/∂q˙ip_i=\partial L/\partial \dot q_i 沿轨迹为常数。取自由粒子 L=12mq˙2L=\frac12 m\dot q^2:∂L/∂q=0\partial L/\partial q=0 故 p=mq˙p=m\dot q 守恒——这正是「空间均匀(平移对称)意味着动量守恒」。

特例 2(能量)。 对 E=∑iq˙i∂L∂q˙i−LE=\sum_i\dot q_i\frac{\partial L}{\partial \dot q_i}-L 求时间导数: dEdt=∑i(q¨i∂L∂q˙i+q˙iddt∂L∂q˙i−∂L∂qiq˙i−∂L∂q˙iq¨i)−∂L∂t=∑iq˙i(ddt∂L∂q˙i−∂L∂qi)−∂L∂t.\frac{dE}{dt}=\sum_i\Bigl(\ddot q_i\frac{\partial L}{\partial \dot q_i}+\dot q_i\frac{d}{dt}\frac{\partial L}{\partial \dot q_i}-\frac{\partial L}{\partial q_i}\dot q_i-\frac{\partial L}{\partial \dot q_i}\ddot q_i\Bigr)-\frac{\partial L}{\partial t} =\sum_i\dot q_i\Bigl(\frac{d}{dt}\frac{\partial L}{\partial \dot q_i}-\frac{\partial L}{\partial q_i}\Bigr)-\frac{\partial L}{\partial t}. 第一项按 EL 方程恒为零,故 dEdt=−∂L∂t\frac{dE}{dt}=-\frac{\partial L}{\partial t}。若 LL 不显含 tt,右端为零,EE 守恒——「时间均匀意味着能量守恒」。■\blacksquare

∎
守恒律对深度学习意味着什么

定理 8.1.1 的实用价值不在物理课,而在给模型装约束。两条最直接的用法:

  • 守恒量可以做成损失项或结构约束:例如对长时间分子动力学,要求模型预测的总能量沿轨迹不漂移;对流体,要求离散的质量通量守恒。测量「模型违反守恒多少」是不需要真值就能做的检查(8.4 会把它列为三类评测之一)。
  • 守恒量可以做成监督信号:若你知道某个量必须守恒,就可以在没有标签的轨迹上用「守恒误差」当损失——这就是「物理免费造标签」的最朴素形态。

要注意守恒律的边界:它只在给定动力学与理想条件下成立。数值离散会破坏守恒(离散格式是否保能量是一门专门技术),模型近似也会破坏守恒,而现实中还存在耗散、开边界、外力——守恒律的违反不一定是 bug,要看系统是否真的孤立。这条判断在 8.5 的气候讨论里会再出现一次。

8.1.3 可验证答案:把「免费标签」造出来

三类自监督 / 自动标签的做法(科学里的常见配方)

「弱标注」的应对方式可以归纳成三张配方,它们分别用掉了三个特点里的一个:

做法 标签从哪来 典型形式 对应特点 代表方向
结构自监督 数据自身的结构(遮挡、上下文) 掩码预测:随机遮住一部分输入,让网络预测它 海量弱标注 蛋白语言模型(ESM 系列,见 8.2)
物理标签 高精度计算或物理模型(DFT、仿真) 用廉价的高保真计算给海量构型打标签,训练快速代理 可验证答案 机器学习势函数(MACE / NequIP,见 8.3)
方程残差 控制方程本身 在任意采样点上算残差并最小化,无需观测 结构化先验 PINN(见 8.4)

三条配方可以叠加:先用自监督在大规模无标签数据上预训练,再用物理标签微调,最后用方程残差做约束微调——这正是当前科学模型训练的常见骨架(工程惯例,具体配比随任务而变)。

为什么科学可以「不要人工标注」,而别处不行

答案分两层,值得分开看:

第一层:标签可以自动化。 图像数据的标签要靠人看;蛋白质结构的标签可以由实验解析(贵但可自动化到数据库),分子能量的标签可以由 DFT 计算(贵但可自动化到集群),PDE 解可以数值求解。只要标签能从「计算或测量」里来,就不需要人——这是科学独有的便利。

第二层:约束可以当正则。 即使完全没有标签,对称性、守恒律、方程残差也提供了「这个预测是否物理上合法」的判据。这层约束在别处不存在(没有哪条自然律规定「一句话必须符合语法且不得重复」),因此科学模型的无监督信号质量远高于通用领域。

但请记住这层的代价:自动标签继承自动生成器的误差。用 DFT 训的势函数,其精度上限被 DFT 的泛函误差限制;用仿真训的代理模型,其误差上限被仿真模型本身的近似限制。所以「免费标签」不是「无代价标签」,它把误差从标注者转移到了物理模型上——这也是为什么模型评估必须与独立来源(实验、更高精度计算)对照(8.3、8.6)。

从实验试错到可微分推断

8.1.4 三类任务:预测、反演、发现

定义 8.1.3 · 科学机器学习的三类任务

把科学问题写成「映射学习」后,落进来的任务分三类(比旧版的两类多出第三类,它正是近年来增长最快的一块):

任务 形式化 输入 → 输出 数据需求 典型方法
预测(前向问题) 学 fθ:x↦yf_\theta:\boldsymbol x\mapsto y 结构 / 条件 → 性质、未来状态 需要(标签可由物理或仿真生成) 监督回归、代理模型、势函数、预报模型
反演(设计问题) 求 x⋆\boldsymbol x^\star 使 y(x⋆)=y⋆y(\boldsymbol x^\star)=y^\star;或采样 x∼pθ(x∣y⋆)\boldsymbol x\sim p_\theta(\boldsymbol x\mid y^\star) 目标性质 → 结构 常不需要成对标签,需要生成模型或可微目标 条件生成、贝叶斯优化、可微优化
发现(结构与规律) 从数据中找出新的量或关系:新守恒量、新的有效方程、新的候选结构 观测 → 表达式 / 判据 / 候选清单 需要可验证的评分器(拟合误差、量纲、守恒、形式证明) 符号回归、程序搜索、主动学习探索

三类任务像「求值」「求反函数」与「找规律」:前向问题通常有明确的物理定义,适合监督回归;反演问题往往多解、欠定(许多分子能给出同一种性质),因此更需要生成模型与优化,而不是单点回归;发现类任务的产出是可验证的陈述,因此它天然与「验证器」绑定(8.6 会展开)。

三类任务的失败模式完全不同

把它们混在一起是选题阶段最常见的错误。三类任务各自最容易死在什么地方:

  • 预测任务死在分布外:训练分布内精度再高,也不能保证在新元素、新构型、更长时间上成立(8.6 的外推三判据就是给这类任务准备的体检表)。
  • 反演任务死在约束上:生成模型可能给出化学上无效、合不出来、或一合成就分解的结构——样本「像真的」与「能用」是两件事(8.3)。
  • 发现任务死在验证上:搜出来的表达式可能只是拟合技巧(量纲错、在数据外立刻崩),候选清单可能只是数据库比对口径的产物(8.3 的新颖性争议)。

因此在动手之前先写下三件事:这是哪一类任务、它的失败模式是哪一条、我用什么证据区分「成功」与「碰巧」。

例 8.1.1 · 把四个问题各归一类并给出方法

把下列四个问题归入 定义 8.1.3 的三类,并各指出一种合适的做法与一条必须做的验证:

  1. 给定一个有机分子的二维连接表,预测它的 HOMO–LUMO 能隙。
  2. 给定「带隙 ≈ 1.4 eV 且含铅量尽量低」的目标,给出一批候选钙钛矿成分。
  3. 给定一段行星运动的观测轨迹,问系统里是否存在一个守恒量、它是什么。
  4. 给定今天的大气状态场,预测 5 天后的 500 hPa 位势高度。
解

① 预测(前向)。 输入是结构、输出是标量性质,物理上定义明确。方法:监督回归(图网络或等变网络,见 8.3)。必须做的验证:分布外测试——把训练集里没有的元素组合或环系单独留出,比较内插与外推误差;同时用更高精度方法(如 CCSD(T))抽查若干样本,确认训练标签(若来自 DFT)的泛函误差不是主要瓶颈。

② 反演(逆设计)。 目标是给定期望性质求结构,且带多目标约束(含铅量)。方法:条件生成(按目标性质采样)+ 代理模型打分 + 约束过滤,或直接对连续成分变量做可微优化。必须做的验证:可合成性与稳定性——候选是否价键合法、是否有已知合成路径、是否在有限温度下动力学稳定(8.3 的三关)。

③ 发现。 目标是找出数据里的结构(守恒量的存在与形式),而不是预测一个给定量。方法:符号回归 / 稀疏回归(在候选函数库里搜稀疏表达,如 SINDy 式做法),用「拟合优度 + 复杂度 + 量纲合法」做评分。必须做的验证:独立数据与不变量检验——把表达式放到另一段轨迹上验证不变性,并检查量纲与已知极限情形(例如轨道半径 → 0 时的退化行为)。

④ 预测(前向),但属于「自回归多步」子类。 输入是场、输出也是场,且要迭代 TT 次。方法:数据驱动预报模型(8.5)。必须做的验证:多步与尾部——按业务口径与数值模式在同一初始场上对照 RMSE / ACC,并单独检查极端事件(台风、极端降水)的表现,而不是只看平均误差。■\blacksquare

∎

8.1.5 可微分推断:把「好 / 坏」换成「往哪走」

科学流程的三级台阶(从黑箱试错到可微仿真)

科学流程里最贵的环节是实验试错:造一批候选、测一批、再根据结果猜下一批。这套流程本质是没有梯度的黑箱搜索——你只拿到「好 / 坏」,拿不到「往哪个方向改会更好」。深度学习把它逐级改造:

台阶 你拿到什么 优化方式 每次迭代的成本 典型代表
① 黑箱试错 只有评价结果 网格 / 随机 / 贝叶斯优化(无梯度) 一次实验或一次高精度计算 传统湿实验筛选
② 代理模型 一个可微的近似评分函数 y^θ(x)\hat y_\theta(\boldsymbol x) 对 x\boldsymbol x 做梯度上升(因为 y^θ\hat y_\theta 可微) 一次网络前向 虚拟筛选、势函数、预报模型
③ 可微仿真 仿真器本身的梯度 ∂y/∂θ\partial \boldsymbol y/\partial\boldsymbol\theta 端到端反向传播,梯度穿过物理过程 若干次仿真步 + 反向 可微分分子动力学、可微流体、可微渲染

三级的区别不在精度,而在「梯度从哪来」:① 没有梯度;② 梯度来自一个学出来的近似模型(因此梯度只在模型可信的区域可信);③ 梯度来自物理过程本身(因此要面对离散与不可微,见 8.4)。

实务上的组合顺序通常是「③ 或 ② 生成候选 → ① 验证少量样本 → 数据回填 → 重训」:梯度负责搜索方向,实验负责最终判决(8.3 的主动学习闭环就是这条顺序)。

「可微」到底买到了什么

把三件东西分清楚,才不会把「可微」当成万能钥匙:

  • 方向(direction):梯度给出「往哪个方向改参数会让目标变好」的局部信息。这是黑箱搜索拿不到的东西——黑箱只能告诉你当前点的好坏,方向要靠额外采样去猜。
  • 敏感度(sensitivity):∂y/∂x\partial y/\partial x 本身就是科学上有意义的量(如「改这个键长对结合能的影响有多大」),可以直接用于解释与设计。
  • 端到端的可组合性:当每一环都可微时,你可以把「生成 → 仿真 → 评分」串成一张计算图,用一次反向传播拿到贯穿全链路的梯度,而不是在每个接口处断开。

代价也必须说清楚:可微模型给出的梯度只在模型可信区内有意义。用一个在训练分布内精调的代理模型去指导远离分布的优化,梯度会把优化器直接推向「模型最自信但物理上荒谬」的区域——这是「代理模型被利用」的典型形态(在 第 7 讲 的语境里,它就是奖励被过度优化的一种)。所以工程上有两条硬规矩:优化时对 x\boldsymbol x 加约束(保持在其可信域内),以及对最终候选永远用独立手段验证。

例 8.1.2 · 有限差分与反向传播:代价差在哪

设模型有 d=106d=10^6 个参数(量级相当于一个小型科学网络,例如 8.3 节里的等变势函数),要估计梯度 ∇θL\nabla_\theta \mathcal L。比较两种做法的评估次数与总成本,并说明这条差距为什么是「科学也能用梯度」的前提。

解

① 有限差分(黑箱梯度的标准做法)。 对每个参数做中心差分 ∂L∂θi≈L(θi+h)−L(θi−h)2h,\frac{\partial \mathcal L}{\partial \theta_i}\approx\frac{\mathcal L(\theta_i+h)-\mathcal L(\theta_i-h)}{2h}, 每个参数需要 2 次前向评估(无反向传播),合计 2d=2×1062d=2\times10^{6} 次前向。

② 反向传播。 一次前向 + 一次反向。反向的成本通常按「前向的 2∼32\sim3 倍」估算(每层一次矩阵乘的转置形式,量级取决于具体结构),于是总成本约 3∼43\sim4 倍单次前向。

③ 比值。 若忽略常数并假设一次前向评估的时间为 tt,则有限差分约 2×106t2\times10^{6}t,反向传播约 4t4t,比值约 5×1055\times10^{5}:五十万倍。

④ 这条差距意味着什么。 它意味着「能不能做梯度优化」在科学里不是工程偏好,而是可行性问题:一次 DFT 或一次高保真仿真的成本本来就高,如果估梯度还要再乘 10610^6,梯度优化在科学规模上根本不成立。反向传播把梯度成本压到与前向同阶,才让「用梯度搜索分子 / 材料 / 设计参数」从幻想变成日常。但要记住前提:反向传播要求整条链路(网络、可微的仿真步)都能表达成可微计算图;一旦链路里出现不可微的离散分支,就退回到「近似梯度」,需要额外校验(8.4 会给出校验方法)。■\blacksquare

∎

与通用大模型路线的差别

8.1.6 数据稀缺、必须物理上立得住

科学模型与通用大模型(语言 / 视觉基础模型)的差别不在「用了多少参数」,而在数据条件与验收方式:

维度通用大模型路线科学模型路线
数据规模极大、可自动采集、覆盖广样本数可能很大但标签极稀;高保真标签单价极高
先验主要靠架构与规模,物理先验基本没有对称性、守恒、方程、局部性可显式写进结构或损失
成功判据分布内指标、人类偏好、下游泛化外推 + 守恒 + 独立复现;分布内指标只是必要条件
错误代价体验、事实错误、可用性下降可能进入后续实验设计、工程决策与科学结论(错误会被放大与传递)
可解释需求偏好温和(能调试即可)高:需要知道模型依赖什么量、在哪个区间可信
典型规模瓶颈算力与数据数据与验证(标签与实验速度)

这张表解释了为什么科学界长期对「大模型直接预测科学问题」保持谨慎:在分布内赢得多,并不代表在科学上有用。

科学为什么不能只靠「堆数据 + 堆参数」

缩放律(scaling law)的经验是:在数据分布覆盖充分的前提下,参数与数据一起扩张通常带来可预测的误差下降。科学场景往往同时破掉两个前提:

  • 覆盖不充分:你想问的问题(新元素组合、更极端的温度、更长的预报时效)恰恰是数据里最稀少的部分。此时扩张规模只能改善插值,改善不了你真正关心的那一块。
  • 验证昂贵:通用领域可以用更大的测试集来确认进步;科学里确认一个「新发现」的成本可能是几个月实验。误差指标的改善无法自动转化为科学结论的可信度。

于是科学模型的两条现实路线是:把已知约束写进模型(用先验替代缺失的覆盖),以及把模型放在工作流的筛选位置(用实验做最后判决)。这两条路线分别对应本讲的 8.2–8.4 与 8.6。

一个必须避免的误读:这不是说「规模对科学无用」。结构预测(8.2)与预报模型(8.5)恰恰都受益于大规模训练——它们的共同特点是训练分布与使用分布接近,且有明确的评测口径。判断标准始终是同一句话:这个任务的测试分布,和它要被用的分布,是不是同一个?

本节五个常见误解
  1. 「科学 AI 就是拿大模型去预测科学问题」:错。科学任务的关键差别在先验可写进结构(对称性、守恒、方程)与验证必须独立。把科学问题当普通回归来做,通常能拿到好看的测试分数,却在最需要的地方(外推、新体系)失效。
  2. 「数据够多就不需要归纳偏置」:条件不成立。对称性带来的等价样本数是连续无穷多的(任意旋转角),数据永远穷举不完;把对称性写成结构约束是唯一能把这件事真正解决的办法,其余都是逼近。
  3. 「可微 = 一定优化得更好」:可微只保证有方向,不保证方向对。梯度来自近似模型时,它只在模型可信区内可信;来自仿真器时,可能遇到不可微点(8.4)。「能反传」不等于「梯度可信」。
  4. 「免费标签没有代价」:自动标签继承自动生成器的误差——DFT 的泛函误差、仿真模型的近似、数值格式的离散误差都会传进训练数据。因此需要独立来源的验证,而不是用同一套生成器做「自证」。
  5. 「三类任务只是说法不同,做法通用」:不通用。预测任务死在分布外、反演任务死在约束、发现任务死在验证;三者的数据需求、评测方式与预算分配都不同。先确定任务类型,再选方法。
即时自测 · 8.1

Q1 写出科学数据三个特点各自的一条后果,并说明「免费标签」的最主要代价是什么。

Q2 判断下列输出应当不变还是等变,并给出理由:① 分子总能量;② 每个原子受到的力;③ 分子偶极矩向量;④ 两个原子之间的距离。

Q3 用 例 8.1.2 的思路估算:若某科学模型的单次前向成本是 t=0.5t=0.5 秒、参数规模 d=107d=10^7,用有限差分估一次梯度需要多长时间?这个数字说明什么?

参考要点

Q1 三个特点 → 三条后果:结构化先验 → 可以把约束写进结构与损失(免费归纳偏置,省样本省参数);可验证答案 → 标签可由物理或高保真计算自动生成,正确性不依赖标注者;海量弱标注 → 主要矛盾是标签稀缺而非数据稀缺,方法上优先自监督、物理约束与主动学习。免费标签的主要代价是继承自动生成器的误差(DFT 泛函误差、仿真近似、离散误差),所以验证必须来自独立来源。

Q2 ① 不变:能量是标量,整体旋转 / 平移 / 原子编号重排都不改变它。② 等变:力是向量,整体旋转时它跟着旋转(F↦RFF\mapsto RF)。③ 等变:偶极矩是向量,整体旋转时跟着转(注意在整体平移下偶极矩本身也需要以坐标原点为参考,实际做法是用相对位置定义)。④ 不变:距离是标量,RR 正交、tt 抵消,故 ∥(Rxi+t)−(Rxj+t)∥=∥xi−xj∥\lVert (R x_i+t)-(R x_j+t)\rVert=\lVert x_i-x_j\rVert。

Q3 有限差分需要 2d=2×1072d=2\times10^{7} 次前向,每次 0.50.5 秒,总计约 10710^{7} 秒。换算:一天 8640086400 秒,故约 116116 天——估一次梯度的代价超过三个月。反向传播下,一次梯度约为 3∼43\sim4 次前向的代价(约 22 秒),差距约 55 个数量级。结论:在科学场景里,能否把梯度成本压到与前向同阶,直接决定「基于梯度的设计与优化」是否可行;这也是为什么「把仿真写成可微的」是一笔值得投入的工程账(8.4)。

延伸阅读
  • Noether, Invariante Variationsprobleme(1918,Nachrichten von der Gesellschaft der Wissenschaften zu Göttingen)——对称性与守恒量对应关系的原始论文;本节 定理 8.1.1 只涉及其两个最常用特例(连续群的一般形式见原文)。
  • Raissi, Perdikaris & Karniadakis, Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations(2019,Journal of Computational Physics;预印本 arXiv:1711.10561)——把方程残差写进损失的代表工作,8.4 会详细讨论其边界。
  • Karniadakis 等, Physics-informed machine learning(2021,Nature Reviews Physics;素材标注 arXiv:2108.08481,编号需核实)——物理与学习融合路线的综述,适合作为本讲 8.1 与 8.4 之间的桥。
  • Brunton & Kutz, Data-Driven Science and Engineering: Machine Learning, Dynamical Systems, and Control(Cambridge University Press, 2019)——从稀疏回归到降阶模型的教科书式处理,8.6 的符号回归一节以它为背景。
  • 开源参考实现:DeepXDE(PINN 工具库)、e3nn(等变网络算子库)、neuraloperator(FNO 等神经算子参考实现)。三者都是论文随附或社区维护项目,接口与版本以官方仓库为准(需核实)。

本节小结:科学数据的三个特点是结构化先验、可验证答案、海量弱标注;它们的直接后果是「用约束换样本、用物理造标签、把实验当稀缺资源」。科学任务分三类:预测(死在分布外)、反演(死在约束)、发现(死在验证)。核心命题是把实验试错变成可微分推断——三级台阶分别给出「无梯度」「近似模型的梯度」「仿真器的梯度」,而 例 8.1.2 说明这条路线的前提是把梯度成本压到与前向同阶。与通用大模型路线的差别不在规模,而在数据稀缺与「必须物理上立得住」:分布内的高分只是必要条件,外推与独立验证才是判决依据。下一节从科学里最成熟的一个案例开始——序列到结构。