PINNs ｜精选 · 论文推荐

AI for Science｜第十五期

基于域分解的并行物理神经网络

Parallel physics-informed neural networks via domain decomposition

第一作者：Khemraj Shukla

作者单位: 美国布朗大学应用数学系

Journal of Computational Physics

论文主页：

https://www.sciencedirect.com/science/article/pii/S0021999121005787?via%3Dihub

论文｜PDF 下载 ↓

https://www.jianguoyun.com/p/DeeMjWIQ7P3jDRiSsZYGIAA

开源代码 ↓

未开源

点击打印论文信息

Published 2021-12

多尺度PDE让PINN训练常被成本 “卡脖子” 。 布朗大学Shukla等在计算物理顶刊JCP提出并行框架 ，通过 域分解 将计算区域"拆分成独立子问题"，让每个子网络 专注求解局部区域 ，不仅实现了真正的并行计算，还能灵活调优每个子域的超参数。这项工作为PINNs走向工业级大规模应用铺平了道路。

研究背景 · 问题意识

研究背景

物理信息神经网络 (PINNs)自2019年提出以来，已成为科学计算的明星方法，通过将物理方程嵌入神经网络训练， 实现了数据驱动与机理驱动的完美融合 。然而，PINNs在工业应用中面临瓶颈：当问题规模扩大到三维流场、多尺度材料或复杂几何时，单个神经网络需要逼近的函数极其复杂，导致 训练时间从几分钟暴涨到数天甚至数周 。

传统深度学习有成熟的并行策略： 数据并行 将训练样本分配到多个GPU， 模型并行 将网络层分配到不同设备。然而，这两种方法对PINNs效果有限。原因在于 科学计算的特殊性 ：首先，PINNs的训练数据是在时空域上采样的配点，数据量通常不大(几千到几万个点)， 数据并行无法充分利用多设备 ；其次，PINNs的网络结构并不像ResNet那样层数极深， 模型并行的收益也不明显 。更关键的是， 多尺度物理问题在不同区域特征差异巨大 (如激波附近梯度陡峭，远场变化平缓)，单一网络架构和超参数设置难以兼顾。

问题意识

核心矛盾在于： 物理问题本身具有空间和时间上的可分解性 (如不同区域的流体遵循相同物理定律但局部特征不同)，而 传统PINNs却用一个全局神经网络强行逼近整个解空间。 这就像让一个人同时记住地图上每个角落的细节，效率必然低下。

研究团队提出的关键问题是： 能否像传统数值方法(如区域分解法)那样，将物理域"切块"后分配给多个子网络并行训练，每个网络只需关注局部区域，同时通过界面条件保证全局解的连续性？

研究意义 · 方法论 · 创新点

研究意义

这项研究为PINNs构建了基于域分解的 分布式并行框架 ，为科学机器学习增加了一个全新的并行维度。 理论上 ，它突破了单网络表达能力的瓶颈，用多个"小而精"的网络替代"大而全"的单体结构； 工程上 ，实现了真正的多GPU/多节点可扩展性，为工业级大规模问题求解提供了现实路径；方法论上，打通了经典数值计算(域分解)与深度学习的桥梁，为后续研究提供了新思路。

方法论

研究团队基于两种域分解PINNs变体构建并行算法：

① 守恒型PINNs(cPINNs) ：针对守恒律方程，将空间域分解为多个子域，在界面处强制状态量及其通量连续。 每个子域用独立神经网络逼近，通过界面损失项耦合。

② 扩展型PINNs(XPINNs) ：适用于一般偏微分方程，支持时空联合分解，可处理任意不规则几何。 界面条件通过状态量和梯度的L2范数匹配实现。

训练流程采用 交替迭代 ：先固定界面值训练各子域，再更新界面条件，循环直至全局收敛。整体思路： 域→网→拼 。

① 将空间或时空域划分为若干子域；

② 每个子域配独立PINN，损失含数据、残差与界面项；cPINN在空间接口施加解与通量连续，XPINN还可施加残差连续；

③ 采用MPI+X（X=CPU/GPU）混合并行，邻接子域用点到点非阻塞通信，仅交换界面所需量；

④ 各子域并行优化（ADAM/L-BFGS），周期性在界面上同步，再拼接成全域解。

优化策略： 每个子域可独立选择网络架构(层数、宽度)、激活函数、学习率，实现超参数的 "因地制宜"。

创新点

① 超参数并行优化： 不同于传统数据/模型并行的全局统一参数，该方法允许每个子域独立调优。例如激波区域用小学习率+密集配点，平滑区域用大学习率+稀疏配点，充分发挥局部网络的灵活性。

② 灵活的分解策略： cPINNs只能做空间分解，XPINNs可实现时空联合分解。对于长时间演化问题，可按时间切片后每个时间段并行训练，突破传统PINNs必须串行推进的限制。

③任意几何适应性： XPINNs支持不规则子域划分，可根据物理特征(如复杂边界、材料界面)自适应分区，而非机械的矩形网格划分。

④ 通信开销优化： 相比数据并行需要在每个epoch同步全局梯度，域分解并行只需在界面配点通信，通信量与界面面积成正比而非总自由度，大幅降低通信瓶颈。

实验结果 · 研究结论 ·

实验结果

研究团队在CPU和GPU集群上进行了系统的性能测试：

弱扩展性测试 (保持每个子域问题规模不变，增加子域数量)： 一维Burgers方程 ：从2子域到8子域，cPINNs和XPINNs均实现近线性加速，效率保持在85%以上 二维扩散方程 ：16子域下XPINNs加速比达14.2倍(理想值16倍)，通信开销仅占总时间的8%

强扩展性测试 (固定总问题规模，增加并行进程数)： 在8个GPU上求解固定规模的 Navier-Stokes方程 ，XPINNs相比单GPU实现6.3倍加速。 cPINNs由于只能空间分解，强扩展性略弱于XPINNs(5.8倍加速)，但通信成本更低。

实际应用案例 ： 美国地图扩散问题

将美国地图分为10个不规则子域(对应10个州的形状)，每个子域赋予不同的扩散系数。 这是一个 反问题 ：从部分观测数据反推各州的扩散系数。 XPINNs成功识别所有10个参数(平均误差

关键发现 ： 子域数增加时，每个子网络的表达能力需求降低，可使用 更浅更窄 的网络，训练速度反而提升。 对于多尺度问题，域分解带来的 精度提升 甚至超过并行带来的速度提升(如激波捕捉精度提高30%)。 XPINNs的 时空分解能力 使其在时间相关问题上优势明显，而cPINNs在稳态问题的通信效率更高。

研究结论

研究揭示了PINNs并行化的本质规律： 域分解并行不只是工程优化，更是物理问题内在结构的自然体现。 多尺度、多物理场耦合问题本身就具有分区特性， 域分解使得算法结构与物理结构对齐 ，带来 "1+1>2" 的协同效应。

定量分析表明，相比传统数据并行， 域分解并行在科学计算场景下具有三大优势 ：

通信效率高： 通信量与界面维度成正比(d-1维)，而数据并行与总维度成正比(d维)，高维问题优势显著。

收敛速度快： 局部网络捕捉局部特征更精准，减少 "牛刀杀鸡" 的表达冗余，收敛所需迭代次数减少40-60%。

鲁棒性强： 单个子域训练失败不影响其他子域，容错性好；全局统一网络一旦陷入局部极小值则全盘皆输。

研究还发现， 最优子域数量并非越多越好 ，存在 "甜蜜点" ：子域过少无法充分并行，子域过多则界面数量激增、通信开销反噬加速比。对于二维问题，4-16个子域通常最优；三维问题可扩展到64-256个子域。

论文评价 · 未来展望

领域贡献

这篇论文是PINNs 从实验室走向工业应用 的关键里程碑，为大规模科学计算提供了可行的并行方案。 学术贡献 体现在：首次系统地将经典域分解思想引入物理神经网络，证明了科学计算的传统智慧与深度学习的完美兼容性；提出的MPI+X混合编程框架为后续研究提供了可复用的软件架构；通过详尽的弱/强扩展性分析，为实际应用提供了性能预测模型。

工业价值显著 ：NVIDIA、西门子等企业计划将域分解PINNs集成到仿真平台中，用于汽车气动设计(数小时完成原本数天的优化)、建筑通风模拟(实时预测不同楼层温度分布)等场景。学术界基于此工作已衍生出自适应域分解、多保真度融合等十余个研究方向。

局限不足

方法存在三个主要挑战：

界面处理难题： 虽然通过损失函数强制界面连续，但对于强间断问题(如激波、接触间断)，界面附近的梯度可能极大，导致训练不稳定。研究中采用的L2范数匹配对间断不够友好，后续需要探索更鲁棒的界面条件(如弱形式、特征分解)。

负载均衡问题： 如果各子域物理复杂度差异大(如一个子域包含湍流区，另一个是层流区)，训练时间会严重不均衡，快的进程等待慢的进程，拖累整体效率。论文中未提供动态负载均衡策略，实际应用中需要根据训练进度动态调整子域大小或配点密度。

超参数调优成本： 虽然每个子域可独立调优是优势，但也意味着超参数搜索空间呈指数级增长(N个子域需要优化N组参数)。论文展示的案例都是人工设定，缺乏自动化超参数选择算法。对于真实工业问题，需要借助自适应方法或迁移学习来降低调优成本。

理论分析不足： 论文主要是实验性工作，缺乏对收敛性、误差传播、最优分解策略的严格数学证明。例如，界面损失权重如何选取、子域重叠是否有益、时空分解的最优比例等问题，仍需理论研究支撑。

未来方向

方向1-自适应域分解 ：开发基于物理特征(如梯度、曲率、能量)的自适应分区算法，在复杂区域细分、简单区域粗化，动态调整子域边界以平衡计算负载。结合强化学习训练"分区智能体"，学习最优分解策略。

方向2-多保真度融合 ：在粗网格子域用快速低保真模型(如简化物理方程或数据驱动模型)预测，在关键子域用高保真PINNs精修，构建"粗-细"两级并行框架，进一步降低总计算成本。

方向3-时空自适应并行 ：对于长时间演化问题，根据解的时间尺度动态调整时间分解粒度。快速变化阶段密集分割，稳态阶段大步长跨越，实现"时间上的AMR(自适应网格细化)"。

方向4-异构并行 ：将cPINNs(低通信开销)用于CPU集群，XPINNs(高并行度)用于GPU集群，根据硬件特点选择分解策略，构建CPU-GPU协同的异构计算框架。

方向5-因果学习增强 ：在时间域分解中引入因果约束，确保前一时间段的解能正确传播到后续时段，避免误差累积。可借鉴Transformer的注意力机制捕捉长程时间依赖。

欢迎讨论

如果让你设计一个"理想的并行PINNs框架"，你会加入哪些功能？XPINN的界面条件还可加入哪些“物理不变量”？ 欢迎在评论区分享你的想法！

关注 智核学术｜ 少走弯弯路