西工大团队：面向 ODIL 与 PINNs 的良态损失 SGR，突破矩阵条件数平方放大瓶颈

一、研究背景与核心痛点解读两大 PDE 优化求解框架OBS 优化求解器目前用最小化损失函数求解偏微分方程分为两类主流范式统称优化型 PDE 求解器 OBSODIL离散损失优化直接以网格离散变量为优化变量无神经网络贴近传统 CFD 数值离散PINNs物理信息神经网络分两类PINNs-ND基于数值离散构建残差PINNs-AD自动微分构造 PDE 残差工业界最常用。与之对比的是经典迭代求解器 ISCG、GMRES 等直接迭代离散代数方程组是传统 CFD 基准工具。行业公认核心矛盾本文切入点OBSODIL/PINNs优势极强天然融合多类约束、适配反问题 / 参数化问题、统一建模但致命缺陷收敛速度比 CG、GMRES 慢数个数量级网格加密、方程病态时差距进一步拉大。过往研究仅直观发现该现象未从矩阵条件数、等价迭代格式底层机理完整解释慢收敛根源也缺少通用改进方案。底层根源MSE 损失天然放大条件数现有 ODIL、PINNs 几乎全部使用残差均方 MSE 作为损失本文核心理论突破点最小化 MSE 等价于求解原离散方程组的正规方程(ATA\boldsymbol{x}AT\boldsymbol{b})原离散算子矩阵A条件数(cond(A))正规方程矩阵(ATA)条件数(cond(ATA)[cond(A)]^2)MSE 会平方放大系统病态程度直接导致梯度下降、Adam、LBFGS 迭代步数暴增这是优化求解器慢收敛的根本瓶颈。二、理论推导分层解读SPD 对称正定系统→非对称非线性系统阶段 1对称正定 SPD 系统泊松方程类线性椭圆方程1、理想损失QP 二次损失仅适用于 SPD 矩阵梯度直接等于原方程残差等价于直接求解(A\boldsymbol{x}\boldsymbol{b})无条件数平方放大CG 优化 QP 损失和经典 CG 迭代完全等效收敛速度最优。2、通用缺陷QP 损失无法推广至非对称、非线性 PDE当离散矩阵A非对称时① QP 目标非凸、无下界② 方程真实解不再是 QP 损失的极值点无法使用。3、PINNs 拓展验证即便引入神经网络参数化MSE 损失依旧会引入(A^TA)结构条件数平方效应持续存在网络训练大幅变慢。阶段 2非对称 / 非线性系统对流方程、Allen-Cahn 相场方程针对 QP 失效场景作者分两步提出创新损失构造1、GR 梯度残差损失基础版本通过梯度截断 detach 操作强制损失梯度等于原始残差(\boldsymbol{r}A\boldsymbol{x}-\boldsymbol{b})完全规避(A^TA)正规方程消除条件数平方放大迭代方向和经典显式迭代完全同构。短板纯 GR 梯度更新振荡剧烈、数值稳定性差极易发散。2、SGR 稳定梯度残差损失本文核心创新良性损失设计加权插值结构梯度为 GR 高速方向与 MSE 稳定方向的线性加权可调超参数(\alpha\in[0,1])(\alpha0)退化为标准 MSE收敛慢、极度稳定(\alpha1)纯 GR 损失收敛极快、易振荡发散(0\alpha1)平衡收敛速度与数值稳定性。SGR 核心优势工程实用价值1、函数数值和 MSE 完全一致损失曲线对比基准统一2、无需显式存储、组装离散矩阵(A/A^TA)仅依赖残差向量适配无显式矩阵的 PINNs-AD3、兼容全框架ODIL、PINNs-ND、PINNs-AD 通用不改动网络结构、离散格式4、仅依靠反向传播自动计算梯度无额外矩阵运算开销。三、数值实验完整结论解读两大经典算例分层验证理论算例 1二维泊松方程线性 SPD 系统验证条件数平方效应1、对照组经典 CG/GMRES加密网格→(cond(A))上升收敛放缓正规方程(ATA\boldsymbol{x}AT\boldsymbol{b})收敛速度大幅劣化直观验证平方放大理论。2、ODIL 框架测试无神经网络QP 损失收敛速度远快于 MSELBFGS 优化效率高于 Adam但高度病态网格下精度上限更低。3、PINNs-ND数值离散残差网络QP 全程优于 MSE神经网络引入非凸性训练振荡显著高于纯 ODIL。4、PINNs-AD自动微分无显式矩阵配点采样弱化了条件数影响MSE 与 QP 差距缩小但条件数放大机理依然成立。算例 2Allen-Cahn 相场方程非线性、非对称时变 PDE验证 SGR 有效性1、ODIL 核心结果随(\alpha)增大SGR 海森矩阵条件数持续下降收敛速度呈数量级提升(\alpha)过大会导致 LBFGS 发散拟牛顿依赖对称正定曲率GR 梯度破坏海森对称性一阶 Adam 鲁棒性更强搭配学习率衰减可兼顾高速收敛与高精度最优(\alpha)区间下SGR 相比传统 MSE 实现量级加速。2、PINNs 两套框架拓展测试SGR 在 PINNs 中同样具备前期快速降误差的加速能力但神经网络非凸参数化压缩了稳定(\alpha)取值区间训练后期振荡更明显统一结论无论是否显式离散矩阵算子诱导的条件数瓶颈始终存在SGR 是通用缓解方案。五、论文学术贡献与工程落地价值理论创新首次从等价迭代矩阵、条件数视角完整解释 ODIL/PINNs 慢收敛的底层机理证明 MSE 正规方程是核心瓶颈区分 SPD / 非对称系统两套理论体系厘清 QP、MSE、GR 三类损失的迭代本质提出 SGR 可调良性损失统一适配线性 / 非线性、对称 / 非对称 PDE打通离散优化与神经网络求解两套体系。工程实用创新零侵入改造现有 PINNs、ODIL 代码仅需修改损失梯度计算逻辑无需重构离散、网络、求解器平衡方案解决行业痛点兼顾经典迭代的收敛速度与 MSE 损失的数值稳定性适配 CFD、相场、传热、电磁等绝大多数工程 PDE 仿真场景正反问题通用。未来研究方向文中延伸讨论自适应(\alpha)动态调度策略训练过程自动平衡速度与稳定性网络结构优化拓宽 SGR 在 PINNs 中的稳定参数区间结合预处理技术进一步压制高维、多物理耦合方程的病态条件数。六、核心总结该工作是 CNSNS 2026 年针对 AICFD、优化型偏微分求解领域的关键机理研究跳出过往调参、网络改进的表层优化思路回归数值线性代数的条件数本质指出 MSE 损失存在与生俱来的数值缺陷并提出通用、轻量化、全场景兼容的 SGR 稳定梯度残差损失函数。在纯离散优化ODIL场景可达到接近 CG/GMRES 的收敛效率在物理信息神经网络 PINNs 中稳定实现训练加速为下一代高效 PDE 智能求解器提供全新损失函数设计范式。