PINN内嵌物理知识神经网络入门及文献总结

PINN内嵌物理知识神经网络入门及文献总结内嵌物理知识深度学习方法(PINN)已经成功用于解决各类科学计算问题,其本质是将物理先验知识嵌入神经网络训练中,将一个求解PDE的问题转化为一个优化问题。这篇博客主要记录PINN相关论文

喜欢可点赞关注,并收藏,您的支持就是我的写作的动力

一、 PINN介绍

  • PINN综述-Blog介绍
    • 内嵌物理知识神经网络 (Physics Informed Neural Network,简称PINN) 是一种科学机器在传统数值领域的应用方法,特别是用于解决与偏微分方程 (PDE) 相关的各种问题,包括方程求解、参数反演、模型发现、控制与优化等。

综述论文

二、物理信息驱动深度学习动手编程教程

深度学习求解微分方程系列一:PINN求解框架(Poisson 1d)
深度学习求解微分方程系列二:PINN求解burger方程正问题
深度学习求解微分方程系列三:PINN求解burger方程逆问题
深度学习求解微分方程系列四:基于自适应激活函数PINN求解burger方程逆问题
深度学习求解微分方程系列五:PINN求解Navier-Stokes方程正逆问题

三、 物理信息驱动深度学习方法几点讨论

具体请看对应链接详细解释。

1 物理信息驱动的深度学习相比于传统数值方法的潜在优

  • 反问题计算上有比较大的优势。
  • 需要做快速推断时,优势更明显。
  • 高维问题上的潜在优势。

2 先验物理嵌入深度学习模型研究重要进展和趋势

  • 物理嵌入方式方法上。当前,物理信息驱动的深度学习方法主要有以下几种物理嵌入的方式:
    • 通过对网络结构特殊设计嵌入物理。如已知微分方程有一阶导和二阶导,可将 一阶导和二阶导嵌入到网络模型中,这可以看做是一种直觉的嵌入,能够提高网络的学习,但这并不是必须地,一定能提高网络学习能力,而是直觉上觉得应该能提高。
    • 某种意义上的hard constraint。
    • 从网络学习上。
    • 很多知识通过数据隐式表现(如模拟数据)如何利用这些数据。
  • 量化不确定性。

3 神经网络在求解PDE-based物理系统时的重要理论问题

  • 从频率角度看待收敛性问题
  • 适定性问题研究
  • 损失震荡持续下降问题。特别是利用神经网络求解PDE时,
  • 如何在不训练网络下做误差分析,给出网络的一些收敛阶。

4 面临的理论、算法和应用方面的主要挑战与可能的解决方法

  • 严格嵌入物理。物理信息不是简单加到损失函数中进行优化,而且设计网络时,严格嵌入网络结构中,使得网络输入输出严格满足物理约束,再去做优化。一种思路,能否将传统数值方法优势叠加到网络设计中可能使得求解优化问题变得更简单,也是当前研究一大难点。
  • 应用上可进一步发展。理论上进一步难做,但目前来看,往应用问题上进一步发展还是非常有前景。物理驱动深度学习方法在前面讲到在逆问题上的优势,对于传统数值方法在某些逆问题上很难求解甚至无法求解,但利用深度学习神经网络的灵活性,能求解以前不能做的问题并将误差降到勉强能接受的问题。
  • benchmark的研究。提出的方法能够在同样的问题上验证算法。
  • 关注频率角度看待网络学习。可以关注学习上海交大许志钦老师的blog,频率原则

四、相关论文

1 定义问题, 建立工程架构

  • Integrating physics-based modeling with machine learning: A survey
  • Physics-informed neural networks: A deep learning framework for solving forward and inverse
    problems involving nonlinear partial differential equations
    • 用内嵌物理信息的神经网络求解PDE的源头文章,从数据驱动角度提出PINN,求解PDE正逆问题。
    • 代码链接
  • DGM: A deep learning algorithm for solving partial differential equations
    • 对于高维PDE用数值方法不能求解,提出DGM方法即用神经网络求解高维PDE问题,同时提出用Monte Carlo估计方法代替PDE中的二阶导数能够加速学习。
    • 代码链接
  • hp-VPINNs: Variational Physics-Informed Neural Networks With Domain Decomposition
    • 采用变分区域的方式对区域内采点,这是一种启发式的踩点方法,在准确性上有所提升。
  • Physics-informed neural networks for inverse problems in nano-optics and metamaterials
    • 用PINN求解材料PDE问题中的参数,求解逆问题,使用的最常规的PINN,主要是结合了材料相关背景.
  • Physics-Informed Neural Networks for Cardiac Activation Mapping
  • DeepXDE: A deep learning library for solving differential equations
    • 提出了基于PINN的一个求解各类PDE的库.
  • Deep learning-based method coupled with small sample learning for solving partial differential equation
    • 特意将损失项中的data loss提出来说这是小样本学习,相比于Rassi的PINN增加data loss项,并与其对比,复现了文章中的算例,增加了一项loss后在准确度上有所提高

2 网络结构选择

  • Prevention is Better than Cure: Handling Basis Collapse and Transparency in Dense Networks
    • 对于网络设计的思考,提出了Basis Collapse的概念,提出给损失函数增加一个构造的惩罚项,能够使用lower-weight net实现相同甚至更好的函数拟合效果.
  • Adaptive activation functions accelerate convergence in deep and physics-informed neural networks
  • A composite neural network that learns from multi-fidelity data: Application to function approximation and inverse PDE problems
  • Weak adversarial networks for high-dimensional partial differential equation

3 不确定性结合

物理信息驱动的深度学习方法与不确定性量化研究总结

  • Adversarial Uncertainty Quantification in Physics-Informed Neural Network
  • B-PINNs: Bayesian Physics-Informed Neural Networks for Forward and Inverse PDE Problems with Noisy Data
  • Flow Field Tomography with Uncertainty Quantification using a Bayesian Physics-Informed Neural Network
  • Physics-Informed Deep Learning: A Promising Technique for System Reliability Assessment
  • A Physics-Data-Driven Bayesian Method for Heat Conduction Problems
  • Zhang D, Lu L, Guo L, et al. Quantifying total uncertainty in physics-informed neural networks for solving forward and inverse stochastic problems[J]. Journal of Computational Physics, 2019, 397: 108850.
  • Zhu Y, Zabaras N, Koutsourelakis P S, et al. Physics-constrained deep learning for high-dimensional surrogate modeling and uncertainty quantification without labeled data[J]. Journal of Computational Physics, 2019, 394: 56-81.
  • Yang L, Meng X, Karniadakis G E. B-PINNs: Bayesian physics-informed neural networks for forward and inverse PDE problems with noisy data[J]. Journal of Computational Physics, 2021, 425: 109913.
  • Gao Y, Ng M K. Wasserstein generative adversarial uncertainty quantification in physics-informed neural networks[J]. Journal of Computational Physics, 2022: 111270.
  • Yang L, Zhang D, Karniadakis G E. Physics-informed generative adversarial networks for stochastic differential equations[J]. SIAM Journal on Scientific Computing, 2020, 42(1): A292-A317.
  • Molnar J P, Grauer S J. Flow field tomography with uncertainty quantification using a Bayesian physics-informed neural network[J]. Measurement Science and Technology, 2022.
  • Daw A, Maruf M, Karpatne A. PID-GAN: A GAN Framework based on a Physics-informed Discriminator for Uncertainty Quantification with Physics[C]//Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining. 2021: 237-247.
  • Yang Y, Perdikaris P. Adversarial uncertainty quantification in physics-informed neural networks[J]. Journal of Computational Physics, 2019, 394: 136-152.
  • Bayesian Physics-Informed Extreme Learning Machine for Forward and Inverse PDE Problems with Noisy Data
    • 提出了一种贝叶斯物理极限学习机(BPIELM)用于求解带噪声数据的正逆PDE问题。首先,结合物理极限学习机(PIELM)特点,通过引入了贝叶斯理论,能够量化预测的不确定性。然后,针对逆问题,通过将参数PDE中的未知参数作为网络待求变量的方式快速反演参数。最终,将正逆问题转化为最小二乘问题,通过贝叶斯方法求解并预测不确定性。对于线性问题,利用PIELM能将PINN计算效率提升几个数量级。

4 超参与元学习

  • Learning and Meta-Learning of Stochastic Advection-Diffusion-Reaction Systems from Sparse Measuremen
    • 用PINN求解随机反应扩散方程,这里主要用了元学习中的贝叶斯优化算法对网络层数和宽度进行优化.
  • Bilevel Programming for Hyperparameter Optimization and Meta-Learning
  • On First-Order Meta-Learning Algorithms

5 区域划分

  • DPINN: Distributed physics informed neural network for data-efficient solution to partial differential equations

    • 考虑到PINN的较大计算域内梯度极度下降时梯度不够稳健,而且PINN的深度随着PDE阶数的增加而增加,由于会导致出现消失梯度,导致学习速率变慢的问题。
  • cPINN: Conservative physics-informed neural networks on discrete domains for conservation laws: Applications to forward and inverse problems
    同样使用区域划分,直接横着划分成矩形区域,而DPINN横着竖着划分为的矩形区域

  • Extended Physics-InformedNeural Networks (XPINNs): A Generalized Space-Time Domain

  • Decomposition Based Deep Learning Framework

    • 提出了更灵活分解域的XPINN方法,比cPINN区域分解更灵活,而且使用与所有方程。
  • Conservative physics-informed neural networks on discrete domains for conservation laws: Applications to forward and inverse problems

    • 对求解区域划分sub-domains,提出conservative physics-informed neural network(cPINN),这样的好处一个也可以使用深度神经网络在领域,解决方案可能有复杂的结构,而浅层神经网络可以在子领域使用相对简单和平滑的解决方案. 该方法的另一个优点是在优化算法的选择和各种训练参数如残差点、激活函数、网络宽度和深度等方面提供了更多的自由. 本文简要讨论了cPINN中涉及的各种误差形式,如优化误差、泛化误差和近似误差及其来源.

6 逆问题论文阅读

  • Neural Network Technique in Some Inverse Problems of Mathematical Physics Vladimir
    • 损失函数的定义也用到了类似PINN的思路,用了RBF-net,选择Morozov’s condition作为收敛条件(即损失函数中某一项低于界);增加神经元的方法,看增加了后的损失函数有没有减,有减少说明增加是有益的。论文笔记
  • Deep Neural Network Approach to Forward-Inverse Problems
    • 主要是对正、逆问题收敛进行了证明,算了几个简单方程。
  • Estimates on the generalization error of Physics Informed Neural Networks (PINNs) for approximating PDEs II: A class of inverse problems
    • 对逆问题的泛化误差的界进行了推导,用到的算例方程有真解都可以借鉴。

7 Loss权重修改与优化算法

  • DPINN: Distributed physics informed neural network for data-efficient solution to partial differential equations

  • A Derivative-Free Method for Solving Elliptic Partial Differential Equations with Deep Neural Networks

  • Neural networks catching up with finite differences in solving partial differential equations in higher dimensions

  • Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics

  • Understanding and mitigating gradient pathologies in physics-informed neural networks.

    • 回顾了科学机器学习的进展,特别是内嵌物理信息的神经网络在预测物理系统输出以及从噪音数据发现潜在的物理方面信息的有效性. 还将识别和分析这种方法的基本失效模式,它与在模型训练过程中导致不平衡的反向传播梯度的数值刚度(stiffness)有关. 为了解决这一局限性,我们提出了一种学习率退火算法,该算法在模型训练期间利用梯度统计量来平衡损失函数中不同项之间的相互影响。还提出了一种新的神经网络结构,它对这种梯度病理(gradient pathologies)更有弹性。论文笔记
  • Modified physics-informed neural network method based on the conservation law constraint and its prediction of optical solitons

    • arxiv, 提出了基于守恒定律的PINN,主要是针对高阶非线性薛定谔方程,结合这个方程特性,有能量守恒方程和动量守恒方程,将其作为约束加入损失函数中,相比于经典PINN(PDE loss, BC loss,IC loss),能够求得更准。
  • Self-adaptive physics-informed neural networks using a soft attention mechanism

  • Self-adaptive loss balanced physics-informed neural networks for the incompressible navier-stokes equations

    • 自适应损失函数权重用于流体方程求解。
  • Understanding and mitigating gradient pathologies in physics-informwd neural networks

  • Multi-objective loss balancing for physics-informed deep learning

    • 里面对损失函数自适应权重有综述。

8 与迁移学习结合

  • Transfer learning based multi-fidelity physics informed deep neural network
    • 利用多置信度求解PDE,先利用low-fidelity data 训练网络模型,然后再利用high-fidelity对网络最后两层微调.
  • Transfer learning enhanced physics informed neural network for phase-field modeling of fracture
    • 对传统的基于残差的PINN,改变了优化对象通过minimize the variational energy of the system. 与传统的基于残差的PINN相比,该方法有两个主要优点。首先,边界条件的施加相对简单,也更稳健. 其次,变分能量函数形式下的导数的阶数比传统PINN中使用的残差形式下的导数的阶数低,因此网络的训练速度更快

9 与元学习结合

  • A novel meta-learning initialization method for physics-informed neural networks
    • 提出了一种用于PINN加速的元初始化方法,从相关任务中学习能够实现在新任务上快速收敛的结果。
  • Meta-learning PINN loss functions
    • 将元学习的思想用于PINN的损失函数中。

10 应用论文

10.1 波场

  • Physics-informed neural network for ultrasound nondestructive quantification of surface breaking cracks
    • PINN是监督对现实超声表面声波数据的监督学习采集频率为5 MH. 。超声波表面波数据表示为金属板顶表面的表面变形,用激光振动法测量. 利用声波波动方程的物理信息,利用自适应激活函数加速了PINN的收敛. 自适应激活函数在激活函数中使用了一个可伸缩的超参数,该超参数经过优化,可以在网络拓扑结构发生动态变化时获得最佳性能. 主要是利用PINN求解PDE,然后利用自适应激活函数加速(对比之下加速效果也并不明显)。
  • A physics-informed variational DeepONet for predicting the crack path in brittle materials
  • A modified physics-informed neural network with positional encoding
    • 求解Helmholtz equation,应用领域波场
  • WAVEFIELD RECONSTRUCTION INVERSION VIA PHYSICS-INFORMED NEURAL NETWORKS、
    • 求解Helmholtz equation,应用领域波场

10.2 压力

  • Physics-informed neural networks for estimating stress transfer mechanics in single lap joints
    • 数据驱动求解table的压力和the interphase of a single lap joint

10.3 electromagnetic simulation

10.4 流体

  • FlowDNN: a physics-informed deep neural network for fast and accurate flow prediction
  • Physics-informed neural networks for high-speed flows
    • 隐藏流体力学
  • Physics-Informed Neural Networks for Cardiac Activation Mapping
    • 心脏激活图
  • DiscretizationNet: A Machine-Learning based solver for Navier-Stokes Equations using Finite Volume Discretization
  • NSFnets (Navier-Stokes Flow nets): Physics-informed neural networks for the incompressible Navier-Stokes equations
  • Self-adaptive loss balanced Physics-informed neural networks for the incompressible Navier-Stokes equations

10.5 单独涉及求解方程

  • Solving Huxley equation using an improved PINN method
  • Physics-informed neural networks for solving nonlinear diffusivity and Biot’s equations
    • 研究如何扩展物理信息神经网络的方法来解决与非线性扩散率和Biot方程有关的正问题和反问题. 我们探讨了具有不同训练样例大小和超参数选择的基于物理的神经网络的准确性. 研究了随机变量对不同训练实现的影响.
  • fPINNs: Fractional Physics-Informed Neural Networks
  • A Physics Informed Neural Network Approach to Solution and Identification of Biharmonic Equations of Elasticity
    arxiv
  • Deep neural network methods for solving forward and inverse problems of time fractional diffusion equations with conformable derivative
    • arxiv, 首次提出用pinn来研究conformable time fractional diffusion
  • Learn bifurcations of nonlinear parametric systems via equation-driven neural networks
    • arxiv,提出了一种新的机器学习方法,通过所谓的方程驱动神经网络(EDNNs)来计算分岔。该网络由两步优化组成:第一步是通过训练经验解数据来逼近参数的解函数;第二步是利用第一步得到的近似神经网络计算bifurcations(分岔)
  • Variational Onsager Neural Networks (VONNs): A thermodynamics-based variational learning strategy for non-equilibrium PDEs
    • arxiv,基于Onsager’s variational principle。
  • DiscretizationNet: A Machine-Learning based solver for Navier-Stokes Equations using Finite Volume Discretization
  • NSFnets (Navier-Stokes Flow nets): Physics-informed neural networks for the incompressible Navier-Stokes equations
  • Self-adaptive loss balanced Physics-informed neural networks for the incompressible Navier-Stokes equations

10.6 医学

  • Physics-informed machine learning improves detection of head impacts
  • EP-PINNs: Cardiac Electrophysiology Characterisation using Physics-Informed Neural Networks
    arxiv

10.7 地质勘测

  • Physics-informed semantic inpainting: Application to geostatistical modeling

10.8 Subsurface transport

  • Physics-informed neural networks for multiphysics data assimilation with application to subsurface transport
    • 主要利用PINN解决steady-state advection–dispersion problem

10.9 Fiber Optics和材料

10.10 求解热问题

  • Physics-Informed Neural Networks (PINNs) for Heat Transfer Problems
  • A physics-informed deep learning method for solving direct and inverse heat conduction problems of materials
  • Heat Transfer Prediction With Unknown Thermal Boundary Conditions Using Physics-Informed Neural Networks
  • A physics-informed machine learning approach for solving heat transfer equation in advanced manufacturing and engineering applications
  • Data-driven modeling for boiling heat transfer: Using deep neural networks and high-fidelity simulation results
  • Temperature field inversion of heat-source systems via physics-informed neural networks
    • 提出了基于内嵌物理知识神经网络的温度场重构算法。该方法能够减少温度场重构对测点数量的依赖,利用少量测点准确重构温度场。同时改论文提出了一种基于条件数的测点选择方法,能够提升重构模型的鲁棒性。
    • 代码链接

10.11 内嵌物理神经网络的重构问题

11 物理知识与数值方法结合

12 PINN的加速研究

13 基于PINN的求解库

  • DEEPXDE: A DEEP LEARNING LIBRARY FOR SOL VING DIFFERENTIAL EQUATIONS
  • IDRLnet: A Physics-Informed Neural Network Library
  • PND: Physics-informed neural-network software for molecular dynamics application
  • Integrating physics-based modeling with machine learning: A survey
    • PINN作为一种发展了近五年的方法,算法本身也非常容易实现。因此基于各种语言或者框架,PINN也有了若干个求解库了。
  • DEEPXDE: A DEEP LEARNING LIBRARY FOR SOL VING DIFFERENTIAL EQUATIONS
    DeepXDE,布朗大学Lu博士开发的,就是DeepONet那位Lu博士。他们组是本次PINN潮流的先驱,应该算是第一款也是“官方”的PINN求解器。集成了基于残差的自适应细化(RAR),这是一种在训练阶段优化残差点分布的策略,即在偏微分方程残差较大的位置添加更多点。还支持基于构造实体几何 (CSG) 技术的复杂几何区域定义。
  • NeuroDiffEq,基于PyTorch。NeuroDiffEq通过硬约束来构造NN满足初始/边界条件,细分下来叫PCNN(Physics Constrained Neural Network),由于要设计特定的边界,这种方式会受限于对边界的具体形式。
  • Modulus,Nvidia公司发布的,之前叫做SimNet,既然是显卡公司开发的,那么或许可以期待有比较好的硬件性能优化大型工业算例。
  • SciANN,基于Keras包封装的实现的。SciANN里面有比较丰富的应用示例,包括弹性、结构力学和振动应用等。基于这个库有了不少文章。
  • NeuralPDE.jl,看名字就知道是基于Julia语言开发的,是SciML大项目的一部分。
    ADCME,基于TensorFlow开发的,有一些非线性方程的例子,比如非线性弹性、NS问题和Burgers方程。
  • TensorDiffEq,看名字就知道是基于Tensorflow,特点是做分布式计算。主旨是通过可伸缩(scalable)计算框架来求解PINN,明显是为大规模工业应用做铺垫。
  • IDRLnet,国内团队发布的基于Pytorch和sympy的开源求解器,包含了鲁棒参数估计、变分极小化问题(比如极小曲面计算)、积分方程求解、参数化代理模型等基础算例。
  • Elvet,可以求解PDE和变分极小化问题(如悬链线计算)的Python库。
  • Nangs,Python框架,貌似没有更新了。
  • PyDEns,一个小型框架,貌似没有更新了

14 其他

五 、物理信息驱动深度学习相关报告

  • 内嵌物理的深度学习,机器之心

    • 报告人:麻省理工学院陆路老师。
    • 报告内容:本次分享将回顾将物理知识嵌入机器学习的一些趋势,介绍当前的一些常用方法,包括内嵌物理的神经网络(physics-informed neural networks,PINNs)、多保真度神经网络(nulti-fidelity neural networks)和深度算子网络(DeepONet),同时还将讨论这些方法在求解物理和工程问题上的一些应用,特别是在反问题求解上的应用。
    • PPT:https://lululxvi.github.io/files/talks/2021Synced.pdf
  • A Short Introduction to Physics InformedNeural Networks (PINNs),b站

    • 报告人:李军博士,谢毅博士,殷会敏博士,刘旭博士。
  • 气动优化设计中的可解释可迁移机器学习研究,WS-FTNCFD-2022。报告人:清华大学李润泽博士。

  • leaning operators using deep neural networks for diverse application,哔哩哔哩

    • 报告人:麻省理工学院陆路老师。
    • 该报告主要介绍了陆路老师关于deeponet相关工作。

六、物理信息驱动深度学习代码

  • Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations 用内嵌物理信息的神经网络求解PDE的源头文章,从数据驱动角度提出PINN,求解PDE正逆问题。代码链接
  • DGM, (DGM: A deep learning algorithm for solving partial differential equations): A deep learning algorithm for solving partial differential equations:对于高维PDE用数值方法不能求解,提出DGM方法即用神经网络求解高维PDE问题,同时提出用Monte Carlo估计方法代替PDE中的二阶导数能够加速学习。代码链接
  • hp-VPINNs: Variational Physics-Informed Neural Networks With Domain Decomposition:采用变分区域的方式对区域内采点,这是一种启发式的踩点方法,在准确性上有所提升。代码链接
  • Temperature field inversion of heat-source systems via physics-informed neural network:提出了基于内嵌物理知识神经网络的温度场重构算法。该方法能够减少温度场重构对测点数量的依赖,利用少量测点准确重构温度场。同时改论文提出了一种基于条件数的测点选择方法,能够提升重构模型的鲁棒性。代码链接
  • Extended Physics-Informed Neural Networks (XPINNs): A Generalized Space-Time Domain Decomposition Based Deep Learning Framework for Nonlinear Partial Differential Equations。代码链接
  • PhyGeoNet: Physics-Informed Geometry-Adaptive Convolutional Neural Networks for Solving Parametric PDEs on Irregular Domain:代码链接,python
  • Physics-Informed Neural Networks for Power Systems:代码链接,python
  • Physics-informed neural network (PINN) for solving fluid dynamics problems:代码链接
  • Adversarial Uncertainty Quantification in Physics-Informed Neural Networks:代码链接
  • Accelerating Training PINN with Prior Dictionary:从网络角度引入先验字典对PINN进行改进,加速训练。代码链接

七、PDE Benchmark

  • PDEBENCH: An Extensive Benchmark for Scientific Machine Learning:PDEBench-AI求解微分方程新基准。PDEBench不仅能当成一个大型偏微分方程数据集,也能作为新AI求解偏微分方程的基准之一。近年来比较火的如FNO(用上傅里叶变换,很快啊,AI几秒钟就能解出偏微分方程),相关代码比较也被放入了PDEBench中。

八、物理驱动深度学习投稿投稿期刊总结

1.内嵌物理知识神经网络(PINN)投稿期刊总结

原创不易,转载请带上原文链接,喜欢可关注,后续会不断更新

https://zhuanlan.zhihu.com/p/468748367
https://www.zhihu.com/people/jiu-ri-jiu-ri-1/posts

架构君码字不易,如需转载,请注明出处:https://javajgs.com/archives/212020
0

发表评论