Challenges in Automatic Differentiation and Numerical Integration in Physics-Informed Neural Networks Modelling

Abstract

In this paper, we numerically examine the precision challenges that emerge in automatic differentiation and numerical integration in various tasks now tackled by physics-informed neural networks (PINNs). Specifically, we illustrate how ill-posed problems or inaccurately computed functions can cause serious precision issues in differentiation and integration. A major difficulty lies in detecting these problems. A simple large-scale view of the function or good-looking loss functions or convergence results may not reveal any potential errors, and the resulting outcomes are often mistakenly considered correct. To address this, it is often critical to determine whether standard double-precision arithmetic suffices or if higher precision is necessary, but using higher precision arithmetic with neural networks does not have to bring an improvement at all. Three problematic use-cases for solving differential equations using PINNs are analyzed in detail. For the case requiring numerical integration, we also evaluate several numerical quadrature methods and suggest particular numerical analysis steps to choose the most suitable method.

V tomto článku numericky zkoumáme problémy s přesností, které se objevují při automatické diferenciaci a numerické integraci v různých úkolech, které se nyní řeší pomocí neuronových sítí založených na fyzikálních principech (PINN). Konkrétně ilustrujeme, jak špatně formulované problémy nebo nepřesně vypočítané funkce mohou způsobit vážné problémy s přesností při diferenciaci a integraci. Hlavní obtíž spočívá v detekci těchto problémů. Jednoduchý pohled na funkci v širokém měřítku nebo dobře vypadající ztrátové funkce či výsledky konvergence nemusí odhalit žádné potenciální chyby a výsledné výstupy jsou často mylně považovány za správné. K řešení tohoto problému je často rozhodující určit, zda postačuje standardní aritmetika s dvojnásobnou přesností, nebo zda je nutná vyšší přesnost, ale použití aritmetiky s vyšší přesností u neuronových sítí nemusí nutně přinést žádné zlepšení. Podrobně jsou analyzovány tři problematické případy použití pro řešení diferenciálních rovnic pomocí PINN. V případě, který vyžaduje numerickou integraci, také hodnotíme několik numerických kvadratur a navrhujeme konkrétní kroky numerické analýzy pro výběr nejvhodnější metody.