4.7 Les PINN (réseaux de neurones informés par la physique)

1. Introduction¶

Les physics-informed neural networks (PINN, réseaux de neurones informés par la physique) intègrent des lois physiques, exprimées comme des équations différentielles ordinaires ou aux dérivées partielles (EDO/EDP), directement dans l’entraînement d’un réseau de neurones. La physique entre par la fonction de perte : en plus d’ajuster les données, le réseau est pénalisé quand ses prédictions violent l’équation qui gouverne le problème. Les PINN permettent :

• de résoudre des équations différentielles avec ou sans données,
• de travailler avec peu d’échantillons étiquetés, parce que la physique contraint la solution,
• d’incorporer des connaissances a priori dans un flux de travail d’apprentissage automatique.

Les géosciences regorgent de processus gouvernés par des équations bien connues : diffusion de la chaleur dans la croûte, propagation des ondes sismiques, écoulement souterrain (loi de Darcy) et dynamique des fluides (Navier-Stokes). Les PINN ont été introduits par Raissi et al. (2019) et présentés à l’ensemble de la communauté physicienne par Karniadakis et al. (2021) ; voir les références à la fin de ce carnet. Exemples d’usage en géosciences :

1. Diffusion de la température dans la croûte : inférer la structure thermique et le potentiel géothermique à partir de profils de température de forage épars.
2. Propagation des ondes sismiques : résoudre les équations d’onde en milieu hétérogène sans mailler le domaine.
3. Écoulement souterrain : résoudre les équations de Darcy et d’advection-diffusion pour modéliser la réponse d’un aquifère et le transport de polluants.

Dans les trois cas, l’attrait est le même : les données de terrain sont éparses et bruitées, mais l’EDP qui gouverne le problème est connue. La physique comble là où les données ne peuvent pas.

🖥️ Diapositives du cours — Séance 26 (mer. 2 déc., contexte d’enrichissement)

2. Cadre mathématique¶

Un PINN comporte trois composantes :

1. Un réseau de neurones $u_\theta(x, t)$ de paramètres θ qui approche la solution $u(x, t)$.
2. Une équation gouvernante écrite sous forme de résidu $\mathcal{L}(u, x, t) = 0$, où $\mathcal{L}$ est un opérateur différentiel. Les dérivées de $u_\theta$ qui apparaissent dans $\mathcal{L}$ sont calculées exactement par différentiation automatique, la machinerie même qu’emploie la rétropropagation.
3. Une fonction de perte composite

où

• la perte de données mesure l’écart aux observations,
• la perte physique est le résidu quadratique moyen de l’EDP $\mathcal{L}(u_\theta)$ évalué en des points de collocation tirés à l’intérieur du domaine,
• la perte de conditions initiales et aux limites fixe la solution là où elle est connue.

L’entraînement minimise la perte combinée avec un optimiseur à base de gradient comme Adam. Les poids relatifs des trois termes sont des hyperparamètres, et les équilibrer est l’une des difficultés pratiques des PINN (nous y revenons à la section 5).

3. Échauffement : la loi de refroidissement de Newton¶

Avant de nous attaquer à une EDP, nous commençons par une EDO, où la différentiation automatique n’a besoin que de dérivées premières. Considérons un échantillon de roche qui se refroidit vers la température ambiante $T_{\text{env}}$. La loi de refroidissement de Newton énonce

où $R$ est une constante de vitesse de refroidissement. Avec la température initiale $T(0) = T_0$, la solution analytique s’écrit

Nous allons mener une comparaison à trois sur les mêmes 10 mesures bruitées, toutes prises tôt dans l’histoire du refroidissement :

1. un réseau de neurones simple (modèle de référence),
2. le même réseau avec une régularisation L2 des poids,
3. le même réseau avec une perte physique (un PINN).

La question est de savoir lequel extrapole correctement au-delà de la plage temporelle couverte par les données.

Nous générons des données synthétiques bruitées : la vraie courbe s’étend sur 1 000 s, mais les 10 échantillons d’entraînement ne couvrent que les 300 premières secondes.

3.1 Un réseau avec une seconde perte interchangeable¶

La classe Net ci-dessous est un petit réseau entièrement connecté. Sa méthode fit minimise l’écart aux données plus une seconde perte optionnelle loss2, pondérée par loss2_weight. Nous réutiliserons la même classe pour les trois expériences en ne changeant que loss2 : None pour le modèle de référence, une pénalité L2 pour le réseau régularisé, et un résidu physique pour le PINN.

La fonction utilitaire grad calcule la dérivée des sorties du réseau par rapport aux entrées avec torch.autograd.grad et create_graph=True, de sorte que le résultat peut lui-même être dérivé lors de la rétropropagation. C’est l’astuce centrale des PINN.

3.2 Réseau de référence¶

Entraînement sur les 10 échantillons bruités, sans terme de perte supplémentaire.

Le modèle de référence ajuste les échantillons qu’il a vus et fait ce qu’il veut après 300 s : rien ne contraint l’extrapolation.

3.3 Réseau régularisé en L2¶

Un remède classique au surapprentissage consiste à pénaliser les grands poids. Nous passons la norme L2 des paramètres comme loss2.

La régularisation lisse la prédiction, mais elle n’a aucune raison de suivre la décroissance exponentielle vers $T_{\text{env}}$ : elle se contente de maintenir les poids petits.

3.4 Le PINN¶

Remplaçons maintenant la pénalité L2 par une perte physique. Nous évaluons le réseau en 1 000 instants de collocation couvrant toute la fenêtre de 1 000 s (bien au-delà des données), nous dérivons la sortie par rapport au temps avec grad, et nous pénalisons le résidu quadratique moyen de la loi de refroidissement

Notez que la perte physique n’utilise aucune observation de température, seulement l’équation.

Le PINN suit la vraie décroissance exponentielle bien au-delà du dernier point de données, parce que la perte physique contraint la solution partout où s’étendent les points de collocation. Les données ancrent l’amplitude ; l’équation fournit la forme. C’est toute l’idée.

L’entraînement est ici délibérément court. Sur votre propre machine, vous pouvez augmenter le nombre d’époques pour des ajustements plus lisses.

4. Une vraie EDP : la diffusion thermique 1-D dans la subsurface superficielle¶

La loi de refroidissement était une EDO. Nous résolvons maintenant une véritable EDP avec un PINN : la diffusion de la chaleur,

où $T(x,t)$ est la température et $k$ la diffusivité thermique.

Cadre physique. Imaginez une anomalie de température dans les $L = 10$ m supérieurs de sol ou de roche, une couche active de pergélisol ou un profil géothermique superficiel. Une anomalie chaude culmine à mi-colonne et se relaxe par diffusion, tandis que la surface ($x=0$) et la base ($x=L$) restent fixées à la température moyenne annuelle, que nous prenons comme référence à 0 °C. Une diffusivité thermique typique de roche ou de sol vaut $k \approx 10^{-6}\ \mathrm{m^2/s}$.

Adimensionnement. Les valeurs SI brutes ($L=10$, $k=10^{-6}$, $t$ en unités de 10⁷ s) donnent de vilains nombres pour un réseau de neurones : nous remettons donc à l’échelle avec $\hat{x} = x/L$ et $\hat{t} = k t / L^2$. Une unité de $\hat{t}$ correspond à $L^2/k = 10^8\ \mathrm{s} \approx 3,2$ ans ; nous résolvons sur $\hat{t} \in [0, 0.3]$, soit environ un an. La température reste en °C. Dans ces unités, l’EDP devient $\partial T/\partial \hat{t} = \partial^2 T/\partial \hat{x}^2$ (diffusivité 1).

Référence analytique. Un mode sinusoïdal unique diffuse sans changer de forme :

avec $T_0 = 5$ °C. Il satisfait l’EDP et les conditions aux limites $T=0$ en $\hat{x}=0$ et $\hat{x}=1$ : nous pouvons donc mesurer exactement l’erreur du PINN.

Réseau. $T_\theta(\hat{x}, \hat{t})$ est un petit MLP : 2 entrées, trois couches cachées de 64 unités, 1 sortie. Nous employons des activations tanh plutôt que ReLU parce que le résidu de l’EDP exige des dérivées secondes, et que la dérivée seconde de ReLU est nulle presque partout.

4.1 Points d’entraînement¶

Trois ensembles de points, un par terme de perte :

• Points de données : 40 échantillons de température bruités à des positions $(\hat{x}, \hat{t})$ aléatoires, comme des relevés de capteurs épars, avec un bruit gaussien de 0,2 °C.
• Points de collocation : 1 000 points intérieurs aléatoires où nous imposons le résidu de l’EDP. Aucune valeur de température ne leur est attachée.
• Points de conditions initiales et aux limites : 200 points sur la ligne $\hat{t}=0$ (profil initial) et 200 sur chaque bord $\hat{x}=0$ et $\hat{x}=1$ (température maintenue à 0 °C).

4.2 Boucle d’entraînement¶

Chaque pas calcule trois termes de perte et les somme à poids égaux :

• Perte de données : MSE entre $T_\theta$ et les échantillons bruités.
• Perte EDP : aux points de collocation, grad donne $\partial T_\theta / \partial \hat{x}$ et $\partial T_\theta / \partial \hat{t}$ en un seul appel (les colonnes du gradient) ; un second appel à grad sur la première colonne donne $\partial^2 T_\theta / \partial \hat{x}^2$. Le résidu est $\partial T_\theta/\partial \hat{t} - \partial^2 T_\theta/\partial \hat{x}^2$.
• Perte de conditions initiales et aux limites : MSE par rapport au profil sinusoïdal initial, plus le carré de la température sur les deux bords.

Quelques milliers de pas d’Adam suffisent pour ce problème régulier.

4.3 Résultats¶

D’abord, les profils de température prédits face aux profils analytiques à quatre instants. L’axe des profondeurs est de retour en mètres ($x = L\hat{x}$).

Le PINN reproduit les profils analytiques à quelques centièmes de degré près à partir de 40 mesures ponctuelles bruitées, parce que l’EDP et les conditions aux limites portent l’essentiel de l’information. La perte de données plafonne près du plancher de bruit (le réseau ne doit pas ajuster le bruit de 0,2 °C), tandis que les pertes EDP et de conditions initiales/aux limites chutent de trois à quatre ordres de grandeur. Les pics périodiques sur ces courbes sont Adam qui dépasse brièvement puis se rattrape, spectacle courant dans l’entraînement des PINN.

L’entraînement est volontairement court ; sur votre propre machine, augmentez n_steps et n_col pour des résidus plus serrés.

Exercice. Mettez à zéro le poids de la perte EDP (remplacez loss_pde par 0 * loss_pde dans la somme) et réentraînez. Comparez les profils à $\hat{t} = 0.3$, là où les points de données sont rares et l’anomalie petite.

4.4 La référence : 15 lignes de différences finies¶

La règle de ce livre est « les références avant les modèles », et le chapitre de physique n’y échappe pas. Le problème direct que nous venons de résoudre — diffusivité connue, conditions initiales et aux limites connues, solution régulière — est un cas d’école pour la numérique classique : le PINN doit donc affronter la méthode classique avant que nous le couvrions d’éloges. Le schéma le plus simple est FTCS (forward-time, centered-space) : placez $\hat{x}$ sur une grille, remplacez $\partial^2 T/\partial \hat{x}^2$ par la différence seconde centrée, et avancez en temps par un Euler explicite :

Le schéma n’est stable que pour $r \le 1/2$ ; nous prenons $r = 0.4$. Cette contrainte est le prix d’une méthode explicite (Crank–Nicolson la supprime au prix d’une résolution tridiagonale), et sur ce problème elle ne coûte presque rien. Voici le solveur complet, chronométré :

Le verdict est sans appel. Le solveur en différences finies termine en 20 ms environ et reproduit la solution analytique à environ $2 \times 10^{-4}$ °C près ; le PINN a eu besoin de 14 s d’entraînement pour parvenir à 0,03 °C près. Sur ce problème direct, le solveur classique l’emporte d’un facteur d’environ 750 en vitesse et de deux ordres de grandeur en précision, sans taux d’apprentissage, sans architecture et sans graine. C’est la lecture honnête de la section 4.3, et elle se généralise : quand les coefficients, la condition initiale et les conditions aux limites sont connus et qu’une discrétisation standard existe, employez la discrétisation standard. La cause du PINN doit se plaider ailleurs.

Deux choses, cependant, que le solveur en différences finies n’a pas faites. Il n’a jamais touché aux 40 mesures intérieures bruitées, parce qu’un solveur direct n’a aucune case où loger des observations dispersées. Et il a exigé $k$ en entrée. Ces deux lacunes pointent vers le même endroit, et c’est là que nous allons.

4.5 Le problème inverse : retrouver la diffusivité¶

La section 5 soutiendra que les problèmes inverses sont le premier régime où les PINN restent le bon outil. En voici la démonstration, sur les données que nous avons déjà. Faisons comme si la diffusivité était inconnue. En unités adimensionnées, la valeur du générateur vaut exactement $\hat{k} = 1$, puisque l’adimensionnement a employé le vrai $k = 10^{-6}\ \mathrm{m^2/s}$ ; le modèle, lui, l’ignore. Nous initialisons un $\hat{k}$ entraînable à 0,2, cinq fois trop bas, et laissons l’optimiseur le retrouver à partir des mêmes 40 échantillons bruités.

La modification de la boucle d’entraînement de la section 4.2 tient en cinq lignes, marquées (1)–(4) ci-dessous : $\hat{k}$ devient un nn.Parameter (stocké comme $\log \hat{k}$ pour rester positif), il rejoint la liste de paramètres de l’optimiseur, et le résidu devient $\partial T_\theta/\partial \hat{t} - \hat{k}\, \partial^2 T_\theta/\partial \hat{x}^2$. Tout le reste est inchangé. L’information circule ainsi : la condition initiale fixe la forme de l’anomalie, les 40 échantillons fixent la vitesse à laquelle elle décroît, et l’EDP relie ce taux de décroissance à $\hat{k}$.

La diffusivité retrouvée se situe à moins de 2 % de la vraie valeur du générateur, à partir de 40 mesures ponctuelles bruitées et de rien de maillé. Soyons clairs sur ce qu’est cette exécution : un calage, aussi appelé calage historique (history matching). Le solveur en différences finies de la section 4.4 ne peut pas le faire seul, puisqu’il exige $k$ en entrée. La voie classique enveloppe le solveur dans une boucle d’optimisation externe qui le relance pour chaque $k$ candidat ; en hydrogéologie, c’est ce que fait PEST autour d’un modèle MODFLOW quand on cale la conductivité hydraulique sur des relevés de puits épars. Le PINN fusionne les deux boucles : un seul entraînement ajuste le champ de température et inverse le paramètre en même temps, et la même astuce s’étend à de nombreuses inconnues (un $k(\hat{x})$ variable dans l’espace peut être un second petit réseau). Des données ponctuelles éparses et bruitées, plus une équation de confiance, plus des coefficients inconnus : voilà le régime où la machinerie supplémentaire est rentable.

4.6 Casser le PINN : le déséquilibre des poids de perte¶

Jusqu’ici la perte composite s’est bien comportée parce que ses trois termes se trouvaient à des échelles comparables ; des poids égaux ont simplement fonctionné. C’est de la chance, pas une loi, et l’avertissement de la section 5 sur l’équilibrage des pertes mérite le traitement réservé aux entraînements défaillants du carnet 4.5 : montrer la défaillance, lire les symptômes, nommer le remède.

L’exercice de la section 4.3 supprimait le terme physique et regardait le modèle dégénérer en une régression bruitée. Ici, nous cassons l’équilibre dans l’autre sens : le terme physique noie les données et la condition initiale. L’exécution ci-dessous reprend la section 4.2 avec un seul changement, w_pde = 1e4 sur le résidu de l’EDP. Observez le total affiché : il continue de baisser, comme si l’entraînement se passait bien.

La perte totale baisse et la réponse ne vaut rien. Cette combinaison est la signature d’un déséquilibre des pertes, et elle est invisible tant que vous ne journalisez pas les composantes séparément. Lisez-les, pas le total : après quelques centaines de pas, le résidu de l’EDP est plaqué sous 10^-5, tandis que la perte de données stagne près de 1 (bien au-dessus du plancher de bruit de 0,04 de la section 4.2) et que la perte de conditions initiales/aux limites bloque près de 8, du même ordre que les 12,5 qu’obtiendrait un réseau sortant zéro partout (la moyenne de $(5\sin\pi\hat{x})^2$). Le réseau a trouvé une solution quasi triviale : $T \approx 0$ satisfait exactement l’équation de la chaleur et les conditions aux limites, si bien que l’objectif pondéré récompense le fait de rester près d’elle, et que tout mouvement vers le vrai profil initial est puni par le terme dominant avant d’avoir pu payer. Le profil en $\hat{t}=0$ rate l’anomalie de 5 °C d’environ 4 °C.

Le remède est l’équilibre que nous avions déjà : à poids égaux, la même architecture et les mêmes 2 000 pas atteignaient 0,03 °C à la section 4.2. Quand aucune pondération fixe ne fonctionne, parce que les termes ont des échelles réellement différentes, les gestes standard consistent à normaliser chaque terme par sa valeur initiale, à régler les poids sur une métrique de validation réservée, ou à employer un schéma de pondération adaptatif (Karniadakis et al., 2021) ; un entraînement plus long et des couches plus larges n’aident que si le déséquilibre est léger. L’habitude à retenir : tracez toujours les composantes de la perte séparément. Une courbe unique de perte totale cache exactement cette défaillance.

Exercice (biais spectral). L’autre mode de défaillance que nomme la section 5 est le biais spectral. Ajoutez un mode de plus haute fréquence à la condition initiale :

dont la solution analytique ajoute $2\sin(7\pi\hat{x})\,e^{-49\pi^2 \hat{t}}$ à la référence à mode unique. Régénérez y_ic et les 40 échantillons de données à partir de la solution à deux modes, réentraînez le PINN de la section 4.2 (poids égaux), et relancez le solveur FTCS de la section 4.4 avec le nouveau profil initial. Comparez les deux à la solution analytique en $\hat{t} = 0$.

5. Où en sont les PINN en 2026¶

Les PINN ne sont plus une nouveauté, et leurs modes de défaillance sont bien documentés ; deux d’entre eux se trouvent désormais dans ce carnet. L’équilibrage des pertes est un problème de réglage tenace : un mauvais équilibre fait converger l’entraînement vers une solution qui satisfait un terme et ignore les autres, et la section 4.6 l’a montré sur notre propre problème, où un facteur 10⁴ sur le terme physique a produit un réseau coincé près de la solution triviale nulle, ratant l’anomalie de 5 °C d’environ 4 °C pendant que sa perte totale continuait de baisser. Les MLP standard portent aussi un biais spectral vers les fonctions lisses et de basse fréquence : ils apprennent vite les solutions régulières et lentement — quand ils y parviennent — les structures oscillantes ou à petite échelle (Karniadakis et al., 2021) ; l’exercice de la section 4.6 amène un MLP à tanh à aplatir une ondulation de septième mode que le solveur en différences finies résout sans aucune modification. Les EDP raides, les fronts abrupts et les échelles de temps très séparées aggravent les deux problèmes, car le résidu varie alors sur des ordres de grandeur à travers le domaine et aucune pondération fixe n’est juste partout.

La première règle d’usage est négative : ne résolvez pas un problème direct propre avec un PINN. La section 4.4 y a mis des chiffres. Quinze lignes de FTCS ont battu le PINN entraîné d’un facteur d’environ 750 en temps de calcul et de deux ordres de grandeur en précision, sans aucun hyperparamètre à régler. Quand les coefficients et les conditions aux limites sont connus et qu’une discrétisation standard existe, le solveur classique gagne. Et pour le problème voisin de la construction de modèles de substitution rapides évalués de nombreuses fois, les opérateurs neuronaux ont largement pris le relais : le Fourier Neural Operator (Li et al., 2021) et DeepONet (Lu et al., 2021) apprennent l’opérateur solution, l’application qui va d’une condition initiale, d’une condition aux limites ou d’un champ de coefficients vers la solution, si bien qu’après entraînement sur de nombreuses paires de simulations un nouveau cas coûte quelques millisecondes, là où un PINN se réentraînerait de zéro. Pour les études paramétriques, la quantification d’incertitude et la prévision opérationnelle, c’est cet outil-là qui sert.

Les PINN gardent malgré tout leur utilité dans deux régimes, tous deux désormais démontrés plutôt qu’affirmés. Le premier est celui des problèmes inverses : la section 4.5 a fait de la diffusivité un paramètre entraînable et l’a retrouvée à 2 % près à partir des 40 échantillons bruités, l’EDP jouant le rôle du modèle direct à l’intérieur d’une régression (Raissi et al., 2019). C’est de l’inversion conjointe, le motif PEST-autour-de-MODFLOW du calage hydrogéologique replié en une seule boucle d’entraînement. Le second est le régime pauvre en données que représentent ces mêmes 40 points : des observations dispersées et bruitées, plus une équation gouvernante de confiance, et aucune bibliothèque de simulations sur laquelle entraîner un opérateur. Un solveur direct n’a aucune case pour de telles données ; le PINN les traite comme un terme de perte de plus. Ces deux situations sont courantes en géosciences, et c’est pourquoi la méthode reste dans la boîte à outils (Karniadakis et al., 2021).

Références¶

• Raissi, M., Perdikaris, P., and Karniadakis, G. E. (2019). Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics, 378, 686-707.
• Karniadakis, G. E., Kevrekidis, I. G., Lu, L., Perdikaris, P., Wang, S., and Yang, L. (2021). Physics-informed machine learning. Nature Reviews Physics, 3, 422-440.
• Li, Z., Kovachki, N., Azizzadenesheli, K., Liu, B., Bhattacharya, K., Stuart, A., and Anandkumar, A. (2021). Fourier neural operator for parametric partial differential equations. International Conference on Learning Representations (ICLR).
• Lu, L., Jin, P., Pang, G., Zhang, Z., and Karniadakis, G. E. (2021). Learning nonlinear operators via DeepONet based on the universal approximation theorem of operators. Nature Machine Intelligence, 3, 218-229.

Résumé¶

• Un PINN ajoute à la perte d’entraînement le résidu d’une équation gouvernante, évalué par différentiation automatique en des points de collocation.
• Sur l’ablation de la loi de refroidissement, seul le terme physique a produit une extrapolation correcte au-delà des données ; la régularisation L2, non.
• Sur l’équation de la chaleur 1-D, un MLP à tanh de 3 couches a retrouvé le mode diffusif analytique à partir de 40 échantillons bruités, plus l’EDP et les conditions aux limites.
• La référence classique a remporté haut la main le problème direct : 15 lignes de FTCS ont été environ 750 fois plus rapides et deux ordres de grandeur plus précises que le PINN (section 4.4).
• Faire de la diffusivité un paramètre entraînable a transformé la même boucle en une inversion conjointe qui a retrouvé $\hat{k}$ à 2 % près à partir des 40 échantillons bruités, un calage que le solveur direct ne peut pas faire seul (section 4.5).
• Un poids de 10⁴ sur la perte physique a donné une perte totale décroissante et une réponse fausse ; la défaillance n’est visible que sur les courbes de perte par terme, alors tracez toujours les composantes (section 4.6).
• En 2026 : les solveurs classiques pour les problèmes directs propres, les opérateurs neuronaux (FNO, DeepONet) pour les modèles de substitution paramétriques, les PINN pour les problèmes inverses et pauvres en données.