4.5 Les trois piliers du développement de modèles

Un modèle d’apprentissage profond qui fonctionne repose sur trois piliers :

1. Les données d’entraînement : leur qualité, leur diversité, l’équilibre entre classes et leur niveau de bruit.
2. L’architecture : la famille de fonctions que le réseau peut représenter, et combien de paramètres il dépense pour le faire.
3. La stratégie d’entraînement : la fonction de perte, l’optimiseur, le taux d’apprentissage, la taille de lot, la règle d’arrêt.

La plupart des défaillances de modèles remontent à exactement un de ces piliers, et chaque pilier échoue avec une signature reconnaissable. Ce carnet est un TP pratique : nous maintenons fixe une tâche de classification et cassons chaque pilier exprès, pour que vous appreniez à lire les signatures avant de les rencontrer dans les données de votre projet.

Le TP utilise de petits perceptrons multicouches sur une table de lithologies synthétique. Chaque expérience s’exécute en quelques secondes sur le CPU d’un ordinateur portable. Vous pouvez augmenter les nombres d’échantillons et d’époques sur votre propre machine ; les leçons ne changent pas.

🖥️ Diapositives du cours — Séance 24 — TP I (mer. 25 nov.)

🖥️ Diapositives du cours — Séance 25 — TP II (lun. 30 nov.)

1. Une tâche, un petit modèle¶

La tâche pour tout le TP : classifier des échantillons de roches en trois classes lithologiques (granite, basalte, andésite) à partir de 9 caractéristiques géochimiques et physiques (oxydes d’éléments majeurs en % massique, densité en g/cm³, susceptibilité magnétique en unités SI). Les données viennent de mlgeo_synth.geochem_table, un générateur qui installe des corrélations réalistes entre oxydes via un indice de différenciation latent. Le générateur étant le nôtre, nous contrôlons exactement la quantité de bruit d’étiquetage, de déséquilibre des classes et de bruit de capteur — les boutons de réglage que les données réelles n’offrent jamais.

Un ajustement rend le TP réaliste : les tables brutes du générateur sont presque parfaitement séparables, ce qu’aucun instrument de terrain ne livre. Chaque jeu de données de ce TP porte donc un plancher fixe de bruit de mesure d’un écart-type par caractéristique, appliqué de la même façon à l’entraînement, à la validation et au test. Les expériences de corruption de la section 3 ajoutent des défauts spécifiques par-dessus ce plancher.

1.1 Ensembles d’entraînement, de validation et de test¶

Avant toute expérience, les données sont découpées en trois :

• Ensemble d’entraînement : sert à ajuster le modèle. Il doit être la plus grande portion, typiquement 60–80 % des données, et aussi divers et équilibré que le problème le permet.
• Ensemble de validation : sert pendant l’entraînement à régler les hyperparamètres et à détecter le surapprentissage. Il donne une estimation de la performance sur données inédites pendant que les décisions se prennent encore. Typiquement 10–20 %.
• Ensemble de test : utilisé une seule fois, à la fin, pour rapporter la généralisation. Il doit rester complètement à l’écart de toute décision prise pendant le développement du modèle. Si de l’information de l’ensemble de test influence l’entraînement ou la sélection du modèle, la performance rapportée est gonflée. Cette défaillance s’appelle la fuite de données, et elle réapparaît à la section 5.

Un détail compte pour ce TP : notre ensemble de test est toujours propre (pas de bruit d’étiquetage, pas de défauts au-delà du plancher partagé de bruit de mesure), même quand nous corrompons exprès les données d’entraînement. C’est ainsi que nous mesurons ce que coûte la corruption.

Les classes sont déséquilibrées par construction (l’andésite est rare) et se recouvrent dans l’espace des caractéristiques. Ces deux propriétés sont typiques des problèmes de classification géochimique.

1.2 Les outils du TP¶

Trois morceaux de code portent tout le TP : une fonction de données avec des boutons de corruption, un MLP configurable et une boucle d’entraînement qui enregistre les courbes d’apprentissage. Lisez-les une fois, attentivement ; chaque expérience ci-dessous tient en quelques lignes qui les appellent.

Une remarque sur la boucle d’entraînement : elle tire un mini-lot (minibatch) aléatoire frais à chaque pas (descente de gradient stochastique par mini-lots, section 2.4) et enregistre les pertes d’entraînement et de validation une fois par époque, évaluées en mode eval() sur les découpages complets. Ces deux courbes par exécution sont l’instrument de diagnostic de tout le TP.

2. Ce que l’entraînement minimise¶

Avant les expériences, le vocabulaire. Une fonction de perte mesure l’écart entre les prédictions du modèle et les étiquettes. Elle fournit le nombre unique que la descente de gradient pousse vers le bas : son choix façonne donc tout ce que le réseau apprend. Les fonctions de perte $\mathcal{L}(\mathbf{y}, \mathbf{\hat{y}}, \mathbf{w})$ quantifient les résidus entre les étiquettes de vérité terrain $\mathbf{y}$ et les prédictions $\mathbf{\hat{y}}$, et elles doivent être différentiables par rapport aux paramètres du modèle $\mathbf{w}$.

2.1 Pertes pour la régression¶

• L’erreur quadratique moyenne (MSE) pénalise quadratiquement les grandes erreurs. C’est le choix naturel quand les erreurs sont proches d’une gaussienne :

  $\mathrm{MSE} = \frac{1}{m} \sum_{i=1}^m \left( \hat{y}_i - y_i \right)^2$

• L’erreur absolue moyenne (MAE) pénalise moins les grandes erreurs, ce qui convient aux distributions d’erreurs à queues lourdes. Son gradient a une amplitude constante, ce qui peut ralentir la convergence près du minimum ; les optimiseurs adaptatifs comme Adam atténuent ce défaut :

  $\mathrm{MAE} = \frac{1}{m} \sum_{i=1}^m |\hat{y}_i - y_i|$

• La perte de Huber bascule entre les deux : quadratique pour les erreurs plus petites qu’un seuil δ (gradients lisses près du minimum), linéaire au-delà (les valeurs aberrantes ne dominent pas).

2.2 Pertes pour la classification¶

Les classificateurs binaires produisent une probabilité via la sigmoïde logistique $\sigma(x) = 1/(1 + e^{-x})$ et s’entraînent avec l’entropie croisée binaire :

$\mathcal{L}(\mathbf{w}) = - \frac{1}{m} \sum_{i=1}^m \left[ y_i \log \hat{p}_i + (1 - y_i) \log(1 - \hat{p}_i) \right]$

Pour $K$ classes, le réseau produit un score $s_k$ par classe et le softmax convertit les scores en probabilités :

$\hat{p}_k = \frac{\exp(s_k)}{\sum_{j=1}^K \exp(s_j)}$

avec l’entropie croisée multi-classes comme perte. nn.CrossEntropyLoss de PyTorch applique le softmax en interne : c’est pourquoi notre MLP renvoie des logits (les scores bruts, avant softmax).

2.3 Pertes adaptées aux géosciences¶

Les pertes standard passent à côté d’objectifs qui comptent dans notre domaine. Comme toute fonction différentiable des prédictions peut devenir un terme de perte, nous pouvons encoder ces objectifs directement :

• Pondération de classes pour les événements rares. Séismes, glissements de terrain et signaux d’éboulements sont des classes rares ; pondérer davantage leurs erreurs (nn.CrossEntropyLoss(weight=...)) empêche l’optimiseur de les ignorer. La section 3.2 montre pourquoi cela compte.

• Similarité de formes d’onde. Un réseau qui reconstruit des sismogrammes doit coller oscillation par oscillation. Ajouter un terme en coefficient de corrélation récompense un alignement de phase que la MSE voit à peine :

  $\mathcal{L}(\mathbf{\hat{u}}, \mathbf{u}) = \mathrm{MSE}(\mathbf{\hat{u}}, \mathbf{u}) + \lambda \left(1 - \mathrm{CC}(\mathbf{\hat{u}}, \mathbf{u})\right)$

• Contraintes physiques. Quand la sortie est un champ physique, un terme de perte peut pénaliser les violations d’une équation d’évolution (conservation de la masse, résidu d’une équation de la chaleur). C’est la base des réseaux de neurones informés par la physique, carnet 4.7.

• Pertes sensibles à l’incertitude. Les prévisions probabilistes s’entraînent avec la log-vraisemblance négative, qui pénalise à la fois l’excès et le défaut de confiance.

2.4 La descente de gradient et le taux d’apprentissage¶

L’entraînement met à jour les paramètres dans la direction qui réduit la perte :

$w_j^{(k+1)} = w_j^{(k)} - \alpha \frac{\partial \mathcal{L}}{\partial w_j}$

où α est le taux d’apprentissage, l’hyperparamètre le plus lourd de conséquences de ce carnet.

Descente de gradient sur une perte convexe et bien conditionnée.	Une perte mal conditionnée, à minimums locaux.

α trop petit : la convergence rampe.	α trop grand : les pas dépassent le minimum.

Trois variantes diffèrent par la quantité de données vue à chaque mise à jour :

• La descente de gradient par lots utilise tout l’ensemble d’entraînement à chaque pas : gradients exacts, pas coûteux.
• La descente de gradient stochastique (SGD) utilise un échantillon par pas : mises à jour bon marché et bruitées, sensibles à la mise à l’échelle des caractéristiques.
• La descente de gradient par mini-lots utilise un petit sous-ensemble aléatoire par pas. C’est le standard en apprentissage profond, et ce que fait notre train_model. La taille de lot arbitre entre bruit du gradient et coût du pas ; la section 5.2 en mesure l’effet.

Les optimiseurs adaptatifs (Adam, RMSProp) remettent à l’échelle le pas de chaque paramètre à l’aide de statistiques glissantes du gradient. Adam est le choix par défaut de ce cours.

2.5 Biais, variance, sous-apprentissage, surapprentissage¶

L’erreur de généralisation se décompose en trois parts :

• Biais : l’erreur due à de mauvaises hypothèses de modèle (ajuster une droite à une courbe). Un biais élevé se manifeste par une perte élevée sur les données d’entraînement elles-mêmes.
• Variance : l’erreur due à une sensibilité excessive aux échantillons d’entraînement particuliers. Une variance élevée se manifeste par un écart entre pertes d’entraînement et de validation.
• Erreur irréductible : le bruit des données. Aucun modèle ne l’élimine ; seules de meilleures données le font (réparer les capteurs, retirer les valeurs aberrantes — pilier 1).

Sous-apprentissage = biais élevé : les pertes d’entraînement et de validation plafonnent toutes deux à une valeur élevée. Remèdes : modèle plus gros, meilleures caractéristiques, moins de régularisation.

Surapprentissage = variance élevée : la perte d’entraînement continue de baisser pendant que la perte de validation stagne puis remonte. Le modèle a commencé à mémoriser le bruit. Remèdes : plus de données, un modèle plus petit, de la régularisation, un arrêt précoce.

Une règle à mémoriser : vous ne savez pas si vous pouvez surapprendre tant que vous ne l’avez pas fait. Faites grossir le modèle jusqu’au surapprentissage, puis reculez ou régularisez. Les deux signatures apparaissent sur de vraies courbes à la section 5.

2.6 Régularisation¶

La régularisation contraint un modèle flexible à se comporter plus simplement :

• Pénalité L2 (ridge) : ajouter $\lambda \frac{1}{2} \lVert \mathbf{w} \rVert_2^2$ à la perte, ce qui rétrécit tous les poids. Dans les optimiseurs PyTorch, c’est l’argument weight_decay.
• Pénalité L1 (lasso) : ajouter $\lambda \lVert \mathbf{w} \rVert_1$, qui pousse les poids sans importance exactement à zéro — une forme de sélection de caractéristiques.
• Elastic net : une combinaison pondérée des deux.
• Dropout (extinction aléatoire de neurones) : mettre aléatoirement à zéro une fraction des activations pendant l’entraînement, pour qu’aucune unité ne puisse compter sur des partenaires précis. Utilisé au carnet 4.2 et disponible comme bouton de réglage dans notre MLP.
• Arrêt précoce : arrêter l’entraînement quand la perte de validation cesse de s’améliorer (section 5.3).
• Augmentation de données : agrandir et diversifier l’ensemble d’entraînement avec des copies transformées (décalages, bruit ajouté). Elle régularise par le pilier des données plutôt que par le modèle.

3. Pilier 1 — Curation des données d’entraînement¶

La qualité d’un modèle commence dans les données, et aucune architecture ni aucun optimiseur ne sauve un ensemble d’entraînement corrompu. Notre générateur contrôlant exactement la corruption, nous pouvons mesurer ce que coûte chaque défaut. Dans chaque expérience, l’ensemble de test reste propre : les courbes isolent donc l’effet de la qualité des données d’entraînement.

3.1 Bruit d’étiquetage¶

Les vraies étiquettes sont fausses plus souvent qu’on n’aime l’admettre : les pointés d’analystes divergent, les catalogues héritent d’erreurs historiques, les classifications de terrain sont révisées. Nous inversons au hasard une fraction des étiquettes d’entraînement et réentraînons — dans deux régimes de données, parce que la réponse dépend de la quantité de données dont vous disposez. Chaque point est une moyenne sur trois graines.

Deux régimes, deux histoires. Avec 3 000 échantillons d’entraînement, même 30 % d’étiquettes inversées au hasard coûtent peu : l’entropie croisée fait la moyenne sur de nombreux échantillons, les inversions sont symétriques, et la majorité correcte suffit encore à fixer les frontières de classes. Avec 600 échantillons, le même modèle a assez de capacité pour mémoriser les étiquettes inversées au lieu de les moyenner, et l’exactitude perd plusieurs points. Le bruit d’étiquetage est le plus dangereux exactement là où vivent d’ordinaire les géosciences : de petits jeux étiquetés et des modèles assez grands pour les mémoriser. Les bandes ombrées sont l’étendue min-max sur les trois graines — la variabilité d’une exécution à l’autre qu’une expérience à graine unique cache. Lisez les bandes avant de croire une différence entre deux points : là où les bandes se recouvrent, la différence peut être un hasard d’initialisation, pas le bouton que vous avez tourné. Ici, l’étendue n’est pas décorative : à 3 000 échantillons, les trois graines couvrent jusqu’à 0,028 (à 15 % de bruit) — l’essentiel des 0,035 qui séparent les moyennes propre et à 30 % de bruit — si bien qu’une version à graine unique de cette figure aurait pu raconter à peu près n’importe quelle histoire. Chaque chiffre de synthèse de ce TP issu d’exécutions répétées est désormais rapporté avec son étendue sur les graines.

Ce qu’il faut chercher dans les données réelles. Une exactitude de validation qui plafonne sous ce que suggère le recouvrement des classes est un symptôme de qualité d’étiquetage, pas un problème d’architecture. Pour le détecter : inspectez les échantillons que le modèle rate avec le plus d’assurance (ils sont souvent mal étiquetés, pas mal classés), faites réétiqueter un sous-ensemble aléatoire par un second analyste et mesurez l’accord, et croisez les étiquettes avec des catalogues indépendants. Et rappelez-vous que le bruit qui fait des dégâts en pratique est rarement symétrique : un analyste qui confond systématiquement deux types de signaux biaise la frontière elle-même, ce qui est bien pire que des inversions aléatoires — l’expérience suivante mesure exactement cela. Corriger un millier d’étiquettes bat généralement l’ajout d’un million de paramètres.

3.2 Déséquilibre des classes¶

L’andésite est déjà la classe rare. Nous la raréfions encore et surveillons le rappel par classe, pas l’exactitude globale.

Désaccord structuré : quand les erreurs ont un motif¶

Les inversions aléatoires uniformes sont l’erreur d’étiquetage la plus clémente possible, et l’expérience ci-dessus montre pourquoi : avec assez de données, elles disparaissent en moyenne. Les vraies erreurs d’étiquettes viennent de personnes, et les personnes divergent selon des motifs. Nous simulons une campagne de terrain cartographiée par deux géologues qui se sont partagé la zone. Chacun étiquette mal 30 % de ses échantillons — le même taux d’erreur total que la plus dure des expériences uniformes ci-dessus — mais leurs confusions ne sont jamais aléatoires : le granite glisse vers l’andésite, le basalte glisse vers l’andésite, l’andésite vers l’un ou l’autre de ses voisins. Personne n’appelle jamais un basalte un granite. La confusion se concentre entre lithologies adjacentes sur l’axe de différenciation, ce qui est exactement le comportement du désaccord cartographique réel.

Même régime à 3 000 échantillons, même modèle, même budget d’entraînement ; seul le motif d’erreur change.

Même taux d’erreur, trois fois plus de dégâts : 30 % d’inversions uniformes coûtent 3,5 points d’exactitude (de 0,945 à 0,910), 30 % de désaccord entre classes adjacentes en coûtent 12,5 (de 0,945 à 0,820), et aucune graine ne s’approche de combler l’écart (meilleure graine : 0,850). La matrice de confusion montre où sont partis les points. Les deux cartographes déversent leurs erreurs dans « andésite » : le modèle a donc appris une classe andésite qui annexe les zones frontalières de ses voisines : 14 % des vrais granites et 16 % des vrais basaltes reviennent maintenant « andésite », tandis que le rappel de la vraie andésite tombe à 0,61. Et cela dans le régime à 3 000 échantillons — celui où les inversions uniformes étaient presque gratuites.

Ce résultat compte bien au-delà de ce carnet, alors le voici sans le code. Chaque étiquette d’un jeu de données géoscientifique est une interprétation, pas une mesure. Une carte géologique enregistre ce qu’un cartographe a conclu d’affleurements, de blocs épars et d’arbitrages aux contacts ; un pointé de phase sismique enregistre l’endroit où un analyste a décidé que l’onde arrivait ; un inventaire de glissements de terrain enregistre les formes de versant qu’un interprète a acceptées comme ruptures. Envoyez indépendamment deux experts qualifiés sur le même terrain, les mêmes formes d’onde ou les mêmes images, et ils divergeront — le plus souvent entre catégories adjacentes : granodiorite contre granite, Pn contre P, vieux glissement contre moraine bosselée. Ce désaccord est mesurable (cartographiez deux fois un sous-ensemble, pointez deux fois une journée d’enregistrements) et atteint couramment un pourcentage à deux chiffres aux frontières de catégories.

Le désaccord structuré fait plus mal que l’erreur aléatoire parce qu’il vote de façon cohérente. Mille inversions aléatoires s’éparpillent dans toutes les directions et s’annulent ; mille confusions entre classes adjacentes poussent toutes la même frontière de classe dans le même sens, si bien que davantage de données rend le modèle plus confiant dans l’erreur partagée des cartographes, pas moins. Conséquence pratique : l’accord inter-annotateurs est un plafond pour l’exactitude que tout modèle peut démontrer, parce que le modèle est noté sur des étiquettes qui portent le désaccord. Avant de passer un mois sur les architectures, passez une journée à mesurer la fréquence à laquelle deux experts s’accordent sur vos étiquettes — ce chiffre vous dit quand cesser de régler et commencer à réétiqueter.

Lisez les deux colonnes en regard l’une de l’autre. L’exactitude globale dérive de quelques points vers le bas — rien d’alarmant sur un tableau de bord. Le rappel de l’andésite s’effondre à zéro : le modèle a complètement cessé de prédire la classe. Notez aussi que même à pleines données, la classe rare part désavantagée (rappel de 0,74 contre 0,97 pour les classes majoritaires). C’est la défaillance silencieuse la plus courante en classification géoscientifique, où la classe rare (l’éruption, l’événement induit, le glissement de terrain) est celle qui vous importe.

Ce qu’il faut chercher dans les données réelles. Rapportez toujours la matrice de confusion complète et le rappel par classe ; jamais l’exactitude seule. Si la classe minoritaire compte, utilisez des poids de classes dans la perte, suréchantillonnez-la ou générez des exemples minoritaires augmentés — et vérifiez que le correctif se voit dans le rappel, pas seulement dans la perte.

3.3 Bruit de capteur sur les caractéristiques¶

Cette fois les étiquettes sont justes mais l’instrument se dégrade : nous ajoutons du bruit gaussien supplémentaire aux caractéristiques d’entraînement et de validation, par-dessus le plancher de mesure partagé de 1,0σ, en unités d’un écart-type de caractéristique. L’ensemble de test garde le plancher normal — cela simule un entraînement sur les données d’un capteur pire que celui que vous déployez.

Dès que le bruit ajouté atteint quelques fois la dispersion naturelle de chaque caractéristique, les amas de classes se fondent les uns dans les autres et l’exactitude glisse vers le hasard. Aucun modèle ne récupère une séparation que les mesures ne contiennent plus — c’est le terme d’erreur irréductible de la section 2.5 rendu visible.

Ce qu’il faut chercher dans les données réelles. Estimez l’incertitude de mesure par caractéristique (mesures répétées, spécifications de l’instrument, registres de calibration) et comparez-la à la séparation entre classes de cette caractéristique. Les caractéristiques dont le bruit dépasse la séparation de classes n’ajoutent aucun signal ; les nettoyer ou les abandonner relève de la curation des données, pas de la défaite.

3.4 Combien de données suffisent ?¶

Le diagnostic classique de la courbe d’apprentissage trace la performance en fonction de la taille de l’ensemble d’entraînement. C’est la fonction à réutiliser chaque fois qu’on vous demande « davantage de données aideraient-elles ? » — une question qui se mesure mieux qu’elle ne se débat.

Qualité hétéroscédastique : quand vous savez à quel point chaque échantillon est bruité¶

Le balayage ci-dessus dégradait chaque échantillon également. Les vraies tables mélangent les provenances : la moitié de votre géochimie vient d’un XRF de laboratoire à l’erreur analytique serrée, l’autre moitié d’un appareil de terrain portable plusieurs fois pire — et les métadonnées disent en général laquelle est laquelle, parce que l’incertitude analytique est rapportée par échantillon. (Les flux de capteurs font la même chose dans le temps : mlgeo_synth.degrade_series renvoie une colonne sigma_mm par échantillon exactement pour cette raison.) Un bruit dont la variance change d’un échantillon à l’autre est dit hétéroscédastique, et c’est la moitié aléatoire du vocabulaire de l’incertitude de la leçon 3.9 : un aléa de la mesure elle-même, qu’aucune quantité de données d’entraînement n’élimine — mais que vous pouvez refuser de traiter comme vérité.

L’entropie croisée standard traite chaque échantillon comme également fiable. Si la variance est connue, le correctif consiste à pondérer la perte de chaque échantillon par l’inverse de sa variance ($w_i \propto 1/\sigma_i^2$), l’analogue en classification des moindres carrés pondérés. Nous mesurons ce que coûte d’ignorer les métadonnées et ce que les poids récupèrent : chaque échantillon d’entraînement tire son plancher de bruit dans {0,5 ; 4,0} écarts-types avec probabilité égale (qualité laboratoire ou qualité terrain), et le même modèle s’entraîne une fois sans les poids et une fois avec.

La table de qualité mixte coûte 1,7 point face à la référence tout-laboratoire (0,933 contre 0,950). Rendre au modèle la variance qu’il avait déjà dans les métadonnées en récupère 1,3 (0,946) — aucune donnée nouvelle, une seule ligne de code de perte — et les bandes de graines des deux schémas ne se recouvrent pas (0,932–0,935 contre 0,939–0,951) : le gain n’est pas un hasard d’initialisation.

Ce qu’il faut chercher dans les données réelles. Toute colonne nommée uncertainty, std_err, quality ou pick_weight est une invitation à pondérer la perte — catalogues sismiques, bases de données géochimiques et solutions GNSS en livrent tous une, et la plupart des chaînes de traitement la jettent à l’ingestion. La sous-pondération est aussi l’alternative honnête au raccourci tentant qui consiste à supprimer la moitié bruitée : les échantillons de qualité terrain portent encore du signal, simplement moins par échantillon, et les poids en fixent le juste prix.

La courbe monte en flèche, puis s’aplatit : passé quelques milliers d’échantillons, davantage de données identiques n’apporte presque rien. Si la courbe monte encore à votre taille de données actuelle, collectez plus de données avant de régler quoi que ce soit d’autre. Si elle s’est aplatie, davantage des mêmes données n’aidera pas ; de meilleures étiquettes, de meilleures caractéristiques ou des exemples plus difficiles, peut-être.

4. Pilier 2 — Architecture¶

Les données maintenues propres et fixes, nous varions maintenant le modèle. Les questions sont toujours les mêmes : quelle largeur, quelle profondeur, et comparé à quelle référence ?

4.1 Largeur¶

L’exactitude sature à moins d’un facteur de quelques unités de la plus petite largeur adéquate. Au-delà, les paramètres sont gratuits en exactitude, mais pas en temps d’entraînement, en mémoire ni en risque de surapprentissage sur des jeux plus petits.

4.2 La profondeur à budget de paramètres fixé¶

Vaut-il mieux dépenser un budget de paramètres fixé en profondeur ou en largeur ? Nous calculons la largeur qui donne à chaque profondeur à peu près le même nombre de paramètres, puis comparons.

Sur un problème tabulaire à 9 caractéristiques, la profondeur rapporte peu : les corrélations plantées par le générateur sont d’ordre bas, et un réseau peu profond mais large les représente aussi bien qu’un réseau profond. La profondeur paie quand les données ont une structure hiérarchique — des contours aux textures puis aux objets dans les images (carnet 4.3), des échantillons aux motifs puis aux phrases dans les séquences (carnet 4.4). Accordez l’architecture à la structure des données, pas à la mode.

4.3 La référence qu’il faut toujours exécuter¶

Tout modèle profond a besoin d’un point de comparaison bon marché. Pour la classification, c’est la régression logistique multinomiale — de façon équivalente, notre MLP de profondeur 0 (une seule couche linéaire plus softmax).

L’écart est réel mais modeste — typique de données tabulaires bien conditionnées. Si votre modèle profond ne bat pas la référence linéaire, le problème vient des données ou des caractéristiques, pas d’une couche manquante. Rapportez la référence dans chaque projet ; c’est le dénominateur honnête de toute affirmation sur l’apprentissage profond.

4.4 Ensembles profonds : l’incertitude par le désaccord¶

Entraînez la même architecture depuis plusieurs graines aléatoires et les exécutions convergent vers des fonctions différentes, qui s’accordent sur les échantillons faciles et divergent près des frontières de classes. Ce désaccord est un signal d’incertitude pratique (Lakshminarayanan et al., 2017, NeurIPS), et il ne coûte rien d’autre que des entraînements répétés. Savoir si le signal est bon n’est pas une affirmation à poser ; cela se scinde en deux propositions mesurables. Discrimination : le désaccord classe-t-il les échantillons selon leur risque d’erreur ? Calibration : quand l’ensemble dit 80 %, a-t-il raison environ 80 % du temps ? Les deux sont indépendantes — un modèle peut classer parfaitement ses erreurs pendant que chaque probabilité affichée est trop confiante de 20 points — et nous mesurons les deux.

Deux gains. D’abord, la moyenne de l’ensemble est généralement au moins aussi exacte que le meilleur membre individuel. Ensuite — et c’est plus utile en pratique — les échantillons où les membres divergent sont exactement ceux que l’ensemble rate le plus souvent, et ils se regroupent le long des frontières de classes dans l’espace des caractéristiques. Dans un flux de travail réel, vous enverriez les échantillons signalés à un analyste humain. C’est la discrimination — la même compétence qu’avait l’étalement des votes de la leçon 3.9, mesurée de la même façon : regroupez par score d’incertitude, vérifiez que l’exactitude décroît d’un groupe à l’autre. Rien dans cette figure ne dit si les probabilités de l’ensemble signifient ce qu’elles prétendent. Le jalon du projet final propose cette analyse comme l’une des deux expériences d’incertitude exigées.

5. Pilier 3 — Stratégies d’entraînement¶

Mêmes données, même architecture : tout ce qui suit ne change que la façon d’entraîner.

5.1 Le taux d’apprentissage, en trois régimes¶

Cette seconde propriété est la calibration, et elle exige les outils de la leçon 3.6 : un diagramme de fiabilité sur les probabilités moyennes de l’ensemble, résumé par l’erreur de calibration attendue (ECE) — l’écart moyen entre confiance affichée et exactitude observée, pondéré par le nombre d’échantillons tombant dans chaque case de confiance. Pour un problème à 3 classes, la confiance de la classe prédite vit entre 1/3 et 1, et les cases aussi. Nous comparons la moyenne de l’ensemble à un membre unique pour voir ce que la moyenne apporte.

La mesure corrige l’affirmation que faisait un brouillon antérieur de cette section. Lakshminarayanan et al. (2017) ont trouvé que les ensembles profonds améliorent la calibration, et sur les réseaux profonds — surtout sous décalage de distribution — c’est généralement le cas. Ici, le membre unique est déjà presque calibré (ECE de 0,015) et la moyenne de l’ensemble ne gagne rien de mesurable (ECE de 0,017 ; les deux courbes épousent la diagonale). Un MLP à deux couches sur neuf caractéristiques avec un plancher de bruit de 1σ n’est pas assez mal calibré pour être corrigé. « Bien calibré » est une mesure qu’on attache à un modèle après avoir exécuté cette cellule, pas un adjectif livré avec une méthode.

Gardez les deux diagnostics distincts dans vos comptes rendus. Le graphique par quintiles répond à « puis-je faire confiance au classement ? » — utile pour router des échantillons vers un analyste, où seul l’ordre compte. Le diagramme de fiabilité répond à « puis-je faire confiance au nombre ? » — requis dès que la probabilité elle-même alimente un seuil de décision qui appartient à quelqu’un d’autre, la situation contre laquelle la leçon 3.6 mettait en garde. Présenter l’un comme preuve de l’autre est exactement l’erreur que cette section contenait à l’origine, et elle survit à l’évaluation par les pairs avec une fréquence déprimante.

4.5 MC dropout : une seconde méthode d’incertitude à partir d’un seul modèle¶

Cinq entraînements sont un coût réel quand une exécution prend une semaine. Le Monte Carlo dropout (MC dropout) achète une estimation d’incertitude à partir d’un seul modèle entraîné : entraînez avec dropout comme d’habitude (le bouton que notre MLP porte depuis la section 2.6), puis, au moment de la prédiction, laissez le dropout actif et faites passer la même entrée $T$ fois dans le réseau. Chaque passe échantillonne un sous-réseau aléatoire différent ; la moyenne des passes est la prédiction et leur dispersion est l’incertitude — une approximation de l’inférence bayésienne sur les poids (Gal & Ghahramani, 2016, ICML).

La comparaison honnête est un face-à-face sur les mêmes données et le même ensemble de test : un modèle à dropout avec $T=50$ passes stochastiques contre l’ensemble à 5 membres, notés sur l’exactitude, la calibration (ECE) et la discrimination (dispersion en fonction de l’erreur), le coût affiché à côté des chiffres.

Les chiffres refusent de couronner la méthode coûteuse. Le MC dropout égale l’ensemble en exactitude (0,952 contre 0,949 — une différence à l’intérieur de l’étendue de graines d’une seule exécution), le devance en calibration (ECE de 0,011 contre 0,017) et trace la même courbe de discrimination (exactitude dans le quintile de plus forte dispersion : 0,79 contre 0,77 ; les quatre autres quintiles s’accordent à trois décimales) — pour un entraînement au lieu de cinq. Les 50 passes de prédiction sont le côté bon marché du registre ; les entraînements sont le côté coûteux. Sur cette tâche, un seul modèle à dropout est le choix rationnel. Les raisons pour lesquelles l’ensemble survit en pratique sont hors de ce tableau : son avantage documenté en calibration apparaît sur de grands réseaux sous décalage de distribution, ses membres s’entraînent en parallèle alors que les passes de dropout à grande échelle peuvent devenir le goulot d’étranglement de l’inférence, et son désaccord provient de solutions véritablement indépendantes — la propriété que nous mettons maintenant à l’épreuve hors plage.

4.6 Hors plage : interpolation, extrapolation, et ce que le désaccord peut signaler¶

Chaque score de ce carnet jusqu’ici partage une hypothèse cachée : l’ensemble de test a été tiré du même générateur, sur les mêmes plages de paramètres, que l’ensemble d’entraînement. Le modèle interpole — il prédit à l’intérieur de la région de l’espace des caractéristiques que ses données d’entraînement couvraient. Le déploiement brise l’hypothèse couramment : la zone cartographiée s’arrête, le pluton suivant est plus évolué que tout ce que la campagne a vu, la nouvelle station repose sur un sol plus meuble. Prédire là, c’est extrapoler, et la leçon 3.8 a montré avec son échelle de découpages qu’interpolation et extrapolation sont des affirmations différentes — le découpage que vous choisissez décide quelle affirmation votre score soutient. Ici, nous regardons un modèle franchir la ligne, et nous posons la question opérationnelle : le désaccord d’ensemble nous prévient-il quand cela arrive ?

Le montage utilise le bouton caché du générateur. Les oxydes de chaque échantillon sont pilotés par un indice de différenciation latent (section 1) ; son proxy observable est le SiO₂ standardisé par classe. Nous entraînons un ensemble uniquement sur les échantillons à moins d’un écart-type de la composition typique de chaque unité — la campagne de terrain n’a cartographié que des granites typiques, des basaltes typiques, des andésites typiques — puis nous évaluons sur un tirage frais couvrant la plage complète, y compris les extrêmes évolués et primitifs que le modèle n’a jamais vus.

Lisez d’abord le tableau. Le taux d’erreur double presque en franchissant la borne d’entraînement — 4,9 % dans la plage, 8,0 % juste au-delà, 8,5 % au-delà de deux unités — une défaillance graduelle, parce qu’un granite inhabituellement évolué reste surtout granitique. Le désaccord moyen monte avec lui, de 0,013 à 0,021 : l’ensemble s’en aperçoit. Et sur les 77 erreurs hors plage, exactement une est une défaillance silencieuse — fausse, avec un désaccord au niveau ou au-dessous de la médiane en plage. Cet unique échantillon est le mécanisme à mémoriser : une composition extrême qui a atterri à l’intérieur du territoire familier d’une classe voisine, si bien que les cinq membres se sont accordés avec assurance sur la même étiquette fausse. Le désaccord signale les régions inconnues de l’espace des caractéristiques ; il ne peut pas signaler un échantillon dont l’étiquette a changé pendant que ses caractéristiques prenaient un air familier. Sous un décalage plus fort, cet échantillon unique devient une population.

Le nuage de points ajoute la seconde mise en garde : les distributions du désaccord en plage et hors plage se recouvrent largement. La moyenne monte de 60 %, mais aucun seuil sur la dispersion ne reconstruit la borne d’entraînement — la borne est une métadonnée que vous seul possédez, et c’est pourquoi elle doit être déclarée, pas inférée du comportement du modèle.

Votre distribution d’entraînement est un contrat. Chaque nombre produit par ce TP — exactitude, ECE, graphiques par quintiles — est une clause de ce contrat, valable pour des échantillons tirés des plages couvertes par les données d’entraînement. Hors de ces plages, le modèle extrapole, et aucun diagnostic calculé dans la plage ne certifie ce qu’il y fait. Déclarez la plage à côté du modèle chaque fois que vous en publiez un, et traitez les prédictions au-delà comme injustifiées tant que des étiquettes hors plage n’ont pas dit le contraire.

Trois signatures à mémoriser :

• Trop haut : la perte oscille ou explose ; chaque pas dépasse la vallée. (Sur les exécutions instables, la perte peut atteindre inf ou NaN ; l’axe logarithmique rend l’explosion lisible.)
• Trop bas : les deux courbes descendent en rampant le long d’une ligne presque droite ; l’entraînement « marche » mais demanderait des centaines d’époques.
• Bien choisi : chute rapide au début, puis aplatissement régulier.

Dans le doute, balayez d’abord le taux d’apprentissage en puissances de 10. Rien d’autre dans cette section ne compte tant que celui-ci n’est pas à peu près juste.

5.2 Taille de lot¶

Les petits lots font beaucoup de pas bruités par époque : progression initiale rapide et léger effet régularisant, au prix d’une agitation des courbes. Les grands lots font peu de pas lisses : chaque époque accomplit moins, si bien qu’à budget d’époques fixé la courbe traîne, et les très grands lots généralisent souvent légèrement moins bien. La taille de lot fixe aussi l’usage mémoire, ce qui la décide généralement sur du matériel réel. La pratique courante : le plus grand lot qui tient confortablement en mémoire, avec le taux d’apprentissage re-réglé quand le lot change.

5.3 Le surapprentissage en direct, et l’arrêt précoce¶

Pour forcer le surapprentissage, nous donnons à un grand modèle un ensemble d’entraînement petit et bruité, et nous le laissons tourner longtemps.

La signature d’école : la perte d’entraînement tombe vers zéro pendant que la perte de validation touche son plancher puis remonte. L’arrêt précoce régularise en gardant simplement le modèle de l’époque où la perte de validation était la plus basse. L’implémentation standard tient un compteur de patience :

best_val, patience, wait = float("inf"), 20, 0
for epoch in range(max_epochs):
    train_one_epoch(...)
    val = validation_loss(...)
    if val < best_val:
        best_val, wait = val, 0
        torch.save(model.state_dict(), "best.pt")   # checkpoint the best model
    else:
        wait += 1
        if wait > patience:
            break                                    # stop; reload best.pt

Le carnet 4.2 couvre la moitié checkpoint (point de sauvegarde) de ce motif.

5.4 Planificateurs de taux d’apprentissage¶

Un planificateur (scheduler) démarre avec un grand taux d’apprentissage pour progresser vite, puis le rétrécit pour finir avec précision — un compromis entre les panneaux « trop haut » et « trop bas » de la section 5.1.

StepLR (réduire le taux d’un facteur donné toutes les $k$ époques) et le recuit en cosinus (cosine annealing) sont les deux plans que vous rencontrerez le plus souvent. Sur un problème aussi petit, le gain est modeste ; sur les grands modèles, les planificateurs sont la pratique standard.

5.5 Exercice : diagnostiquer six entraînements cassés¶

Ci-dessous, les courbes d’apprentissage de six exécutions d’entraînement, chacune cassée d’une façon différente (ou suspecte d’une façon différente). Les pathologies, dans un ordre mélangé : taux d’apprentissage trop haut, taux d’apprentissage trop bas, surapprentissage, sous-apprentissage (capacité insuffisante), bruit d’étiquetage massif, et fuite de données vers l’ensemble de validation.

Diagnostiquez chaque exécution à partir de ses courbes avant de lire le code de génération au-dessus de la figure ou d’ouvrir la solution.

Pour chaque exécution, notez : la pathologie, la preuve dans les courbes, et le correctif que vous essaieriez en premier.

5.6 Recherche d’hyperparamètres avec Optuna¶

Après les balayages manuels, la version systématique. Optuna échantillonne des combinaisons d’hyperparamètres, observe le score de validation de chaque essai et concentre la recherche là où les scores sont bons. Vingt essais sur notre petite tâche prennent moins d’une minute.

Cherchez les hyperparamètres dont la section 5 a montré l’importance — le taux d’apprentissage d’abord, puis la régularisation et la largeur — sur des plages que vos balayages manuels ont trouvées raisonnables. Gardez toujours l’ensemble de test final hors de la recherche : Optuna optimise le score de validation, et l’ensemble de test ne se dépense qu’une seule fois, à la fin.

5.7 Pourquoi la recherche d’architecture a cessé de compter¶

Il y a dix ans, la recherche d’architecture neuronale — des algorithmes qui conçoivent automatiquement le câblage des réseaux — était un front de recherche actif. Elle s’est largement estompée, pour une raison simple : une poignée d’architectures canoniques (le MLP, le réseau convolutif, le transformer) plus le passage à l’échelle ont gagné. Domaine après domaine, prendre une architecture standard et dépenser le calcul en davantage de données, davantage de paramètres et un meilleur entraînement a battu les câblages sur mesure découverts par recherche. Ce qui reste du problème de recherche s’est déplacé là où vous venez de vous exercer : les hyperparamètres (Optuna et ses parents) et, surtout, le pilier des données. C’est aussi le conseil pratique pour vos projets : choisissez l’architecture canonique qui correspond à la structure de vos données, puis dépensez votre effort en curation des données et en diagnostics d’entraînement.

6. Liste de contrôle pour entraîner un modèle d’apprentissage profond¶

1. Caractérisez les données (chapitre 2) : dimensionnalité, unités, corrélations, équilibre des classes.
2. Mettez de côté les données de test en premier. Réfléchissez à la causalité et à l’indépendance entre échantillons de test et d’entraînement : les découpages aléatoires fuient quand les échantillons sont corrélés en temps ou en espace.
3. Organisez les données d’entraînement (pilier 1) : auditez les étiquettes, quantifiez le bruit de mesure, vérifiez les effectifs par classe et diversifiez par augmentation là où des transformations physiques ont du sens.
4. Concevez le réseau (pilier 2) : accordez la famille d’architectures à la structure des données, commencez petit et incluez toujours la référence linéaire ou de ML classique.
5. Définissez la perte adaptée à la tâche et aux objectifs du domaine (section 2), en consultant la documentation des fonctions de perte de PyTorch et les métriques de scikit-learn.
6. Choisissez l’optimiseur et la stratégie d’entraînement (pilier 3) : Adam par défaut, le taux d’apprentissage balayé en puissances de dix, le plus grand lot confortable, un planificateur pour les longues exécutions.
7. Entraînez avec les diagnostics allumés : enregistrez les courbes d’entraînement et de validation à chaque exécution, posez un checkpoint sur le meilleur modèle en validation, arrêtez tôt quand la validation stagne.
8. Évaluez honnêtement : des métriques par classe, l’ensemble de test intact une seule fois, une estimation d’incertitude (un ensemble profond si vous pouvez vous offrir cinq entraînements, le MC dropout sinon), une vérification de calibration sur toute probabilité que vous rapportez (section 4.4), et une déclaration des plages d’entraînement hors desquelles aucun de ces chiffres ne s’applique (section 4.6).

7. Résumé¶

Vous disposez maintenant d’un vocabulaire de diagnostic attaché à des courbes que vous avez générées vous-même : ce que coûtent le bruit d’étiquetage — aléatoire et structuré —, le déséquilibre des classes et le bruit de capteur — uniforme et hétéroscédastique (pilier 1) ; comment se comportent largeur, profondeur, références, ensembles profonds et MC dropout, en quoi la calibration diffère de la discrimination, et ce qui se passe hors plage (pilier 2) ; et à quoi ressemblent taux d’apprentissage, taille de lot, surapprentissage, arrêt précoce et planificateurs dans les courbes d’apprentissage (pilier 3). Les six exécutions cassées de la section 5.5 sont l’examen que les vrais projets ne cesseront de vous faire passer.

Appliquez ce TP à votre propre projet : pour le jalon du projet final, vous réutiliserez les motifs de balayage sur vos architectures, tiendrez une annexe de diagnostics avec au moins une exécution ratée, et mènerez soit l’analyse d’ensemble profond de la section 4.4, soit l’expérience d’affinage du carnet 4.6.