🖥️ Diapositives du cours — Séance 04 (mer. 7 oct.)
Les géosciences carburent aux données : c’est avec elles que nous observons, modélisons et prédisons les processus naturels. Pour bien utiliser un jeu de données, il faut savoir de quel type de données il s’agit, dans quel format il arrive et comment il est structuré. Cette leçon couvre les modalités de données rencontrées en géosciences, les formats de données typiques, les tableaux (arrays) et les tables de données (data frames). Les données géoscientifiques sont particulièrement diverses : mesures ponctuelles d’humidité du sol, sismogrammes en séries temporelles à haute cadence (1 000 échantillons par seconde), imagerie satellitaire rastérisée (Sentinel-2 de Copernicus, Landsat), champs géophysiques simulés dans l’espace et dans le temps.
Figure 1:Art génératif de DALL·E : données géoscientifiques avec tables de données, données géospatiales et temporelles.
Modalités de données en géosciences¶
En géosciences, les données se présentent sous plusieurs modalités selon la source, la nature des mesures et les applications visées :
- Données in situ : mesures prises directement sur le site d’intérêt. Les données in situ arrivent souvent sous forme de séries temporelles. Par exemple :
- Données de température des stations météorologiques (le réseau de Météo-France, par exemple).
- Mouvement du sol enregistré par un sismomètre.
- Humidité du sol mesurée par des sondes in situ.
- Données de télédétection : collectées par des instruments sans contact direct avec l’objet d’étude, souvent depuis des satellites, des drones ou des avions. Les données géospatiales sont rattachées à des positions précises de la surface terrestre, souvent représentées en cartes ou en grilles (données SIG, par exemple). Citons :
- Images à plusieurs longueurs d’onde (images multispectrales ou hyperspectrales) depuis des satellites.
- Topographie par LiDAR ou par systèmes radar.
- Température de surface de la mer par satellite.
- Données de modèles : données simulées produites par des modèles numériques. Par exemple :
- Modèles climatiques prédisant températures, précipitations et chimie futures.
- Modèles hydrologiques simulant l’écoulement de l’eau dans les bassins versants — les crues du Rhône ou les épisodes cévenols, par exemple.
- Simulations de champs d’ondes qui résolvent l’équation d’onde en milieu complexe.
- Données géophysiques : mesures du sous-sol obtenues par des méthodes indirectes comme les campagnes sismiques, la gravimétrie ou les études magnétiques.
Formats de données en géosciences¶
Les données géoscientifiques sont typiquement stockées dans des formats qui optimisent le stockage, l’accès et le partage. Les formats courants :
NetCDF (Network Common Data Form) : couramment utilisé pour les données scientifiques multidimensionnelles, comme les sorties de modèles atmosphériques, océaniques ou climatiques. Il stocke efficacement des données en tableaux avec leurs métadonnées.
HDF (Hierarchical Data Format) : semblable à NetCDF mais plus général, utilisé pour de grands jeux de données, dont l’imagerie satellitaire.
CSV (Comma-Separated Values, valeurs séparées par des virgules) : un format simple pour les données tabulaires. Lisible par un humain et supporté par la plupart des logiciels, mais peu efficace pour les jeux de données volumineux ou multidimensionnels.
GeoTIFF : un format répandu pour les données géospatiales raster, souvent utilisé en télédétection et dans les applications SIG.
Shapefiles : un format de données vectorielles pour les logiciels de systèmes d’information géographique (SIG), qui contient les positions géométriques et les attributs d’objets spatiaux.
Parquet / Arrow : formats en colonnes pour les données tabulaires. Les fichiers Parquet sont compressés, typés et bien plus rapides à lire que le CSV ; Arrow est leur pendant en mémoire, que pandas et d’autres outils utilisent pour échanger des tables sans copie.
Formats optimisés pour le cloud : à mesure que les grandes archives migrent vers le stockage objet dans le cloud, les formats conçus pour des lectures partielles et parallèles via HTTP prennent de l’importance :
- COG (Cloud Optimized GeoTIFF) : un GeoTIFF avec tuilage interne et aperçus, pour que les clients ne demandent que les tuiles dont ils ont besoin.
- GeoParquet : du Parquet avec un encodage standardisé des géométries vectorielles, qui remplace les shapefiles pour les grands jeux de données vectoriels.
- Zarr (v3) : tableaux n-dimensionnels découpés en blocs (chunks) compressés stockés comme une multitude de petits objets, conçu pour les lectures parallèles dans le cloud — le cousin cloud naturel de netCDF.
- kerchunk / VirtualiZarr : indexent des archives netCDF/HDF5 existantes pour qu’elles se lisent comme du Zarr, sans réécrire les données.
- STAC (SpatioTemporal Asset Catalogs) : un catalogue JSON standard pour décrire et rechercher des ressources géospatiales, afin qu’un script trouve exactement les scènes ou granules dont il a besoin.
- TileDB et d’autres continuent de se développer dans ce domaine.
Tableaux¶
Un tableau (array) est une structure de données fondamentale pour stocker des collections de valeurs, représentant souvent des données multidimensionnelles (des données spatiales maillées, par exemple). En géosciences, les tableaux représentent typiquement des grandeurs comme la température, la pression ou les précipitations sur une grille.
Dimensions typiques des tableaux :
- Tableaux 1D : une seule séquence de données, comme des mesures de température au cours du temps en un lieu donné.
- Tableaux 2D : représentent souvent des données spatiales maillées (une carte de précipitations sur une région, par exemple).
- Tableaux 3D : peuvent inclure des dimensions supplémentaires, comme le temps ou la profondeur. Un tableau 3D peut par exemple représenter la température à différentes profondeurs et au cours du temps pour une région donnée, un modèle 3D de la Terre pour des propriétés géophysiques comme la vitesse des ondes sismiques, des instantanés successifs de champs d’ondes sismiques…
- Tableaux 4D : ajoutent encore de la complexité, comme une grille 3D variant dans le temps (données atmosphériques évoluant dans l’espace et le temps, par exemple) ou des images en accéléré des propriétés du sous-sol.
Tables de données¶
Une table de données (data frame) est une structure de données tabulaire à deux dimensions, d’usage courant en analyse de données. On peut la voir comme l’équivalent d’une feuille de calcul ou d’une table de base de données, où :
- Chaque colonne représente une variable ou caractéristique (date, position, température, par exemple).
- Chaque ligne correspond à une observation ou un point de données. Les tables de données sont populaires dans les environnements de programmation comme R et Python (via la bibliothèque Pandas) parce qu’elles gèrent avec souplesse des types de données mixtes (numériques, catégoriels, etc.) et se prêtent idéalement à l’analyse statistique et à la manipulation de données.