1.6 Galerie de données - Machine Learning en géosciences

🖥️ Diapositives du cours — Séance 04 (mer. 7 oct.)

Ce cours propose plusieurs parcours pour les étudiants en géosciences. Les jeux de données peuvent être téléchargés et utilisés dans les divers exercices : classification, régression, partitionnement (clustering), etc.

Les parcours sont : sciences géophysiques (filières sismologie et géodésie), géologie, sciences de la cryosphère, sciences de l’atmosphère, sciences de l’océan, hydrologie et foresterie.

Nous fournissons une série de petits jeux de données choisis pour le cours. Ce sont des données en accès ouvert, chacune avec sa propre licence.

La collection vit dans le dépôt UW-MLGEO/MLGeo-dataset.

Télécharger un fichier depuis le dépôt MLGeo-dataset¶

Pour télécharger un fichier d’un dépôt GitHub, procédez ainsi :

Identifier l’URL du fichier :
- Naviguez jusqu’au fichier CSV dans le dépôt GitHub.
- Cliquez sur le fichier pour en voir le contenu.
- Cliquez sur le bouton « Raw » pour obtenir l’URL directe du fichier.

Construire l’URL de téléchargement :

Le format de l’URL est :

https://raw.githubusercontent.com/UW-MLGEO/MLGeo-dataset/main/data/file.csv

Télécharger le fichier avec pooch :
pooch est une petite bibliothèque Python faite exactement pour cela : récupérer un fichier à une URL, le mettre en cache localement et en vérifier l’intégrité.
```
import pooch

fname = pooch.retrieve(
    url="https://raw.githubusercontent.com/UW-MLGEO/MLGeo-dataset/main/data/EarthRocGranites.csv",
    known_hash=None,
)
```
pooch.retrieve télécharge le fichier une fois, le range dans un cache local et renvoie son chemin ; les appels suivants réutilisent la copie en cache. Avec known_hash=None, pooch affiche la somme de contrôle SHA256 de ce qu’il a téléchargé. Recopiez-la dans votre code sous la forme known_hash="sha256:..." : dès lors, pooch vérifie chaque téléchargement contre elle et lève une erreur si le fichier sur le serveur a changé. C’est un petit morceau de reproductibilité, à bas coût — vous savez que votre analyse a tourné sur le fichier que vous croyez.
Au passage, les équivalents shell fonctionnent aussi, sans cache ni somme de contrôle :
```
wget https://raw.githubusercontent.com/UW-MLGEO/MLGeo-dataset/main/data/EarthRocGranites.csv
# or: curl -O <url>
```

Description des données¶

La collection vise à représenter la diversité des jeux de données rencontrés en géosciences.

Elle comprend des séries temporelles à toutes les échelles de temps (de la seconde à la centaine de milliers d’années). Les données sont stockées en fichiers CSV pour la classe, mais on les trouve typiquement en CSV, Arrow, H5, NetCDF, TileDB, mseed et autres formats propres à chaque discipline.

Licences et citation¶

Chaque page de jeu de données du dépôt MLGeo-dataset doit porter deux choses : la licence sous laquelle les données sont distribuées, et la citation du producteur des données. Quand vous réutilisez un jeu de données, reportez les deux dans votre propre dépôt. Pour les jeux de données phares, lorsque c’est connu :

Enregistrement du CO2 au Mauna Loa (data_co2.csv) : produit par le NOAA Global Monitoring Laboratory ; œuvre du gouvernement des États-Unis, donc dans le domaine public. Citez NOAA GML.
Empilement benthique LR04 (lr04.csv) : données de recherche publiées ; citez Lisiecki & Raymo (2005), doi:10.1029/2004PA001071.
Catalogue mondial de séismes (Global_Quakes_IRIS.csv) : issu des services d’EarthScope (anciennement IRIS), distribution ouverte ; citez EarthScope/USGS.
Catalogues de séismes du PNSN (pnsn_catalog.csv et fichiers associés) : distribution ouverte par le Pacific Northwest Seismic Network — le réseau sismologique du nord-ouest des États-Unis, où ce cours est enseigné ; citez le PNSN. (L’équivalent français de tels catalogues est publié par Epos-France et le BCSF.)
Concentration de glace de mer arctique (noaav4_nh_monthly_sic_1978_2024.nc) : Climate Data Record NOAA/NSIDC, distribution ouverte ; citez le jeu de données NSIDC.
Données du glacier Jakobshavn (data_ice_jakobshavn.csv) : citez le producteur des données indiqué sur la page du jeu de données.
Pour les fichiers restants (p. ex. water_potability.csv, extraits du SDSS Skyserver), la licence figure sur la page du jeu de données ; si une page n’en a pas, c’est un bogue — ouvrez une issue.