3.1 Conceptos de supervisión del entrenamiento

🖥️ Diapositivas — Sesión 12 (lun 26 oct)

Las diapositivas de un panorama general que combina los capítulos 3.1 y 3.2 están aquí.

Los marcos de aprendizaje difieren en qué supervisa el entrenamiento: las etiquetas, la propia estructura de los datos o la retroalimentación de un entorno. Una analista sísmica que ha etiquetado diez mil formas de onda como sismo o ruido supervisa el modelo directamente. Un archivo de perfiles oceánicos que nadie ha etiquetado solo ofrece su propia estructura. Un planeador autónomo aprende de las consecuencias de sus propias decisiones de muestreo. Este capítulo presenta los marcos principales — aprendizaje no supervisado, semisupervisado, autosupervisado, por refuerzo y activo — y dónde encaja cada uno en el trabajo geocientífico. El aprendizaje supervisado, caballo de batalla de este capítulo, se trata en profundidad a partir de 3.2.

1. Aprendizaje no supervisado¶

La red Argo ha devuelto millones de perfiles de temperatura–salinidad del océano mundial, y nadie ha etiquetado uno solo. ¿Cuántas masas de agua distintas hay ahí? ¿Qué perfiles van juntos, y cuáles no se parecen a nada más en el archivo? Preguntas como estas — primero la estructura, nunca las etiquetas — son el territorio del aprendizaje no supervisado.

El aprendizaje no supervisado entrena modelos sobre datos sin salidas etiquetadas. No hay variable objetivo que guíe el entrenamiento, así que la propia geometría de los datos hace de supervisora: qué muestras de datos quedan cerca unas de otras en el espacio de características, qué direcciones cargan la varianza, qué muestras quedan lejos de todo lo demás.

Tres familias de técnicas responden a esas tres preguntas. El agrupamiento (clustering) reúne las muestras de datos por similitud de características (k-means, agrupamiento jerárquico, DBSCAN — el tema de la lección 3.3). La reducción de dimensionalidad comprime muchas características correlacionadas en unas pocas direcciones informativas (PCA, t-SNE; vea el capítulo 2.12). La detección de anomalías señala las muestras de datos que quedan lejos del resto (isolation forest, SVM de una clase).

Ejemplos geocientíficos incluyen la detección de anomalías geoquímicas en la exploración minera — un terreno donde trabaja el Servicio Geológico Mexicano —, donde los isolation forests señalan muestras con firmas multielemento inusuales; el análisis de facies sísmicas, donde el agrupamiento de atributos sísmicos organiza los datos de reflexión en unidades del subsuelo interpretables; y el descubrimiento de regímenes climáticos, donde k-means aplicado a campos de presión atmosférica recupera los regímenes de tiempo recurrentes de las latitudes medias.

Ventajas y desafíos¶

2. Aprendizaje semisupervisado¶

Un inventario de deslizamientos de una región montañosa confirma unos cientos de fallas de ladera, cartografiadas en campo después de las tormentas — o de un huracán que cruzó la sierra —, mientras que la región contiene decenas de miles de laderas que nadie ha visitado. Descartar las laderas no visitadas desperdicia la mayor parte de los datos; declararlas todas «estables» siembra etiquetas falsas. El aprendizaje semisupervisado toma el camino intermedio: entrena a la vez sobre el conjunto etiquetado pequeño y el no etiquetado grande.

Las muestras sin etiqueta no pueden decir a qué clase pertenecen, pero trazan dónde los datos son densos y dónde caen los vacíos naturales — y una buena frontera de decisión debe pasar por los vacíos, no por el medio de una nube densa. Esa es la información que aportan las laderas sin etiquetar.

La receta más simple es el autoentrenamiento (self-training): ajustar un modelo sobre las muestras etiquetadas, dejar que prediga etiquetas para las no etiquetadas, adoptar sus predicciones más confiadas como si fueran verdaderas y reajustar. El riesgo es evidente — una etiqueta errónea pero confiada se adopta temprano y se propaga por todas las rondas posteriores. Las variantes se protegen entrenando varios modelos que etiquetan datos unos para otros (co-entrenamiento, co-training), o propagando las etiquetas a lo largo de un grafo que conecta muestras similares (métodos basados en grafos).

Las aplicaciones geocientíficas incluyen la cartografía de cobertura del suelo a partir de imágenes satelitales, donde las etiquetas verificadas en campo cubren solo una fracción pequeña de la escena; la cartografía de prospectividad mineral a partir de levantamientos geofísicos abundantes pero sin etiquetar, anclados por unos pocos yacimientos perforados; y la cartografía de susceptibilidad a deslizamientos, donde los inventarios registran solo un número limitado de eventos confirmados.

3. Aprendizaje autosupervisado¶

El aprendizaje autosupervisado genera su propia supervisión a partir de la estructura de los datos: el modelo se entrena para predecir una parte oculta de la entrada a partir de la parte visible. No intervienen etiquetas humanas, y sin embargo el entrenamiento es plenamente supervisado en su forma — la «etiqueta» es un valor enmascarado, la muestra siguiente o la identidad de una copia aumentada.

Este es el mecanismo de entrenamiento detrás de los modelos fundacionales. Los modelos de lenguaje de gran escala (LLM) se entrenan por predicción enmascarada o del siguiente token sobre texto; los modelos fundacionales de visión y de formas de onda se entrenan por reconstrucción de parches enmascarados o por aprendizaje contrastivo, donde el modelo aprende a colocar vistas aumentadas de la misma entrada cerca unas de otras en un espacio de representación (embedding) y las entradas distintas lejos entre sí. Aplicada a escala a archivos sin etiquetar — y las geociencias tienen archivos enormes: registros sísmicos continuos, pilas de imágenes satelitales, campos de reanálisis —, la autosupervisión produce representaciones de propósito general que se transfieren a tareas posteriores con pocas etiquetas.

Conceptos clave¶

• Tareas pretexto: tareas cuyas etiquetas provienen de los propios datos.
  • Ejemplos: predecir segmentos enmascarados de un sismograma, reconstruir parches ocluidos de una imagen, emparejamiento contrastivo de vistas aumentadas, verificación del orden temporal.
• Aprendizaje de representaciones: las características aprendidas son el producto; se reutilizan, con un ajuste fino ligero, para tareas posteriores de clasificación, regresión o detección.

En el capítulo 4 usted construirá este mecanismo por su cuenta: un autoencoder (autocodificador) que reconstruye su entrada a través de un cuello de botella, y un ejercicio de preentrenamiento enmascarado donde la red aprende a rellenar porciones ocultas de una señal. Esos dos laboratorios son la versión a pequeña escala de cómo se entrenan los modelos fundacionales.

4. Aprendizaje por refuerzo¶

Un planeador autónomo que releva un fiordo — piense en los canales de la Patagonia — debe decidir, inmersión tras inmersión, dónde muestrear a continuación. Cada decisión devuelve datos de cierto valor y cuesta batería, y nadie puede etiquetar de antemano la trayectoria «correcta» — la calidad de una decisión solo se aclara después, cuando el relevamiento termina o la batería se agota.

El aprendizaje por refuerzo (RL, reinforcement learning) está construido para esas decisiones secuenciales. Un agente (el planeador) observa el estado de su entorno (posición, batería, el campo cartografiado hasta ahora), ejecuta una acción (sumergirse aquí, transitar hacia allá) y recibe una recompensa (información ganada, energía gastada). A lo largo de muchas interacciones aprende una política: una regla que asigna acciones a estados y que maximiza la recompensa acumulada sobre toda la misión, no solo el paso siguiente. Una literatura algorítmica extensa se construye sobre estos ingredientes — Q-learning y sus variantes con redes profundas estiman el valor de largo plazo de cada acción, mientras que los métodos de gradiente de política y actor–crítico ajustan la política directamente —, pero el vocabulario anterior basta para leer un artículo de RL en geociencias.

El RL sigue siendo raro en las geociencias porque pocos problemas ofrecen un entorno seguro para millones de interacciones de ensayo y error. Existen ejemplos operativos en el muestreo adaptativo, donde vehículos autónomos submarinos o aéreos aprenden trayectorias de levantamiento que maximizan la ganancia de información, y en la gestión de embalses y de aguas subterráneas — el tipo de problema de asignación que enfrenta una agencia como la CONAGUA —, donde los calendarios de inyección y bombeo se optimizan contra simuladores. El RL es también el mecanismo detrás del posentrenamiento de los modelos de lenguaje de gran escala a partir de retroalimentación humana.

5. Aprendizaje activo¶

Una red regional — como la del Servicio Sismológico Nacional de México — registra cien mil eventos sísmicos pequeños al año; una analista puede revisar con cuidado quizá dos mil sismogramas. ¿Cuáles dos mil merecen esas horas? Elegir al azar gasta la mayor parte del tiempo de la analista en ejemplos fáciles y redundantes que el modelo ya maneja. El aprendizaje activo invierte la pregunta: el propio modelo selecciona las muestras de datos cuyas etiquetas más le enseñarían, y le pide al experto exactamente esas.

Tres decisiones definen un ciclo de aprendizaje activo. La estrategia de consulta decide qué muestras enviar a etiquetar — lo más común, las muestras sobre las que el modelo actual está menos seguro, de modo que cada sismograma etiquetado caiga donde el conocimiento del modelo es más delgado. El oráculo provee las etiquetas verdaderas: una analista sísmica revisando formas de onda, un geólogo nombrando muestras de roca, una climatóloga anotando patrones de tiempo. El criterio de parada cierra el ciclo, por lo general cuando el presupuesto de etiquetado se agota o cuando las etiquetas nuevas dejan de mejorar el modelo.

Existen estrategias de consulta más allá de la incertidumbre — desacuerdo de comité, cambio esperado del modelo, ponderación por densidad — y están catalogadas en el panorama de aprendizaje activo de Settles; para la mayoría de los problemas geocientíficos, el muestreo por incertidumbre es el punto de partida.

Ventajas y desafíos¶

6. Panorama comparativo¶

Las métricas de evaluación nombradas aquí se definen donde se usan por primera vez: el score de silueta y la inercia en la lección 3.3, exactitud/precisión/exhaustividad/F1 en 3.4, y MSE, RMSE y R² en 3.7 — esta tabla es un mapa, no un prerrequisito.

Ideas clave¶

• Selección del marco: haga corresponder el marco de aprendizaje con la naturaleza de sus datos y el problema entre manos.
• Aprovechamiento de los datos: extraiga valor de todos los datos disponibles, etiquetados o no, eligiendo el marco en consecuencia.
• Disciplina de evaluación: sea cual sea el marco, la evaluación ocurre sobre datos que el modelo no ha visto — una regla que este capítulo hace cumplir en cada cuaderno.