4.5 Los tres pilares del desarrollo de modelos

Un modelo de aprendizaje profundo que funciona descansa sobre tres pilares:

1. Los datos de entrenamiento: su calidad, diversidad, balance entre clases y nivel de ruido.
2. La arquitectura: la familia de funciones que la red puede representar, y cuántos parámetros gasta en hacerlo.
3. La estrategia de entrenamiento: la función de pérdida, el optimizador, la tasa de aprendizaje, el tamaño de lote, la regla de parada.

La mayoría de las fallas de un modelo se remontan a exactamente uno de estos pilares, y cada pilar falla con una firma reconocible. Este cuaderno es un laboratorio práctico: mantenemos fija una tarea de clasificación y rompemos cada pilar a propósito, para que usted aprenda a leer las firmas antes de encontrarlas en los datos de su proyecto.

El laboratorio usa perceptrones multicapa pequeños sobre una tabla de litologías sintética. Cada experimento corre en segundos en la CPU de una computadora portátil. Puede aumentar los conteos de muestras y las épocas en su propia máquina; las lecciones no cambian.

🖥️ Diapositivas — Sesión 24 — laboratorio I (mié 25 nov)

🖥️ Diapositivas — Sesión 25 — laboratorio II (lun 30 nov)

1. Una tarea, un modelo pequeño¶

La tarea para todo el laboratorio: clasificar muestras de roca en tres clases litológicas (granito, basalto, andesita) a partir de 9 características geoquímicas y físicas (óxidos de elementos mayores en wt%, densidad en g/cm³, susceptibilidad magnética en unidades SI). Los datos provienen de mlgeo_synth.geochem_table, un generador que planta correlaciones realistas entre los óxidos a través de un índice de diferenciación latente. Como el generador es nuestro, controlamos la cantidad exacta de ruido en las etiquetas, de desbalance de clases y de ruido de sensores — las perillas que los datos reales nunca nos dan.

Un ajuste hace realista el laboratorio: las tablas crudas del generador son casi perfectamente separables, cosa que ningún instrumento de campo entrega. Por eso, cada conjunto de datos de este laboratorio lleva un piso fijo de ruido de medición de una desviación estándar por característica, aplicado por igual a entrenamiento, validación y prueba. Los experimentos de corrupción de la sección 3 agregan defectos específicos sobre ese piso.

1.1 Conjuntos de entrenamiento, validación y prueba¶

Antes de cualquier experimento, los datos se dividen en tres:

• Conjunto de entrenamiento: se usa para ajustar el modelo. Debe ser la porción más grande, típicamente el 60-80 % de los datos, y tan diverso y balanceado como el problema lo permita.
• Conjunto de validación: se usa durante el entrenamiento para ajustar hiperparámetros y detectar el sobreajuste. Da una estimación del desempeño sobre datos no vistos mientras las decisiones todavía se están tomando. Típicamente el 10-20 %.
• Conjunto de prueba: se usa una sola vez, al final, para reportar la generalización. Debe permanecer completamente separado de cada decisión tomada durante el desarrollo del modelo. Si información del conjunto de prueba influye en el entrenamiento o en la selección del modelo, el desempeño reportado queda inflado. Esta falla se llama fuga de datos (data leakage), y reaparece en la sección 5.

Un detalle importa para este laboratorio: nuestro conjunto de prueba siempre está limpio (sin ruido en las etiquetas, sin defectos más allá del piso compartido de ruido de medición), incluso cuando corrompemos a propósito los datos de entrenamiento. Así es como medimos lo que cuesta la corrupción.

Las clases están desbalanceadas por construcción (la andesita es rara) y se solapan en el espacio de características. Ambas propiedades son típicas de los problemas de clasificación geoquímica.

1.2 Ayudantes del laboratorio¶

Tres piezas de código cargan con todo el laboratorio: una función de datos con perillas de corrupción, un MLP configurable y un bucle de entrenamiento que registra curvas de aprendizaje. Léalas una vez, con cuidado; cada experimento de abajo son unas pocas líneas que las llaman.

Una nota sobre el bucle de entrenamiento: muestrea un minilote aleatorio fresco en cada paso (descenso de gradiente estocástico por minilotes, sección 2.4) y registra la pérdida de entrenamiento y de validación una vez por época, evaluada en modo eval() sobre las divisiones completas. Esas dos curvas por corrida son el instrumento de diagnóstico de todo el laboratorio.

2. Qué minimiza el entrenamiento¶

Antes de los experimentos, el vocabulario. Una función de pérdida mide qué tan lejos están las predicciones del modelo de las etiquetas. Proporciona el número único que el descenso de gradiente empuja cuesta abajo, así que su elección moldea todo lo que la red aprende. Las funciones de pérdida $\mathcal{L}(\mathbf{y}, \mathbf{\hat{y}}, \mathbf{w})$ cuantifican los residuos entre las etiquetas verdaderas $\mathbf{y}$ y las predicciones $\mathbf{\hat{y}}$, y deben ser diferenciables con respecto a los parámetros del modelo $\mathbf{w}$.

2.1 Pérdidas para regresión¶

• El error cuadrático medio penaliza los errores grandes cuadráticamente. Es la elección natural cuando los errores son casi gaussianos:

  $\mathrm{MSE} = \frac{1}{m} \sum_{i=1}^m \left( \hat{y}_i - y_i \right)^2$

• El error absoluto medio penaliza menos los errores grandes, lo que conviene a distribuciones de error de colas pesadas. Su gradiente tiene magnitud constante, lo que puede frenar la convergencia cerca del mínimo; los optimizadores adaptativos como Adam lo mitigan:

  $\mathrm{MAE} = \frac{1}{m} \sum_{i=1}^m |\hat{y}_i - y_i|$

• La pérdida de Huber cambia entre las dos: cuadrática para errores menores que un umbral δ (gradientes suaves cerca del mínimo), lineal más allá (los valores atípicos no dominan).

2.2 Pérdidas para clasificación¶

Los clasificadores binarios producen una probabilidad a través de la sigmoide logística $\sigma(x) = 1/(1 + e^{-x})$ y entrenan con la entropía cruzada binaria:

$\mathcal{L}(\mathbf{w}) = - \frac{1}{m} \sum_{i=1}^m \left[ y_i \log \hat{p}_i + (1 - y_i) \log(1 - \hat{p}_i) \right]$

Para $K$ clases, la red produce un puntaje $s_k$ por clase y la softmax convierte los puntajes en probabilidades:

$\hat{p}_k = \frac{\exp(s_k)}{\sum_{j=1}^K \exp(s_j)}$

con la entropía cruzada multiclase como pérdida. nn.CrossEntropyLoss de PyTorch aplica la softmax internamente, y por eso nuestro MLP produce logits crudos.

2.3 Pérdidas conscientes de las geociencias¶

Las pérdidas estándar pasan por alto objetivos que importan en nuestro campo. Como cualquier función diferenciable de las predicciones puede ser un término de pérdida, podemos codificar esos objetivos directamente:

• Pesos de clase para eventos raros. Los sismos, los deslizamientos de tierra y las señales de caída de rocas son clases raras; pesar más sus errores (nn.CrossEntropyLoss(weight=...)) evita que el optimizador las ignore. La sección 3.2 muestra por qué importa.

• Similitud de formas de onda. Una red que reconstruye sismogramas debería coincidir ondulación por ondulación. Agregar un término de coeficiente de correlación premia el alineamiento de fase que el MSE apenas ve:

  $\mathcal{L}(\mathbf{\hat{u}}, \mathbf{u}) = \mathrm{MSE}(\mathbf{\hat{u}}, \mathbf{u}) + \lambda \left(1 - \mathrm{CC}(\mathbf{\hat{u}}, \mathbf{u})\right)$

• Restricciones físicas. Cuando la salida es un campo físico, un término de pérdida puede penalizar las violaciones de una ecuación de gobierno (conservación de la masa, el residuo de una ecuación de calor). Esta es la base de las redes neuronales informadas por la física, cuaderno 4.7.

• Pérdidas conscientes de la incertidumbre. Los pronósticos probabilísticos entrenan con la log-verosimilitud negativa, que penaliza tanto el exceso como la falta de confianza.

2.4 El descenso de gradiente y la tasa de aprendizaje¶

El entrenamiento actualiza los parámetros en la dirección que reduce la pérdida:

$w_j^{(k+1)} = w_j^{(k)} - \alpha \frac{\partial \mathcal{L}}{\partial w_j}$

donde α es la tasa de aprendizaje, el hiperparámetro de mayores consecuencias en este cuaderno.

Descenso de gradiente sobre una pérdida convexa y bien comportada.	Una pérdida mal comportada, con mínimos locales.

α demasiado pequeña: la convergencia avanza a paso de tortuga.	α demasiado grande: los pasos se pasan del mínimo.

Tres variantes difieren en cuántos datos ve cada actualización:

• El descenso de gradiente por lotes usa el conjunto de entrenamiento completo por paso: gradientes exactos, pasos costosos.
• El descenso de gradiente estocástico (SGD) usa una muestra por paso: actualizaciones baratas y ruidosas, sensibles al escalado de las características.
• El descenso de gradiente por minilotes usa un subconjunto aleatorio pequeño por paso. Es el estándar en aprendizaje profundo, y lo que hace nuestro train_model. El tamaño de lote intercambia ruido del gradiente por costo por paso; la sección 5.2 mide el efecto.

Los optimizadores adaptativos (Adam, RMSProp) reescalan el paso de cada parámetro usando estadísticas móviles del gradiente. Adam es el valor por defecto en este curso.

2.5 Sesgo, varianza, subajuste, sobreajuste¶

El error de generalización se descompone en tres partes:

• Sesgo: error por supuestos de modelo equivocados (ajustar una recta a una curva). El sesgo alto se manifiesta como pérdida alta sobre los propios datos de entrenamiento.
• Varianza: error por sensibilidad excesiva a las muestras de entrenamiento particulares. La varianza alta se manifiesta como una brecha entre la pérdida de entrenamiento y la de validación.
• Error irreducible: ruido en los datos. Ningún modelo lo elimina; solo mejores datos lo hacen (arreglar sensores, quitar valores atípicos — Pilar 1).

Subajuste = sesgo alto: las pérdidas de entrenamiento y validación se estancan ambas en un valor alto. Remedios: un modelo más grande, mejores características, menos regularización.

Sobreajuste = varianza alta: la pérdida de entrenamiento sigue cayendo mientras la de validación se estanca y luego sube. El modelo empezó a memorizar el ruido. Remedios: más datos, un modelo más pequeño, regularización, parada temprana (early stopping).

Una regla que vale la pena memorizar: usted no sabe si puede sobreajustar hasta que lo logra. Haga crecer el modelo hasta que sobreajuste, y luego recorte o regularice. Ambas firmas aparecen en curvas reales en la sección 5.

2.6 Regularización¶

La regularización restringe un modelo flexible para que se comporte de manera más simple:

• Penalización L2 (ridge): agregue $\lambda \frac{1}{2} \lVert \mathbf{w} \rVert_2^2$ a la pérdida, encogiendo todos los pesos. En los optimizadores de PyTorch es el argumento weight_decay.
• Penalización L1 (lasso): agregue $\lambda \lVert \mathbf{w} \rVert_1$, que lleva los pesos poco importantes a exactamente cero — una forma de selección de características.
• Red elástica (elastic net): una combinación ponderada de ambas.
• Dropout (apagado aleatorio de neuronas): poner en cero aleatoriamente una fracción de las activaciones durante el entrenamiento, para que ninguna unidad pueda depender de socias específicas. Se usa en el cuaderno 4.2 y está disponible como perilla en nuestro MLP.
• Parada temprana (early stopping): detener el entrenamiento cuando la pérdida de validación deja de mejorar (sección 5.3).
• Aumento de datos (data augmentation): agrandar y diversificar el conjunto de entrenamiento con copias transformadas (desplazamientos, ruido agregado). Regulariza a través del pilar de los datos en lugar del modelo.

3. Pilar 1 — Curaduría de los datos de entrenamiento¶

La calidad del modelo empieza en los datos, y ninguna arquitectura ni optimizador rescata un conjunto de entrenamiento corrompido. Como nuestro generador controla la corrupción con exactitud, podemos medir lo que cuesta cada defecto. En todos los experimentos el conjunto de prueba permanece limpio, así que las curvas aíslan el efecto de la calidad de los datos de entrenamiento.

3.1 Ruido en las etiquetas¶

Las etiquetas reales están equivocadas más a menudo de lo que nos gusta admitir: los picks de los analistas discrepan, los catálogos heredan errores históricos, las clasificaciones de campo se revisan. Volteamos al azar una fracción de las etiquetas de entrenamiento y reentrenamos — en dos regímenes de datos, porque la respuesta depende de cuántos datos tenga. Cada punto promedia tres semillas.

Dos regímenes, dos historias. Con 3000 muestras de entrenamiento, incluso un 30 % de etiquetas volteadas al azar cuesta poco: la entropía cruzada promedia sobre muchas muestras, los volteos son simétricos y la mayoría correcta sigue fijando las fronteras de clase. Con 600 muestras el mismo modelo tiene capacidad suficiente para memorizar las etiquetas volteadas en lugar de promediarlas fuera, y la exactitud cae varios puntos. El ruido en las etiquetas es más peligroso exactamente donde suelen vivir las geociencias: conjuntos etiquetados pequeños y modelos lo bastante grandes para memorizarlos. Las bandas sombreadas son el rango mín-máx sobre las tres semillas — la variabilidad entre corridas que un experimento de una sola semilla esconde. Lea las bandas antes de confiar en cualquier diferencia entre dos puntos: donde las bandas se solapan, la diferencia puede ser suerte de inicialización, no la perilla que usted giró. Aquí el rango no es decoración: con 3000 muestras las tres semillas abarcan hasta 0.028 (con 15 % de ruido) — la mayor parte del 0.035 que separa las medias del caso limpio y el de 30 % de ruido —, así que una versión de esta figura con una sola semilla podría haber contado casi cualquier historia. Cada número resumen de este laboratorio que provenga de corridas repetidas se reporta ahora con su rango entre semillas.

Qué buscar en datos reales. Una exactitud de validación que se estanca por debajo de lo que sugiere el solapamiento de clases es un síntoma de calidad de etiquetas, no un problema de arquitectura. Para detectarlo: inspeccione las muestras en las que el modelo se «equivoca» con más confianza (a menudo están mal etiquetadas, no mal clasificadas), pida a un segundo analista que reetiquete un subconjunto aleatorio y mida el acuerdo, y coteje las etiquetas contra catálogos independientes. Y recuerde que el ruido que hace daño en la práctica rara vez es simétrico: un analista que confunde sistemáticamente dos tipos de señal sesga la propia frontera, lo que es mucho peor que los volteos aleatorios — el próximo experimento mide exactamente eso. Arreglar mil etiquetas suele ganarle a agregar un millón de parámetros.

3.2 Desbalance de clases¶

La andesita ya es la clase rara. Ahora la encogemos aún más y observamos la exhaustividad (recall) por clase, no la exactitud global.

Desacuerdo estructurado: cuando los errores tienen un patrón¶

Los volteos aleatorios uniformes son el error de etiquetas más benigno posible, y el experimento de arriba muestra por qué: con suficientes datos se promedian y desaparecen. Los errores de etiquetas reales vienen de personas, y las personas discrepan con patrones. Simulamos una campaña de campo mapeada por dos geólogos que se repartieron el área. Cada uno etiqueta mal el 30 % de sus muestras — la misma tasa de error total que el experimento uniforme más duro de arriba — pero sus confusiones nunca son aleatorias: el granito se desliza hacia la andesita, el basalto se desliza hacia la andesita, la andesita hacia cualquiera de sus vecinos. Nadie llama nunca granito a un basalto. La confusión se concentra entre litologías adyacentes en el eje de diferenciación, que es exactamente como se comporta el desacuerdo real en el mapeo.

El mismo régimen de 3000 muestras, el mismo modelo, el mismo presupuesto de entrenamiento; solo cambia el patrón del error.

La misma tasa de error, el triple de daño: el 30 % de volteos uniformes cuesta 3.5 puntos de exactitud (de 0.945 a 0.910), el 30 % de desacuerdo entre clases adyacentes cuesta 12.5 (de 0.945 a 0.820), y ninguna semilla se acerca a cerrar la brecha (la mejor semilla: 0.850). La matriz de confusión muestra adónde se fueron los puntos. Ambos mapeadores vuelcan sus errores en «andesita», así que el modelo aprendió una clase andesita que se anexa las zonas fronterizas de sus vecinas: el 14 % de los granitos verdaderos y el 16 % de los basaltos verdaderos ahora regresan como «andesita», mientras que la exhaustividad de la andesita verdadera cae a 0.61. Y este es el régimen de 3000 muestras — aquel donde los volteos uniformes salían casi gratis.

Este resultado importa mucho más allá de este cuaderno, así que aquí va sin el código. Cada etiqueta de un conjunto de datos geocientífico es una interpretación, no una medición. Un mapa geológico registra lo que un mapeador concluyó a partir de afloramientos, fragmentos sueltos y decisiones de criterio en los contactos; un pick de fase sísmica registra dónde un analista decidió que llegó la onda; un inventario de deslizamientos registra qué rasgos de ladera un intérprete aceptó como fallas de talud. Envíe a dos expertos calificados sobre el mismo terreno, las mismas formas de onda o las mismas imágenes de manera independiente y discreparán — casi siempre entre categorías adyacentes: granodiorita contra granito, Pn contra P, deslizamiento antiguo contra morrena de montículos. Ese desacuerdo es medible (mapee dos veces un subconjunto, marque dos veces un día de registros) y es rutinariamente un porcentaje de dos dígitos en las fronteras entre categorías.

El desacuerdo estructurado duele más que el error aleatorio porque vota de manera coherente. Mil volteos aleatorios se dispersan en todas direcciones y se cancelan; mil confusiones entre clases adyacentes empujan la misma frontera de clase en la misma dirección, así que más datos hacen al modelo más confiado en el error compartido de los mapeadores, no menos. La consecuencia práctica: el acuerdo entre evaluadores es un techo para la exactitud que cualquier modelo puede demostrar, porque el modelo se califica contra etiquetas que cargan con el desacuerdo. Antes de gastar un mes en arquitecturas, gaste un día midiendo con qué frecuencia dos expertos coinciden en sus etiquetas — ese número le dice cuándo dejar de ajustar y empezar a reetiquetar.

Lea las dos columnas una contra la otra. La exactitud global baja unos pocos puntos — nada alarmante en un tablero de control. La exhaustividad de la andesita colapsa a cero: el modelo dejó de predecir la clase por completo. Note también que incluso con todos los datos la clase rara arranca en desventaja (exhaustividad de 0.74 contra 0.97 de las clases mayoritarias). Esta es la falla silenciosa más común en la clasificación geocientífica, donde la clase rara (la erupción, el evento inducido, el deslizamiento) es la que a usted le importa.

Qué buscar en datos reales. Reporte siempre la matriz de confusión completa y la exhaustividad por clase; nunca la exactitud sola. Si la clase minoritaria importa, use pesos de clase en la pérdida, sobremuestréela o genere ejemplos minoritarios aumentados — y verifique que el arreglo aparezca en la exhaustividad, no solo en la pérdida.

3.3 Ruido de sensores en las características¶

Ahora las etiquetas están bien pero el instrumento se degrada: agregamos ruido gaussiano extra a las características de entrenamiento y validación, sobre el piso de medición compartido de 1.0σ, en unidades de una desviación estándar de cada característica. El conjunto de prueba conserva el piso normal — esto simula entrenar con datos de un sensor peor que el que usted despliega.

Una vez que el ruido agregado alcanza unas cuantas veces la dispersión natural de cada característica, los cúmulos de clase se embarran unos con otros y la exactitud resbala hacia el nivel del azar. Ningún modelo recupera una separación que las mediciones ya no contienen — este es el término de error irreducible de la sección 2.5 hecho visible.

Qué buscar en datos reales. Estime la incertidumbre de medición por característica (mediciones repetidas, especificaciones del instrumento, registros de calibración) y compárela con la separación entre clases de esa característica. Las características cuyo ruido supera su separación entre clases no agregan señal; limpiarlas o descartarlas es curaduría de datos, no una derrota.

3.4 ¿Cuántos datos son suficientes?¶

El diagnóstico clásico de la curva de aprendizaje grafica el desempeño contra el tamaño del conjunto de entrenamiento. Esta es la función a reutilizar cada vez que alguien pregunte «¿ayudarían más datos?» — una pregunta que se mide mejor de lo que se debate.

Calidad heterocedástica: cuando usted sabe qué tan ruidosa es cada muestra¶

El barrido de arriba degradó todas las muestras por igual. Las tablas reales mezclan procedencias: la mitad de su geoquímica de un XRF de laboratorio con error analítico ajustado, la otra mitad de una unidad portátil de campo varias veces peor — y los metadatos normalmente dicen cuál es cuál, porque la incertidumbre analítica se reporta por muestra. (Los flujos de sensores hacen lo mismo en el tiempo: mlgeo_synth.degrade_series devuelve una columna sigma_mm por muestra exactamente por esta razón.) El ruido cuya varianza cambia de muestra a muestra se llama heterocedástico, y es la mitad aleatoria del vocabulario de incertidumbre de la lección 3.9: azar en la propia medición, que ninguna cantidad de datos de entrenamiento elimina — pero que usted puede negarse a tratar como verdad.

La entropía cruzada estándar trata a cada muestra como igualmente confiable. Si la varianza se conoce, el arreglo es pesar la pérdida de cada muestra por el inverso de su varianza ($w_i \propto 1/\sigma_i^2$), el análogo en clasificación de los mínimos cuadrados ponderados. Medimos lo que cuesta ignorar los metadatos y lo que los pesos recuperan: cada muestra de entrenamiento sortea su piso de ruido de {0.5, 4.0} desviaciones estándar con igual probabilidad (grado de laboratorio o grado de campo), y el mismo modelo entrena una vez sin los pesos y una vez con ellos.

La tabla de calidad mixta cuesta 1.7 puntos frente a la referencia toda de grado de laboratorio (0.933 contra 0.950). Entregarle al modelo la varianza que ya tenía en los metadatos recupera 1.3 de ellos (0.946) — sin datos nuevos, con una línea de código en la pérdida — y las bandas de semillas de los dos esquemas no se solapan (0.932-0.935 contra 0.939-0.951), así que la ganancia no es suerte de inicialización.

Qué buscar en datos reales. Cualquier columna llamada uncertainty, std_err, quality o pick_weight es una invitación a pesar la pérdida — los catálogos sísmicos, las bases de datos geoquímicas y las soluciones GNSS traen todas una, y la mayoría de las cadenas de procesamiento la descarta al ingerir los datos. Bajar el peso es además la alternativa honesta al atajo tentador de borrar la mitad ruidosa: las muestras de grado de campo todavía llevan señal, solo que menos por muestra, y los pesos le ponen precio a eso.

La curva sube con pendiente fuerte y luego se aplana: pasadas unas pocas miles de muestras, más datos idénticos compran poco. Si la curva todavía sube con su tamaño de datos actual, recolecte más datos antes de ajustar cualquier otra cosa. Si ya se aplanó, más datos iguales no ayudarán; mejores etiquetas, mejores características o ejemplos más difíciles podrían.

4. Pilar 2 — Arquitectura¶

Con los datos limpios y fijos, ahora variamos el modelo. Las preguntas son siempre las mismas: qué tan ancho, qué tan profundo y comparado con qué modelo de referencia.

4.1 Ancho¶

La exactitud se satura a unas pocas veces el ancho mínimo adecuado. Pasado ese punto, los parámetros son gratis en exactitud pero no en tiempo de entrenamiento, memoria ni riesgo de sobreajuste en conjuntos más pequeños.

4.2 Profundidad con presupuesto de parámetros fijo¶

¿Es mejor gastar un presupuesto fijo de parámetros en profundidad o en ancho? Resolvemos el ancho que le da a cada profundidad aproximadamente el mismo conteo de parámetros, y luego comparamos.

En un problema tabular de 9 características, la profundidad compra poco: las correlaciones que el generador plantó son de bajo orden, y una red superficial-pero-ancha las representa tan bien como una profunda. La profundidad paga cuando los datos tienen estructura jerárquica — bordes a texturas a objetos en imágenes (cuaderno 4.3), muestras a motivos a frases en secuencias (cuaderno 4.4). Empareje la arquitectura con la estructura de los datos, no con la moda.

4.3 El modelo de referencia que siempre debe correr¶

Todo modelo profundo necesita un punto de referencia barato. Para clasificación, ese es la regresión logística multinomial — equivalentemente, nuestro MLP con profundidad 0 (una sola capa lineal más softmax).

La brecha es real pero modesta — típica de datos tabulares bien comportados. Si su modelo profundo no puede vencer al modelo de referencia lineal, el problema son los datos o las características, no una capa faltante. Reporte el modelo de referencia en cada proyecto; es el denominador honesto de toda afirmación sobre aprendizaje profundo.

4.4 Ensambles profundos: incertidumbre a partir del desacuerdo¶

Entrene la misma arquitectura desde varias semillas aleatorias y las corridas convergen a funciones distintas que coinciden en las muestras fáciles y discrepan cerca de las fronteras de clase. Ese desacuerdo es una señal práctica de incertidumbre (Lakshminarayanan et al., 2017, NeurIPS), y no cuesta nada salvo entrenar repetidamente. Si la señal es buena o no, no es algo que se afirme; se divide en dos aseveraciones medibles. Discriminación: ¿el desacuerdo ordena las muestras por su riesgo de error? Calibración: cuando el ensamble dice 80 %, ¿acierta alrededor del 80 % de las veces? Las dos son independientes — un modelo puede ordenar sus errores perfectamente mientras cada probabilidad que declara está 20 puntos pasada de confianza — y medimos ambas.

Dos recompensas. Primero, la media del ensamble suele ser al menos tan exacta como el mejor miembro individual. Segundo — y más útil en la práctica —, las muestras donde los miembros discrepan son exactamente las muestras en las que el ensamble se equivoca más a menudo, y se agrupan a lo largo de las fronteras de clase en el espacio de características. En un flujo de trabajo real, usted enviaría las muestras marcadas a un analista humano. Esto es discriminación — la misma destreza que tenía la dispersión de votos de la lección 3.9, medida de la misma manera: agrupe por el puntaje de incertidumbre y verifique que la exactitud caiga a lo largo de los grupos. Nada en esta figura dice si las probabilidades del ensamble significan lo que afirman. El hito del proyecto final ofrece este análisis como uno de los dos experimentos de incertidumbre requeridos.

5. Pilar 3 — Estrategias de entrenamiento¶

Los mismos datos, la misma arquitectura: todo lo de abajo cambia solo cómo entrenamos.

5.1 La tasa de aprendizaje, de tres maneras¶

Esa segunda propiedad es la calibración, y necesita las herramientas de la lección 3.6: un diagrama de confiabilidad sobre las probabilidades medias del ensamble, resumido por el error de calibración esperado (ECE) — la brecha promedio entre la confianza declarada y la exactitud observada, ponderada por cuántas muestras caen en cada casilla de confianza. Para un problema de 3 clases la confianza de la clase predicha vive entre 1/3 y 1, así que las casillas también. Comparamos la media del ensamble contra un miembro individual para ver qué compra el promedio.

La medición corrige la afirmación que hacía un borrador anterior de esta sección. Lakshminarayanan et al. (2017) encontraron que los ensambles profundos mejoran la calibración, y en redes profundas — especialmente bajo cambio de distribución — en general lo hacen. Aquí el miembro individual ya está casi calibrado (ECE 0.015) y la media del ensamble no gana nada medible (ECE 0.017; ambas curvas se pegan a la diagonal). Un MLP de dos capas sobre nueve características con un piso de ruido de 1σ no está lo bastante descalibrado como para arreglarlo. «Bien calibrado» es una medición que usted le adjunta a un modelo después de correr esta celda, no un adjetivo que viene incluido con un método.

Mantenga los dos diagnósticos separados en sus reportes. La gráfica por quintiles responde «¿puedo confiar en el ordenamiento?» — útil para enviar muestras a un analista, donde solo el orden importa. El diagrama de confiabilidad responde «¿puedo confiar en el número?» — requerido siempre que la probabilidad misma alimente un umbral de decisión que pertenece a otra persona, la situación sobre la que advirtió la lección 3.6. Reportar uno como evidencia del otro es el error exacto que esta sección contenía originalmente, y sobrevive a la revisión por pares con una frecuencia deprimente.

4.5 MC dropout: un segundo método de incertidumbre a partir de un solo modelo¶

Cinco corridas de entrenamiento son un costo real cuando una corrida toma una semana. El Monte Carlo dropout compra una estimación de incertidumbre a partir de un único modelo entrenado: entrene con dropout como de costumbre (la perilla que nuestro MLP carga desde la sección 2.6) y luego, al predecir, deje el dropout encendido y pase la misma entrada por la red $T$ veces. Cada pasada muestrea una subred aleatoria distinta; la media sobre las pasadas es la predicción y la dispersión sobre las pasadas es la incertidumbre — una aproximación a la inferencia bayesiana sobre los pesos (Gal & Ghahramani, 2016, ICML).

La comparación honesta es frente a frente sobre los mismos datos y el mismo conjunto de prueba: un modelo con dropout y $T=50$ pasadas estocásticas contra el ensamble de 5 miembros, calificados en exactitud, calibración (ECE) y discriminación (dispersión contra error), con el costo declarado junto a los números.

Los números se niegan a coronar al método caro. El MC dropout iguala al ensamble en exactitud (0.952 contra 0.949 — una diferencia dentro del rango de semillas de una sola corrida), le gana por poco en calibración (ECE 0.011 contra 0.017) y dibuja la misma curva de discriminación (exactitud en el quintil de mayor dispersión 0.79 contra 0.77; los otros cuatro quintiles coinciden a tres decimales) — por una corrida de entrenamiento en lugar de cinco. Las 50 pasadas de predicción son el lado barato del balance; las corridas de entrenamiento son el caro. En esta tarea, un modelo con dropout es la elección racional. Las razones por las que el ensamble sobrevive en la práctica quedan fuera de esta tabla: su ventaja documentada de calibración aparece en redes grandes bajo cambio de distribución, sus miembros entrenan en paralelo mientras que las pasadas de dropout a escala pueden embotellar la inferencia, y su desacuerdo proviene de soluciones genuinamente independientes — la propiedad que ahora llevamos fuera de rango.

4.6 Fuera de rango: interpolación, extrapolación y lo que el desacuerdo puede señalar¶

Hasta ahora, cada puntaje de este cuaderno comparte un supuesto escondido: el conjunto de prueba se sorteó del mismo generador, sobre los mismos rangos de parámetros, que el conjunto de entrenamiento. El modelo interpola — predice dentro de la región del espacio de características que sus datos de entrenamiento cubrieron. El despliegue rompe el supuesto rutinariamente: el área mapeada se acaba, el siguiente plutón es más evolucionado que cualquier cosa del muestreo, la estación nueva se asienta sobre suelo más blando. Predecir ahí es extrapolación, y la lección 3.8 mostró con su escalera de divisiones que interpolación y extrapolación son afirmaciones distintas — la división que usted elige decide cuál de las dos respalda su puntaje. Aquí observamos a un modelo cruzar la línea, y hacemos la pregunta operativa: ¿el desacuerdo del ensamble nos avisa cuando sucede?

El montaje usa la propia perilla escondida del generador. Los óxidos de cada muestra están gobernados por un índice de diferenciación latente (sección 1); su indicador observable es el SiO₂ estandarizado por clase. Entrenamos un ensamble solo con muestras dentro de una desviación estándar de la composición típica de cada unidad — la campaña de campo mapeó solo granitos típicos, basaltos típicos, andesitas típicas — y luego evaluamos sobre un sorteo fresco que abarca el rango completo, incluidos los extremos evolucionados y primitivos que el modelo nunca vio.

Lea primero la tabla. La tasa de error casi se duplica al cruzar la cota de entrenamiento — 4.9 % dentro del rango, 8.0 % apenas pasada, 8.5 % más allá de dos unidades — una falla gradual, porque un granito inusualmente evolucionado sigue siendo mayormente parecido a un granito. El desacuerdo medio sube con ella, de 0.013 a 0.021: el ensamble se da cuenta. Y de los 77 errores fuera de rango, exactamente uno es una falla silenciosa — equivocado, con un desacuerdo igual o menor que la mediana dentro del rango. Esa única muestra es el mecanismo a memorizar: una composición extrema que aterrizó dentro del territorio familiar de una clase vecina, así que los cinco miembros coincidieron con confianza en la misma etiqueta equivocada. El desacuerdo señala regiones no familiares del espacio de características; no puede señalar una muestra cuya etiqueta cambió mientras sus características llegaban a verse familiares. Bajo un cambio más grande, esa única muestra se convierte en una población.

La gráfica de dispersión agrega la segunda advertencia: las distribuciones de desacuerdo dentro y fuera de rango se solapan fuertemente. La media sube 60 %, pero ningún umbral sobre la dispersión reconstruye la cota de entrenamiento — la cota es un metadato que solo usted tiene, y por eso debe declararse, no inferirse del comportamiento del modelo.

Su distribución de entrenamiento es un contrato. Cada número que produjo este laboratorio — la exactitud, el ECE, las gráficas por quintiles — es una cláusula de ese contrato, válida para muestras sorteadas de los rangos que los datos de entrenamiento cubrieron. Fuera de esos rangos el modelo está extrapolando, y ningún diagnóstico calculado dentro del rango certifica lo que hace allá afuera. Declare el rango junto al modelo cada vez que publique uno, y trate las predicciones más allá de él como injustificadas hasta que etiquetas fuera de rango digan lo contrario.

Tres firmas a memorizar:

• Demasiado alta: la pérdida oscila o explota; cada paso se pasa del valle. (Con corridas inestables la pérdida puede llegar a inf o NaN; el eje logarítmico hace legible la explosión.)
• Demasiado baja: ambas curvas bajan arrastrándose por una línea casi recta y el entrenamiento «funciona» pero necesitaría cientos de épocas.
• Bien elegida: caída temprana rápida y luego un aplanamiento suave.

En caso de duda, barra primero la tasa de aprendizaje en potencias de 10. Nada más de esta sección importa hasta que esto esté aproximadamente bien.

5.2 Tamaño de lote¶

Los lotes pequeños dan muchos pasos ruidosos por época: progreso inicial rápido y un efecto regularizador leve, al precio de la agitación. Los lotes grandes dan pocos pasos suaves: cada época hace menos, así que con un presupuesto fijo de épocas la curva se rezaga, y los lotes muy grandes a menudo generalizan un poco peor. El tamaño de lote también fija el uso de memoria, que es lo que suele decidirlo en hardware real. La práctica común: el lote más grande que quepa cómodamente en memoria, con la tasa de aprendizaje reajustada cuando el lote cambia.

5.3 Sobreajuste en vivo, y parada temprana¶

Para forzar el sobreajuste le damos a un modelo grande un conjunto de entrenamiento pequeño y ruidoso y lo dejamos correr largo.

La firma de libro de texto: la pérdida de entrenamiento cae hacia cero mientras la de validación toca fondo y sube. La parada temprana (early stopping) regulariza simplemente quedándose con el modelo de la época donde la pérdida de validación fue más baja. La implementación estándar lleva un contador de paciencia:

best_val, patience, wait = float("inf"), 20, 0
for epoch in range(max_epochs):
    train_one_epoch(...)
    val = validation_loss(...)
    if val < best_val:
        best_val, wait = val, 0
        torch.save(model.state_dict(), "best.pt")   # checkpoint the best model
    else:
        wait += 1
        if wait > patience:
            break                                    # stop; reload best.pt

El cuaderno 4.2 cubre la mitad de este patrón que corresponde a los checkpoints.

5.4 Planificadores de la tasa de aprendizaje¶

Un programa (schedule) empieza con una tasa de aprendizaje grande para progresar rápido y la encoge para un final preciso — un compromiso entre los paneles «demasiado alta» y «demasiado baja» de la sección 5.1.

StepLR (bajar la tasa por un factor cada $k$ épocas) y el recocido coseno (cosine annealing) son los dos programas que encontrará más a menudo. En un problema así de pequeño la ganancia es modesta; en modelos grandes, los planificadores son práctica estándar.

5.5 Ejercicio: diagnostique seis entrenamientos rotos¶

Abajo hay curvas de aprendizaje de seis corridas de entrenamiento, cada una rota de una manera distinta (o sospechosa de una manera distinta). Las patologías, en orden barajado: tasa de aprendizaje demasiado alta, tasa de aprendizaje demasiado baja, sobreajuste, subajuste (capacidad insuficiente), ruido fuerte en las etiquetas y fuga de datos hacia el conjunto de validación.

Diagnostique cada corrida a partir de sus curvas antes de leer el código de generación arriba de la figura o de abrir la solución.

Para cada corrida, anote: la patología, la evidencia en las curvas y el arreglo que probaría primero.

5.6 Búsqueda de hiperparámetros con Optuna¶

Después de los barridos manuales, la versión sistemática. Optuna muestrea combinaciones de hiperparámetros, observa el puntaje de validación de cada ensayo y concentra la búsqueda donde los puntajes son buenos. Veinte ensayos en nuestra tarea pequeña toman menos de un minuto.

Busque los hiperparámetros que la sección 5 mostró que importan — la tasa de aprendizaje primero, luego la regularización y el ancho — sobre rangos que sus barridos manuales encontraron sensatos. Mantenga siempre el conjunto de prueba final fuera de la búsqueda: Optuna optimiza el puntaje de validación, y el conjunto de prueba se gasta una sola vez, al final.

5.7 Por qué la búsqueda de arquitecturas dejó de importar¶

Hace diez años, la búsqueda de arquitecturas neuronales — algoritmos que diseñan el cableado de la red automáticamente — era un frente de investigación activo. Se ha desvanecido en gran medida, por una razón simple: un puñado de arquitecturas canónicas (el MLP, la red convolucional, el transformer) más la escala ganaron. En dominio tras dominio, tomar una arquitectura estándar y gastar el cómputo en más datos, más parámetros y mejor entrenamiento venció al cableado a medida descubierto por búsqueda. Lo que queda del problema de búsqueda se mudó adonde usted acaba de practicarlo: los hiperparámetros (Optuna y sus parientes) y, sobre todo, el pilar de los datos. Este es también el consejo práctico para sus proyectos: elija la arquitectura canónica que corresponda a la estructura de sus datos, y luego gaste su esfuerzo en curaduría de datos y diagnósticos de entrenamiento.

6. Lista de verificación para entrenar un modelo de aprendizaje profundo¶

1. Caracterice los datos (capítulo 2): dimensionalidad, unidades, correlaciones, balance de clases.
2. Aparte primero los datos de prueba. Considere la causalidad y la independencia entre las muestras de prueba y de entrenamiento: las divisiones aleatorias filtran cuando las muestras están correlacionadas en el tiempo o el espacio.
3. Cure los datos de entrenamiento (Pilar 1): audite las etiquetas, cuantifique el ruido de medición, revise los conteos por clase y diversifique con aumento de datos donde las transformaciones físicas tengan sentido.
4. Diseñe la red (Pilar 2): empareje la familia de arquitectura con la estructura de los datos, empiece pequeño e incluya siempre el modelo de referencia lineal o de aprendizaje automático clásico.
5. Defina la pérdida apropiada para la tarea y los objetivos del dominio (sección 2), consultando la documentación de funciones de pérdida de PyTorch y las métricas de scikit-learn.
6. Elija el optimizador y la estrategia de entrenamiento (Pilar 3): Adam por defecto, la tasa de aprendizaje barrida en potencias de diez, el lote más grande que quepa con comodidad, un planificador para corridas largas.
7. Entrene con los diagnósticos encendidos: registre las curvas de entrenamiento y validación en cada corrida, guarde un checkpoint del mejor modelo de validación, detenga temprano cuando la validación se estanque.
8. Evalúe con honestidad: métricas por clase, el conjunto de prueba intocado una sola vez, una estimación de incertidumbre (un ensamble profundo si puede costear cinco corridas, MC dropout si no), una verificación de calibración sobre cualquier probabilidad que reporte (sección 4.4) y una declaración de los rangos de entrenamiento fuera de los cuales ninguno de los números aplica (sección 4.6).

7. Resumen¶

Usted tiene ahora un vocabulario de diagnóstico atado a curvas que generó usted mismo: lo que cuestan el ruido en las etiquetas — aleatorio y estructurado —, el desbalance de clases y el ruido de sensores — uniforme y heterocedástico — (Pilar 1); cómo se comportan el ancho, la profundidad, los modelos de referencia, los ensambles y el MC dropout, en qué difiere la calibración de la discriminación y qué pasa fuera de rango (Pilar 2); y cómo se ven la tasa de aprendizaje, el tamaño de lote, el sobreajuste, la parada temprana y los planificadores en las curvas de aprendizaje (Pilar 3). Las seis corridas rotas de la sección 5.5 son el examen que los proyectos reales seguirán administrando.

Aplique este laboratorio a su propio proyecto: para el hito del proyecto final reutilizará los patrones de barrido sobre sus arquitecturas, llevará un apéndice de diagnósticos con al menos una corrida fallida y correrá o bien el análisis de ensamble profundo de la sección 4.4 o el experimento de ajuste fino del cuaderno 4.6.