4.3 Redes neuronales convolucionales

Las redes neuronales convolucionales (CNN) son el caballo de batalla del aprendizaje profundo sobre datos estructurados: imágenes, espectrogramas y series de tiempo. Este cuaderno cubre:

1. Convoluciones y kernels (núcleos), aplicados a mano sobre una imagen.
2. Los bloques constructivos de una CNN: convolución, activación, pooling (submuestreo), capas totalmente conectadas.
3. LeNet-5 sobre los dígitos de MNIST, escrita en PyTorch — el calentamiento.
4. Una CNN 2D que hace regresión de tendencias de calentamiento a partir de un campo climático sintético en malla, contra un modelo de referencia de mínimos cuadrados.
5. Un detector de sismos con CNN 1D entrenado con sismogramas sintéticos, su piso de detección en función de la relación señal-ruido, y el detector clásico STA/LTA medido en las mismas trazas.
6. Una prueba de realidad: el detector entrenado con sintéticos, evaluado sobre formas de onda reales y etiquetadas de miniPNW.
7. Cómo traducir a código funcional la tabla de arquitectura de una red publicada.

🖥️ Diapositivas — Sesión 22 (vie 20 nov)

0. Para repasar¶

A esta altura, usted debería comprender:

• El perceptrón
• El papel de las funciones de activación
• Por qué y cómo implementar un descenso de gradiente simple
• Las funciones de pérdida
• El armado de lotes (batching)
• Los perceptrones multicapa

1. Convoluciones¶

Igual que en los perceptrones y los perceptrones multicapa, cada elemento de una CNN recibe entradas, calcula un producto punto y pasa ese producto por una función de activación. La diferencia es que una CNN aplica el mismo conjunto pequeño de pesos, llamado kernel (núcleo), en todas las posiciones de la entrada. Estas redes funcionan bien sobre datos estructurados 1D, 2D y 3D, como series de tiempo e imágenes.

Como su nombre lo indica, las CNN se basan en convoluciones:

$(f*g)(x)= \int\limits^{+\infty}_{\tau=-\infty}f(\tau)g(x-\tau)d\tau$

donde $g$ es la entrada, $f$ es el kernel de la convolución y τ es una variable muda.

Para funciones discretas, simplemente se suma:

$(f*g)(x)= \sum\limits^{+\infty}_{\tau=-\infty} f(\tau)g(x-\tau)$

La convolución se extiende a varias dimensiones.

Por ejemplo, considere el filtro de media (aquí, para un kernel de 3 x 3):

El filtro de media difumina. Otros kernels detectan estructura. Los filtros de Sobel aproximan el gradiente de la imagen y responden a los bordes:

La gracia de una CNN es que no usa kernels diseñados a mano como estos. Aprende los pesos del kernel a partir de los datos, por descenso de gradiente. Las primeras capas a menudo terminan aprendiendo detectores de bordes por sí solas.

Ejercicio 1. Cambie filterDimension de 3 a 15 en la celda del filtro de media. ¿Qué pasa con las monedas, y por qué?

2. Armar una CNN¶

La arquitectura de una CNN comprende clásicamente:

1. Una capa convolucional
2. Una capa de activación
3. Una capa de pooling (submuestreo)
4. Una capa totalmente conectada

2.1 La capa convolucional¶

Aquí consideramos una CNN que recibe imágenes y devuelve alguna salida.

Aspectos de esta capa:

Entradas: en el caso de las convoluciones 2D, tres dimensiones: alto, ancho, profundidad.

Filtros: los kernels de convolución, cada uno con un sesgo y un peso por cada elemento del kernel. La salida de un filtro es un mapa de características (feature map). En general, el número de filtros es mayor que la profundidad de la entrada. El tamaño del kernel suele ser cuadrado, pero no tiene por qué serlo.

Stride (paso): el tamaño del paso con el que se desplaza el filtro.

Padding (relleno): valores agregados a los bordes de la entrada.

Convolución con ventana de kernel (Fig. 7.2.1 de Dive into Deep Learning).

En el ejemplo de arriba, el valor de salida superior izquierdo es 0×0 + 1×1 + 3×2 + 4×3 = 19. Repetimos el proceso hasta llenar todos los elementos del mapa de salida, y lo repetimos para cada filtro.

_{Una buena lección sobre CNN es la hoja de referencia de CS230 de Stanford.}

¿Cómo interpretaría el siguiente código?

Esta capa toma una entrada con 3 canales (por ejemplo, una imagen RGB), aplica 64 filtros de tamaño 6 x 6 (cada uno abarca los 3 canales de entrada) y produce 64 mapas de características.

2.2 La capa de activación¶

La capa convolucional va seguida de una capa de activación. Esta capa aplica una función de activación, como ReLU (unidad lineal rectificada), a las salidas de la convolución.

2.3 La capa de pooling¶

La capa de pooling submuestrea los mapas de características. Al combinar valores, el pooling reduce el tamaño del modelo y lo hace menos sensible a pequeños desplazamientos de la entrada.

Las capas de max pooling toman el valor máximo dentro de un vecindario dado (fijado por el tamaño de pooling).

2.4 La capa totalmente conectada¶

Finalmente, incluimos una capa totalmente conectada (cada entrada conectada con cada salida). Para clasificación, las CNN típicamente terminan con una softmax que transforma las salidas de la última capa totalmente conectada en probabilidades de clase (valores entre 0 y 1 que suman 1).

2.5 Algunas notas¶

En la capa convolucional, las neuronas no están conectadas a todas las partes de los datos de entrada.

Una capa densa aprende patrones globales. Una capa de convolución aprende patrones locales y es equivariante a traslaciones: si se desplaza la entrada, el mapa de características se desplaza con ella, de modo que un patrón aprendido en una parte de la imagen (o de la serie de tiempo) se detecta en cualquier otra. La invariancia a traslaciones aproximada de una CNN completa — la misma predicción esté donde esté el patrón — proviene de las capas de pooling, que descartan la posición al submuestrear; el detector 1D de la sección 5 obtiene su tolerancia a desplazamientos de su pooling promedio global. Las CNN también aprenden patrones jerárquicos: una primera capa aprende un patrón local, una segunda capa combina las características locales en características de escala más amplia.

2.6 Aparte: vocabulario de segmentación de imágenes¶

La clasificación asigna una etiqueta a la imagen completa. La segmentación asigna etiquetas al nivel del píxel, y viene en tres variantes. Una ilustración estándar es una escena callejera mostrada de tres maneras: la segmentación semántica colorea cada píxel por clase (calle, cielo, persona, automóvil) sin separar individuos; la segmentación por instancias delinea cada objeto individual (esta persona, aquel automóvil) por separado; la segmentación panóptica combina ambas, etiquetando cada píxel por clase mientras mantiene distintas las instancias de los objetos.

3. LeNet-5 sobre MNIST¶

MNIST es el «hola mundo» del aprendizaje profundo: pequeño, limpio y en nada parecido a un conjunto de datos de geociencias. Lo usamos como calentamiento, para dejar bien afinada la mecánica de entrenamiento en un problema donde nada más puede salir mal; la carga geocientífica empieza en la sección 4. Construimos ahora la arquitectura LeNet-5 (LeCun et al., 1998), una de las primeras CNN exitosas, y la entrenamos para clasificar dígitos manuscritos de MNIST. La red es una pila secuencial de 2 capas convolucionales y 3 capas totalmente conectadas. Una representación gráfica común:

3.1 Cargar los datos¶

Usamos torchvision para descargar MNIST. El conjunto de entrenamiento completo tiene 60 000 imágenes; para mantener rápido este cuaderno entrenamos con un subconjunto de 6 000 y evaluamos con 1 500 imágenes de prueba. En su propia máquina puede aumentar estos números (y el número de épocas) para obtener mejor exactitud.

3.2 El modelo¶

Escribimos LeNet-5 como una pila torch.nn.Sequential. El módulo Reshape se asegura de que la entrada tenga la forma (batch, channels, height, width), que es lo que espera Conv2d.

3.3 Configuración del entrenamiento¶

Necesitamos elegir algunos parámetros de entrenamiento:

• La métrica de error: exactitud
• La función de pérdida: entropía cruzada para clasificación multiclase
• El tamaño de lote (64 aquí)
• El número de épocas (2 aquí, por rapidez)
• El optimizador: Adam, una variante del descenso de gradiente estocástico que usa estimaciones del primer y segundo momento del gradiente para adaptar la tasa de aprendizaje de cada peso

La función de entrenamiento siguiente es genérica: acepta cualquier modelo y cualquier par de cargadores de datos, así que la reutilizaremos en la sección 5. Mueve cada lote a device, ejecuta la pasada hacia adelante (forward pass), retropropaga la pérdida y actualiza los pesos. Después de cada época evalúa la pérdida y la exactitud en el cargador de validación (con los gradientes desactivados).

La función también conserva un punto de control (checkpoint): una copia de los pesos de la época con la mejor exactitud de validación, restaurada al final. El entrenamiento estocástico no mejora monótonamente, así que la última época no siempre es la mejor. En producción usted escribiría el checkpoint a disco con torch.save({'state_dict': model.state_dict()}, 'checkpoint.pt'); aquí lo mantenemos en memoria.

Dos épocas con un subconjunto de 6 000 imágenes ponen en marcha la LeNet con sigmoides, pero la dejan lejos de su techo. Con las 60 000 imágenes completas y ~10 épocas esta arquitectura alcanza cerca del 99 % de exactitud; pruébelo en su propia máquina. Cambiar las sigmoides por ReLU también acelera considerablemente el entrenamiento.

Con eso queda hecho el calentamiento. La receta — tensores de entrada, bloques de convolución, una cabeza, un bucle de entrenamiento — pasa ahora a datos que se parecen a los nuestros.

4. Una CNN 2D sobre un campo geocientífico en malla¶

Los campos en malla — temperatura de reanálisis, radiancias satelitales, salidas de modelos — son los datos 2D nativos de las geociencias, y no se comportan en nada como las imágenes de dígitos. Usamos el generador del curso mlgeo_synth.climate_field: anomalías mensuales de temperatura en una malla latitud-longitud de 40 x 80, con un ciclo estacional antisimétrico entre hemisferios, un modo zonal lento, ruido meteorológico correlacionado espacialmente y una tendencia lineal de calentamiento amplificada en las latitudes altas del norte. Como el generador es nuestro, la tendencia local verdadera de cada píxel se conoce con exactitud.

La tarea. Hacer regresión de la tendencia local de calentamiento, en °C por década, a partir de parches de 8 x 8 píxeles. Cada parche entra a la red como una imagen de 30 canales: 30 mapas de anomalías medias anuales, un canal por año. Canales-como-tiempo es el truco estándar para alimentar con un campo que evoluciona en el tiempo a una CNN 2D.

La división. Todos los parches de un mismo campo comparten el valor de tendencia global de ese campo, así que los parches de un mismo campo nunca deben quedar a ambos lados de la frontera entrenamiento/prueba — la doctrina de la división por grupos del capítulo 3.8, aplicada. Generamos 24 campos con tendencias muestreadas uniformemente entre 0.05 y 0.5 °C/década, y dividimos por campo: 18 para entrenamiento, 6 para prueba.

Primero el modelo de referencia. Promediar espacialmente cada parche y ajustar una recta a sus 30 medias anuales — una llamada a np.polyfit. Si la CNN no puede superar eso, queremos saberlo.

Tanto el estimador aprendido como el clásico recuperan la estructura de tendencia amplificada hacia los polos, pero los márgenes merecen una lectura cuidadosa. El ajuste ingenuo de una recta queda en 0.083 °C/década de MAE mientras que la CNN llega a 0.008 — un factor de diez. Antes de atribuirle magia a la red, pregunte qué aprendió. El generador superpone un modo zonal lento de 5 años en cada campo, y sobre un registro de 30 años ese modo no se promedia y desaparece en un ajuste de recta: se cuela en la pendiente por solapamiento (aliasing). El panel central le da al estimador clásico esa pieza de física — el modo conocido como un único regresor adicional — y su MAE cae a 0.009 °C/década, estadísticamente indistinguible de la CNN.

Así que la lección honesta: la victoria de la CNN sobre los mínimos cuadrados ingenuos es en realidad una victoria sobre un modelo de referencia mal especificado. Lo que la red extrajo de 18 campos de entrenamiento es el modo interanual de confusión — y pudo hacerlo solo porque ese modo es idéntico en todos los campos sintéticos. Los modelos profundos se ganan el pan cuando los factores de confusión son desconocidos o imposibles de escribir; cuando usted puede escribirlos, el ajuste clásico con los regresores correctos iguala a la CNN a una fracción del costo. Note también lo que nos compró la división por grupos: si los parches de un campo hubieran caído a ambos lados de la frontera, la CNN podría haber memorizado el ruido específico de cada campo y la comparación no tendría sentido. El detector de sismos de abajo recibe exactamente el mismo trato frente a su propio modelo de referencia clásico.

5. Un detector de sismos con CNN 1D¶

Las convoluciones no se limitan a las imágenes. Los sismólogos usan CNN 1D para escanear sismogramas continuos y clasificar ventanas cortas como «sismo» o «ruido». ConvNetQuake (Perol et al., 2018) fue un ejemplo temprano; los marcadores de fases (phase pickers) modernos, como EQTransformer y PhaseNet, siguen la misma idea a mayor escala.

Los conjuntos de formas de onda reales son grandes y sus etiquetas son imperfectas. Aquí usamos en cambio el generador de sismogramas sintéticos del curso, mlgeo_synth. Cada traza de evento contiene una llegada P seguida de una llegada S más fuerte, sobre ruido coloreado; cada traza de ruido contiene solo ruido coloreado. Como controlamos el generador, cada traza viene con metadatos exactos: tiempos de llegada y relación señal-ruido (SNR, definida como la amplitud pico de la señal dividida por la desviación estándar del ruido).

5.1 Generar e inspeccionar los datos¶

Los eventos de baja SNR son difíciles de ver a simple vista. Ese es exactamente el régimen donde queremos saber cómo se comporta un detector.

Antes de entrenar estandarizamos cada traza (le quitamos su media y la dividimos por su desviación estándar). Esto es importante: sin ello, la red podría clasificar solo por la amplitud absoluta en lugar de por la forma de la onda.

5.2 El modelo¶

El análogo 1D de la CNN de imágenes: tres bloques de Conv1d → ReLU → MaxPool1d, luego un AdaptiveAvgPool1d que promedia cada mapa de características hasta un solo valor, y una cabeza lineal con 2 salidas (ruido, evento). El pooling promedio global mantiene bajo el número de parámetros y hace que el modelo sea independiente de la longitud de la entrada.

Menos de 5 000 parámetros, comparados con los ~62 000 de LeNet. Los modelos pequeños entrenan rápido y son difíciles de sobreajustar con 1 120 trazas de entrenamiento.

5.3 Entrenar y evaluar¶

Reutilizamos train_model de la sección 3. Doce épocas corren en unos pocos segundos; aumente el número de épocas en su propia máquina para exprimir unos puntos porcentuales más.

Exactitud en los ochenta y tantos por ciento: muy por encima del azar, pero bien lejos de lo perfecto. ¿Por qué no 100 %? El conjunto de datos incluye deliberadamente eventos con SNR muy por debajo de 1, que son casi indetectables. Eso lleva a la pregunta de fondo: ¿dónde falla el detector?

5.4 La recompensa: el piso de detección, con un oponente clásico¶

Con sismogramas reales nunca se conoce la SNR verdadera de un evento perdido, así que el comportamiento de un detector a baja SNR es difícil de caracterizar. Los sintéticos nos dan la perilla que los datos reales nunca dan: podemos generar eventos a cualquier SNR que elijamos y medir exactamente dónde se quiebra la detección.

La CNN no tiene el escenario para ella sola. El disparador STA/LTA (promedio de corto plazo sobre promedio de largo plazo; Allen, 1978) — el detector clásico que ha corrido en los flujos de trabajo de los observatorios durante décadas, y cuyo piso de detección medimos con ondículas de Ricker en el capítulo 2.10 — corre sobre las mismas trazas, con la misma definición de SNR (amplitud pico de la señal sobre desviación estándar del ruido). Su umbral se fija de la manera honesta, solo a partir del ruido: el percentil 99 del STA/LTA pico sobre las 600 ventanas de solo ruido, lo que ancla su tasa de falsas alarmas en 1 % por construcción.

El barrido de abajo genera 60 eventos en cada uno de 10 valores de SNR desde alrededor de 0.3 hasta 20 (espaciados logarítmicamente), variando la magnitud, la distancia y la semilla del ruido, más 60 ventanas de solo ruido apareadas por cada valor de SNR. La red entrenada corre en modo de inferencia; no hay reentrenamiento de por medio. Cada probabilidad de detección son 60 ensayos de Bernoulli, así que ambas curvas llevan barras de error binomiales (de Wilson).

Lea primero las dos curvas en sus puntos de operación: las tasas de falsas alarmas punteadas son comparables (1 % anclado para STA/LTA, 0-5 % medido para la CNN), así que las curvas de detección pueden compararse directamente. Tres regímenes. Por debajo de SNR ≈ 0.8 los dos detectores coinciden en su piso de falsas alarmas — ningún algoritmo, aprendido o clásico, rescata una señal enterrada tan profundo en ruido del mismo color. Por encima de SNR ≈ 8 vuelven a coincidir, en 1.0: ahí el disparador clásico es la elección de ingeniería correcta, porque detecta todo sin costar nada entrenarlo, ajustarlo ni mantenerlo, y no puede derivar silenciosamente cuando la distribución de los datos cambia. La CNN se gana su complejidad solo en la banda intermedia: a SNR 2 detecta el 92 % de los eventos mientras que STA/LTA con el mismo presupuesto de falsas alarmas atrapa el 7 %, y su cruce del 50 % queda cerca de SNR 1.5 contra el cruce del disparador cerca de 5 — el mismo piso de STA/LTA que el experimento con ondículas de Ricker encontró en el capítulo 2.10 con una señal distinta y ruido real de espectro igualado. Aproximadamente media década de SNR es todo el territorio que gana el detector aprendido. Si ese territorio importa es una pregunta científica, no arquitectónica; en sismología resulta ser donde viven la mayoría de los sismos pequeños, y por eso los detectores aprendidos desplazaron a los disparadores de energía en la construcción de catálogos.

Este tipo de medición controlada es el argumento principal a favor de los benchmarks sintéticos: con datos reales solo se puede reportar el desempeño sobre los eventos que uno alcanzó a catalogar, y el catálogo mismo está sesgado en contra de los eventos de baja SNR.

¿Por qué no correspondencia de plantillas? Existe un método clásico que vence a ambos detectores a baja SNR: la correspondencia de plantillas (template matching), que correlaciona la forma de onda de un evento conocido contra los datos continuos y dispara sobre el coeficiente de correlación. Para una forma de onda conocida en ruido estacionario es el filtro adaptado (matched filter) — estadísticamente óptimo — y en la práctica detecta eventos repetitivos aproximadamente un orden de magnitud por debajo del piso de STA/LTA (Gibbons & Ringdal, 2006); así fue como se extrajeron los sismos de baja frecuencia del tremor (Shelly et al., 2007). La trampa está en el nombre: necesita una plantilla, así que solo encuentra eventos que repiten una forma de onda que usted ya tiene — secuencias de réplicas, enjambres, sismos repetitivos, sismicidad inducida. Responde una pregunta más estrecha («¿volvió a romper esta fuente?») que los detectores de arriba («¿hay algún evento presente?»), y compararlo con justicia requeriría un conjunto de datos de fuentes repetitivas, razón por la cual queda fuera del alcance trabajado aquí.

Ejercicio 2. A partir de los resultados del barrido, estime la SNR a la cual la probabilidad de detección de la CNN cruza el 50 %, y lo mismo para STA/LTA. Luego reentrene el modelo con solo 2 épocas y vuelva a correr el barrido. ¿Se mueve el piso de detección de la CNN? ¿Y el de STA/LTA?

6. Prueba de realidad: evaluar el detector sobre formas de onda reales de miniPNW¶

Todos los números hasta ahora se midieron sobre el mismo generador que produjo los datos de entrenamiento. La pregunta incómoda: ¿qué pasa con sismogramas reales?

El capítulo 2.11 descargó miniPNW, un subconjunto etiquetado del benchmark listo para IA del Noroeste del Pacífico (Ni et al., 2023): formas de onda reales con tiempos de llegada marcados por analistas (picks) y tipos de fuente. Evaluamos la CNN entrenada con sintéticos sobre unos cientos de ventanas de sismos reales, sin cambios — sin reentrenar, sin ajuste fino, sin mover el umbral. El preprocesamiento replica el del entrenamiento exactamente y nada más: una ventana de 30 s de la componente vertical, cortada de modo que el pick P quede a 7 s del inicio (dentro del rango que usaron los sintéticos), y luego la misma estandarización por traza. Las ventanas de ruido provienen de los primeros 30 s de cada traza, que terminan bien antes de la llegada P. Sea cual sea el resultado, lo reportamos.

La brecha es el resultado: 87.9 % de exactitud balanceada en trazas de prueba sintéticas, 46.8 % en ventanas reales de miniPNW — nivel de azar, una caída de 41 puntos porcentuales. El modo de falla es específico y vale la pena nombrarlo. Las ventanas de sismos reales se marcan al 86 %, lo que parece respetable visto en aislamiento, pero el detector también marca como sismos el 93 % de las ventanas reales de ruido previo al evento. La curva por intervalos de SNR dice lo mismo con más filo: la detección es más alta (99 %) en el cuartil de SNR más bajo, donde la ventana es mayormente ruido, y la curva completa es indistinguible de la tasa de falsas alarmas. La red no está respondiendo a los sismos en absoluto. Aprendió «evento sintético contra el único modelo de ruido sintético con el que fue entrenada», y el ruido real del Noroeste del Pacífico — no estacionario, dominado por el microsismo oceánico — no se parece a ninguno de los dos, así que casi todo dispara.

Reportamos este número tal como se midió: sin un filtro pasabanda elegido para arreglarlo, sin reentrenamiento, sin mover el umbral después de ver los datos de prueba. Ajustar la brecha hasta hacerla desaparecer borraría la lección, que es la regla de admisibilidad del capítulo 2.10 hecha concreta: un modelo validado solo con datos sintéticos no ha sido validado, y así es como se ve esa oración convertida en medición. Cerrar la brecha exige datos reales del lado del entrenamiento — entrenar o hacer ajuste fino con formas de onda etiquetadas de miniPNW (están ahí, en la caché), o hacer que el ruido del generador sea informado por la física, con el ruido de espectro igualado de 2.10. El cuaderno 4.6 corre el experimento compañero: cuánto de un codificador preentrenado con sintéticos sobrevive al contacto con los mismos datos reales.

7. Cómo leer y recodificar redes publicadas¶

Suponga que un artículo de investigación describe la arquitectura de la CNN que los autores usaron para su análisis, pero no proporciona código. ¿Cómo la reproduciría?

Considere este artículo:

Rouet-Leduc, B., Hulbert, C., McBrearty, I. W., Johnson, P. A. (2020). Probing slow earthquakes with deep learning. Geophysical Research Letters, 47, e2019GL085870. Rouet‐Leduc et al. (2020)

(La figura 1 de Rouet-Leduc et al. (2020) muestra la arquitectura de la red; vea el artículo en Rouet‐Leduc et al. (2020) — la figura no se reproduce aquí por razones de licencia.)

Esquema de la CNN y su arquitectura (figura 1 de Rouet-Leduc et al., 2020).

Leyendo el artículo y su material suplementario, podemos listar las capas:

• Entrada: imagen de espectrograma de 129 x 95 x 1 píxeles
• Conv2D: tamaño de kernel 16 x 16, profundidad 32 (número de canales), que produce mapas de características de tamaño 114 x 80; activación ReLU (encontrada en el material suplementario)
• Max pooling de tamaño 2
• Dropout de 5 % (encontrado en el material suplementario)
• Conv2D: tamaño de kernel 8 x 8, profundidad 64
• Max pooling de tamaño 2
• Dropout de 5 % (encontrado en el material suplementario)
• Conv2D: tamaño de kernel 4 x 4, profundidad 128
• Capa totalmente conectada (densa) que aplana a 36 608 valores (encontrada en el material suplementario)
• Capa totalmente conectada (densa) con 10 neuronas
• Capa totalmente conectada (densa) con 1 neurona, activación sigmoide, que da la probabilidad de que la ventana contenga tremor

Ahora traducimos esa lista, línea por línea, a una pila torch.nn.Sequential:

Para verificar la traducción, ejecutamos una pasada hacia adelante sobre un tensor de prueba con la forma de entrada del artículo, (batch, channels, height, width) = (1, 1, 129, 95), e inspeccionamos la forma después de cada capa:

Dos verificaciones contra el artículo: la primera convolución produce mapas de características de 114 x 80, exactamente como se afirma, y el vector aplanado que entra a las capas densas tiene 128 x 22 x 13 = 36 608 valores, lo que coincide con las «36 608 neuronas» del material suplementario. Cuando estos números cuadran, la recodificación es consistente con la tabla publicada.

Note que no entrenamos esta red. El ejercicio aquí es traducir la descripción de una arquitectura publicada a código funcional y verificarla contra las formas y los conteos de parámetros reportados en el artículo. Entrenarla requeriría el conjunto de datos del artículo (años de datos sísmicos y de GPS continuos de Cascadia) y un cómputo considerable; este curso no tiene ninguna de las dos cosas, y ninguna hace falta para aprender la habilidad.

8. Ajuste de redes CNN¶

Hay muchos hiperparámetros y decisiones de modelo que tomar:

• Entrenamiento: tasa de aprendizaje, optimizador, tamaño de lote, función de pérdida, regularización
• Arquitectura: número de capas, número de canales (profundidad) por capa, tamaños de kernel, funciones de activación, normalización por lotes, dropout

Volvemos al ajuste sistemático de hiperparámetros, incluida la búsqueda automatizada con Optuna, en el cuaderno 4.5 (entrenamiento de modelos).

Resumen¶

• Una convolución desliza un kernel pequeño sobre la entrada; los kernels diseñados a mano difuminan o detectan bordes, y una CNN aprende sus kernels a partir de los datos.
• Un bloque de CNN es convolución, activación, pooling; una cabeza de clasificación es una o más capas totalmente conectadas.
• LeNet-5 en PyTorch es una docena de líneas; un detector de sismos con CNN 1D es aún más pequeño.
• Sobre un campo climático en malla, una CNN 2D pequeña supera por un factor de diez la estimación ingenua de tendencias por mínimos cuadrados — pero solo porque aprendió el modo interanual de confusión del generador; dele al ajuste clásico ese modo como un regresor y los dos empatan en ~0.01 °C/década.
• Medidos sobre las mismas trazas a tasas de falsas alarmas comparables, STA/LTA cruza el 50 % de detección cerca de SNR 5 y la CNN cerca de 1.5; la banda intermedia es todo el caso a favor del detector aprendido.
• Evaluado sin cambios sobre formas de onda reales de miniPNW, el detector entrenado con sintéticos cae de 87.9 % a 46.8 % de exactitud balanceada — azar — porque el ruido real, rico en microsismo, lo dispara constantemente. La brecha sintético-real es la medición; la validación solo con sintéticos no es validación.
• La tabla de arquitectura de una publicación, más las verificaciones de formas con torchinfo.summary, basta para recodificar una red de la que no se tiene código fuente.

A continuación: redes recurrentes para datos secuenciales en el cuaderno 4.4.