7. Redes neuronales y aprendizaje profundo
El problema que quedó planteado
Sección titulada «El problema que quedó planteado»El capítulo anterior de este libro cerró con un límite estructural preciso: ningún modelo que calcule su salida mediante una única combinación lineal de sus entradas puede resolver un problema como la disyunción exclusiva, sin importar cómo se ajusten sus pesos, porque ese tipo de problema exige una frontera de decisión que ninguna línea recta puede trazar. El capítulo dedicado a la historia de la inteligencia artificial ya narró que Minsky y Papert, en 1969, sabían que apilar varias de estas unidades en capas sucesivas resolvía el problema en el papel, pero que faltaba un método práctico para entrenar esa arquitectura de varias capas. Este capítulo presenta esa arquitectura con todo el rigor matemático correspondiente, y desarrolla, paso por paso, el algoritmo de retropropagación que resolvió ese problema en 1986.
La neurona artificial: una combinación lineal seguida de una no linealidad
Sección titulada «La neurona artificial: una combinación lineal seguida de una no linealidad»La unidad básica de una red neuronal artificial se llama, por analogía histórica con la neurona biológica, simplemente neurona o unidad, y su estructura matemática es sorprendentemente simple: es, en su primer paso, exactamente el mismo modelo que abrió el capítulo anterior de este libro, una combinación lineal de las entradas mediante un vector de pesos ajustables más un sesgo. La diferencia decisiva, la que permite escapar del límite de la línea recta, aparece en el segundo paso: el resultado de esa combinación lineal se pasa a través de una función adicional, no lineal, llamada función de activación, antes de convertirse en la salida final de la neurona.
Esta segunda etapa no es un detalle técnico menor: es la pieza que hace que apilar varias neuronas en capas sucesivas tenga algún sentido. Si se encadenaran varias transformaciones puramente lineales, una detrás de otra, sin ninguna función de activación no lineal entre ellas, el resultado neto de toda la cadena seguiría siendo, matemáticamente, una única transformación lineal —el capítulo dedicado a los fundamentos matemáticos de este libro ya explicó que una matriz representa una transformación del espacio, y componer varias transformaciones lineales sucesivas produce, siempre, otra transformación lineal equivalente—, exactamente el mismo tipo de modelo, con la misma limitación estructural, que el capítulo anterior mostró incapaz de resolver la disyunción exclusiva. Intercalar una función de activación no lineal entre cada capa es lo que rompe esta equivalencia, y lo que permite que una red de varias capas represente fronteras de decisión mucho más complejas que una única línea recta.
A lo largo de la historia de este campo se han usado varias funciones de activación distintas, y conviene señalar, porque tiene consecuencias prácticas importantes que se explican más adelante en este capítulo, que la elección entre ellas no ha sido nunca neutral. Las primeras redes neuronales usaron con frecuencia la misma función sigmoide presentada en el capítulo anterior, que comprime cualquier número real en un valor entre cero y uno de manera suave. Las redes profundas modernas, en cambio, favorecen de manera abrumadora una función mucho más simple, llamada unidad lineal rectificada, que se limita a devolver el mismo número de entrada si ese número es positivo, y a devolver exactamente cero si es negativo o nulo. Esta función, a pesar de su extrema simplicidad —o precisamente gracias a ella, como se explicará en el apartado dedicado al entrenamiento de redes profundas— resultó, en la práctica, muchísimo más fácil de entrenar en arquitecturas de muchas capas que las funciones más suaves usadas originalmente.
La arquitectura: capas, profundidad y anchura
Sección titulada «La arquitectura: capas, profundidad y anchura»Una red neuronal se construye organizando estas neuronas en capas sucesivas. La primera capa recibe directamente el vector de características de entrada. Cada capa intermedia, llamada capa oculta porque su salida no se observa directamente sino que alimenta a la capa siguiente, recibe como entrada la salida completa de la capa anterior, y produce, mediante su propia matriz de pesos y su propia función de activación, un nuevo vector que pasa a la capa siguiente. La última capa, llamada capa de salida, produce el resultado final de la red: un número para un problema de regresión, o una probabilidad mediante una función sigmoide o su generalización a varias categorías para un problema de clasificación, retomando exactamente los mismos conceptos que el capítulo anterior de este libro presentó para la regresión logística.
La cantidad de capas intermedias que tiene una red se llama su profundidad, y es precisamente esta palabra la que da nombre a la expresión aprendizaje profundo, que designa, sin ningún misterio adicional, al estudio y al uso de redes neuronales con una cantidad considerable de capas ocultas. La cantidad de neuronas dentro de cada capa se llama su anchura. En el lenguaje de la teoría estadística del aprendizaje presentada en el capítulo dedicado a la epistemología de este libro, tanto la profundidad como la anchura de una red determinan, en conjunto, la capacidad de la familia de funciones que esa red puede representar: una red más profunda o más ancha puede representar funciones más complejas y más flexibles, con exactamente la misma advertencia sobre el sobreajuste que el capítulo anterior desarrolló para el caso mucho más simple de una regresión polinómica.
El algoritmo de retropropagación: la regla de la cadena aplicada a una red completa
Sección titulada «El algoritmo de retropropagación: la regla de la cadena aplicada a una red completa»Con la arquitectura ya definida, queda pendiente el problema que este capítulo prometió resolver desde su primera línea: cómo calcular el gradiente del error respecto de todos los pesos de todas las capas de la red a la vez, para poder aplicar el mismo procedimiento de descenso de gradiente presentado en capítulos anteriores. El capítulo dedicado a los fundamentos matemáticos de este libro introdujo la regla de la cadena del cálculo diferencial de manera muy breve, al calcular el gradiente de la regresión lineal; el algoritmo de retropropagación no es más que la aplicación sistemática y organizada de esa misma regla a una red compuesta por muchas capas encadenadas, una detrás de otra.
Por qué la profundidad, por sí sola, generó un problema nuevo
Sección titulada «Por qué la profundidad, por sí sola, generó un problema nuevo»La disponibilidad de la retropropagación no eliminó todas las dificultades del entrenamiento de redes de muchas capas. A medida que las redes se hicieron más profundas durante las décadas siguientes, los investigadores del campo se encontraron con un fenómeno conocido como el desvanecimiento del gradiente: al aplicar la regla de la cadena capa por capa, como acaba de describir el recuadro anterior, el gradiente que llega a las capas más alejadas de la salida se calcula multiplicando entre sí una cantidad de factores igual a la cantidad de capas que hay que atravesar. Cuando la función de activación usada es la función sigmoide, que comprime sus valores en un rango relativamente estrecho y tiene una derivada que nunca supera un valor bastante pequeño, multiplicar entre sí muchos de esos factores pequeños produce un resultado que se acerca a cero de manera exponencial a medida que la red se hace más profunda, de modo que las capas más alejadas de la salida terminan recibiendo un gradiente tan diminuto que, en la práctica, dejan de aprender por completo.
Este problema explica, con precisión técnica y no solo como anécdota histórica, por qué la función de activación llamada unidad lineal rectificada, presentada al principio de este capítulo, resultó una de las piezas decisivas para el resurgimiento de las redes profundas a partir de la década de 2010: su derivada, a diferencia de la de la función sigmoide, vale exactamente uno para cualquier entrada positiva, sin comprimirse nunca hacia valores diminutos, lo cual ayuda a que el gradiente se propague hacia las capas más profundas de la red sin desvanecerse de la misma manera. Conviene ser precisos, sin embargo, sobre el alcance de esta explicación: cambiar la función de activación mitiga una parte del problema, pero las redes verdaderamente profundas que sostienen los sistemas actuales —en particular la arquitectura que se presentará en el próximo capítulo de este libro— no se volvieron entrenables solo por ese cambio. Hicieron falta, además, al menos otras dos técnicas complementarias, que este libro desarrollará con precisión cuando la arquitectura del próximo capítulo las requiera: las conexiones residuales, que permiten que la salida de un bloque de capas se calcule sumando el resultado de una transformación a la entrada original de ese bloque, dándole al gradiente un camino adicional para propagarse durante la retropropagación sin tener que atravesar necesariamente cada transformación intermedia; y la normalización, que reescala los valores numéricos que circulan por la red en cada capa para evitar que crezcan o se encojan de manera descontrolada a medida que aumenta la profundidad. Ninguna de estas tres técnicas —la función de activación, las conexiones residuales, la normalización— resuelve por sí sola el entrenamiento de redes muy profundas; es su combinación, junto con esquemas de inicialización de pesos más cuidadosos que este libro no desarrolla en detalle, la que lo hace posible en la práctica. Este es un ejemplo concreto, y no solo una generalización abstracta, de un patrón que este libro ya señaló en el capítulo dedicado a la historia de la inteligencia artificial: buena parte del progreso del aprendizaje profundo entre 1986 y 2012 no vino de una teoría matemática nueva, sino de una acumulación de refinamientos técnicos incrementales que, combinados, resolvieron los obstáculos prácticos que impedían aprovechar plenamente una teoría que ya existía.
El costo de la flexibilidad: sobreajuste a escala de millones de parámetros
Sección titulada «El costo de la flexibilidad: sobreajuste a escala de millones de parámetros»Una red neuronal profunda, con potencialmente millones o miles de millones de parámetros ajustables, es una familia de funciones extraordinariamente flexible, en el sentido exacto que la teoría de Vapnik y Chervonenkis presentada en el capítulo dedicado a la epistemología de este libro le da a esa palabra. Esta flexibilidad es lo que le permite aprender patrones muy complejos a partir de datos crudos, pero también la expone, en principio, a un riesgo de sobreajuste todavía mayor que el de la regresión polinómica presentada en el capítulo anterior como primer ejemplo de ese fenómeno.
Además de las técnicas de regularización y de división del conjunto de datos ya presentadas en el capítulo anterior, el aprendizaje profundo desarrolló una técnica adicional, específica de las redes de varias capas, llamada abandono o dropout, que consiste en desactivar, de manera aleatoria y en cada paso distinto del entrenamiento, una fracción de las neuronas de una capa, forzando al resto de la red a no depender excesivamente de ninguna neurona individual para producir una predicción correcta. El efecto de esta técnica es, en la práctica, similar al de entrenar simultáneamente una gran cantidad de redes más pequeñas y ligeramente distintas entre sí, y promediar sus resultados, un procedimiento que la estadística clásica, independientemente del aprendizaje profundo, ya conocía como una manera efectiva de reducir el sobreajuste de un modelo flexible.
Lo que este capítulo deja establecido antes de continuar
Sección titulada «Lo que este capítulo deja establecido antes de continuar»Este capítulo mostró cómo apilar varias de las unidades lineales presentadas en el capítulo anterior, separadas por funciones de activación no lineales, produce una familia de modelos capaz de superar el límite estructural que cerraba ese capítulo, y desarrolló, con el detalle matemático completo, el algoritmo de retropropagación que hace posible entrenar esa arquitectura de manera eficiente, además de explicar por qué la elección de la función de activación resultó decisiva para que esa eficiencia se tradujera, finalmente, en resultados prácticos a partir de la década de 2010.
Sin embargo, todo lo presentado en este capítulo comparte todavía una limitación que el próximo capítulo de este libro va a examinar con detenimiento: una red neuronal como las descritas aquí procesa su entrada como un único vector de tamaño fijo, lo cual funciona razonablemente bien para datos como una imagen de tamaño predeterminado, pero resulta mucho menos natural para datos que se presentan como una secuencia de longitud variable, como una oración de un idioma natural, en la que el orden de los elementos importa y en la que dos oraciones distintas pueden tener cantidades de palabras completamente diferentes. El próximo capítulo presenta la arquitectura que resolvió este problema de una manera particularmente eficaz, y que sostiene, hoy, a los sistemas de lenguaje que este libro mencionó desde su primer capítulo sin explicar todavía su funcionamiento interno.
Notas y referencias del capítulo
Sección titulada «Notas y referencias del capítulo»- McCulloch, W. S. & Pitts, W. (1943). “A Logical Calculus of the Ideas Immanent in Nervous Activity”. Bulletin of Mathematical Biophysics, 5. (Primer modelo formal de neurona artificial.)
- Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). “Learning representations by back-propagating errors”. Nature, 323. (Ya citado en el capítulo de historia de la Inteligencia Artificial; se desarrolla aquí en detalle matemático completo.)
- Sobre el problema del desvanecimiento del gradiente: Hochreiter, S. (1991). Untersuchungen zu dynamischen neuronalen Netzen. Tesis de diploma, Technische Universität München. (Primera identificación formal del problema.)
- Sobre la unidad lineal rectificada y su ventaja frente al desvanecimiento del gradiente: Nair, V. & Hinton, G. E. (2010). “Rectified Linear Units Improve Restricted Boltzmann Machines”. ICML.
- Sobre las conexiones residuales como técnica complementaria para entrenar redes muy profundas: He, K. et al. (2016). “Deep Residual Learning for Image Recognition”. CVPR. (Se desarrolla con más detalle en el capítulo dedicado a los Transformers.)
- Sobre la normalización de capa: Ba, J. L., Kiros, J. R., & Hinton, G. E. (2016). “Layer Normalization”. arXiv:1607.06450.
- Sobre la técnica de abandono o dropout: Srivastava, N. et al. (2014). “Dropout: A Simple Way to Prevent Neural Networks from Overfitting”. Journal of Machine Learning Research, 15.
- Sobre el teorema de aproximación universal, que establece las condiciones bajo las cuales una red de suficiente anchura puede aproximar cualquier función continua: Cybenko, G. (1989). “Approximation by Superpositions of a Sigmoidal Function”. Mathematics of Control, Signals and Systems, 2(4).
Copyright © 2026 Carlos Dagorret — Licencia Creative Commons Atribución-NoComercial-SinDerivadas 4.0 Internacional (CC BY-NC-ND 4.0)