Ir al contenido

5. Fundamentos de ingeniería: hardware, arquitectura de cómputo e infraestructura

El capítulo anterior de este libro dejó establecido el lenguaje matemático completo del álgebra lineal, el cálculo diferencial y la probabilidad. Con ese lenguaje, en principio, ya se podría describir por completo cómo aprende un sistema de inteligencia artificial. Y sin embargo, como ya adelantó el capítulo dedicado a la historia del campo, esa misma matemática existió, en una forma reconocible, desde mediados de la década de 1980, sin producir durante casi treinta años ningún sistema capaz de igualar lo que hoy resulta cotidiano. La razón de esa demora no fue conceptual: fue física. Este capítulo examina, con el mismo rigor que los anteriores, esa base física —qué es, por dentro, la máquina que ejecuta las operaciones de álgebra lineal descritas en el capítulo anterior, y por qué la forma concreta de esa máquina determinó, y sigue determinando hoy, qué es posible construir y qué no.

Qué es, físicamente, una operación de cómputo

Sección titulada «Qué es, físicamente, una operación de cómputo»

Una computadora, en su nivel más elemental, es un dispositivo que manipula señales eléctricas representadas mediante dos estados discretos, convencionalmente llamados cero y uno. Cada una de esas señales es un dígito binario, y conviene aquí distinguir con cuidado tres conceptos que el lenguaje corriente suele fundir en uno solo. Un dígito binario es un símbolo que puede tomar los valores cero o uno. El bit, en teoría de la información, es una unidad de cantidad de información, tal como la definió Claude Shannon y como la presentó el primer capítulo de este libro. Una variable binaria equiprobable tiene una entropía de exactamente un bit. Por eso, mil millones de posiciones binarias ofrecen una capacidad nominal de almacenamiento de mil millones de bits, aunque los datos concretos almacenados en ellas pueden contener mucha menos información de Shannon si son altamente previsibles o redundantes. Esa diferencia entre capacidad y contenido informativo es, precisamente, lo que hace posible la compresión de datos: si una secuencia es redundante, la misma información puede representarse con menos dígitos. La pieza física capaz de representar y de manipular un dígito binario es el transistor, un dispositivo hecho de un material llamado semiconductor —típicamente silicio, tratado químicamente para controlar de manera precisa su capacidad de conducir electricidad— que puede funcionar como un interruptor microscópico: dejar pasar corriente eléctrica, representando el estado uno, o bloquearla, representando el estado cero, en respuesta a una señal eléctrica de control.

Un procesador moderno no contiene un solo transistor, sino miles de millones de ellos, organizados en circuitos que combinan estados de encendido y apagado siguiendo las reglas de la lógica booleana que ya se mencionó en el capítulo dedicado a la historia de la inteligencia artificial como el sustrato matemático del paradigma simbólico. La cantidad de transistores que es posible fabricar en un espacio físico determinado ha crecido, a lo largo de la historia de la industria de semiconductores, de una manera tan sostenida y tan predecible que en 1965 el ingeniero Gordon Moore, cofundador de la empresa Intel, formuló una observación que se conoció después como la ley de Moore. Su enunciado original preveía que la cantidad de componentes integrados en un circuito se duplicaría aproximadamente cada año; en 1975 el propio Moore revisó esa estimación y la ajustó a una duplicación cada dos años, que es la formulación que se cita habitualmente. Esta observación no es una ley física en el sentido en que lo son las leyes de la termodinámica, sino una regularidad empírica sostenida por decisiones de inversión y por mejoras sucesivas en los procesos de fabricación; y esa misma regularidad, según reconoce hoy buena parte de la industria, se ha ido desacelerando en las últimas décadas a medida que los transistores se acercan a límites físicos impuestos por el tamaño de los átomos mismos que componen el material semiconductor.

La arquitectura clásica y su límite estructural

Sección titulada «La arquitectura clásica y su límite estructural»

La organización interna de una computadora convencional sigue, desde la década de 1940, un esquema propuesto por el matemático John von Neumann, que sigue llevando su nombre. En una arquitectura de von Neumann, el procesador —la unidad que realiza los cálculos— y la memoria —el lugar donde se almacenan tanto los datos como las instrucciones que indican qué cálculos realizar— son dos componentes físicamente separados, conectados por un canal de comunicación de capacidad limitada. Para realizar cualquier operación, el procesador tiene que solicitar los datos necesarios a la memoria a través de ese canal, esperar a que lleguen, procesarlos, y eventualmente devolver el resultado a la memoria por el mismo canal.

Este esquema, extraordinariamente exitoso y todavía vigente en la inmensa mayoría de las computadoras del mundo, tiene una limitación estructural que la industria conoce como el cuello de botella de von Neumann: a medida que los procesadores se volvieron cada vez más rápidos gracias al aumento constante en la cantidad de transistores que predecía la ley de Moore, la velocidad a la que la memoria puede entregar datos a través de ese canal de comunicación no creció al mismo ritmo, de modo que, en muchas tareas, el procesador termina esperando ocioso a que le lleguen los datos que necesita, en lugar de estar permanentemente ocupado calculando. Esta limitación resulta central para entender, más adelante en este mismo capítulo, por qué el entrenamiento de una red neuronal no depende solamente de cuántas operaciones aritméticas por segundo puede realizar un procesador, sino también, de manera igualmente decisiva, de cuán rápido ese procesador puede alimentarse con los datos que esas operaciones necesitan.

Conviene precisar, dentro de esta limitación general, dos cantidades distintas que con frecuencia se confunden pero que un ingeniero necesita distinguir con cuidado. La latencia mide cuánto tiempo transcurre desde que se solicita un dato individual a la memoria hasta que ese dato llega al procesador: es, en cierto sentido, el tiempo de espera de una única solicitud. El ancho de banda, en cambio, mide cuántos datos en total se pueden transferir desde la memoria hacia el procesador por unidad de tiempo, una vez que el flujo de transferencia ya está en marcha: es la capacidad del canal, no el tiempo de espera de un pedido individual. Estas dos cantidades no siempre mejoran juntas, y en el entrenamiento de redes neuronales modernas es, en la mayoría de los casos, el ancho de banda de memoria el que impone el límite real, y no la velocidad de cálculo del procesador ni la latencia de cada solicitud individual: entrenar una red neuronal exige mover, de manera constante y masiva, enormes cantidades de parámetros y de datos intermedios entre la memoria y las unidades de cálculo, y cuando esa cantidad de datos por mover supera lo que el ancho de banda disponible permite transferir, el procesador —incluida una tarjeta gráfica con miles de unidades de cálculo simultáneas, como se describe más adelante en este capítulo— pasa una fracción considerable de su tiempo ocioso, literalmente hambriento de datos, en un estado que la ingeniería de cómputo describe con precisión como estar limitado por memoria, en contraste con estar limitado por cómputo, que es la situación en la que el procesador sí tiene todos los datos que necesita y su velocidad de cálculo es, en cambio, el factor que determina cuánto tarda la tarea completa.

Por qué una tarjeta de video resultó decisiva: paralelismo frente a velocidad secuencial

Sección titulada «Por qué una tarjeta de video resultó decisiva: paralelismo frente a velocidad secuencial»

El capítulo dedicado a la historia de la inteligencia artificial ya adelantó, sin explicar el motivo técnico, que las tarjetas gráficas de videojuegos resultaron decisivas para el entrenamiento de redes neuronales profundas a partir de 2012. Este apartado explica, con el detalle de ingeniería que corresponde a este capítulo, por qué ocurrió exactamente eso.

Un procesador central convencional, el que ejecuta la mayoría de las tareas de una computadora de uso general, está diseñado para realizar, con la mayor rapidez posible, una secuencia de instrucciones potencialmente muy distintas entre sí, una después de la otra, tomando decisiones y saltando de una parte del programa a otra según haga falta. Esta capacidad de ejecutar instrucciones muy variadas de manera rápida y flexible tiene un costo de diseño: un procesador central típico contiene, en comparación con lo que se describirá a continuación, relativamente pocas unidades de cálculo, pero cada una de ellas es muy sofisticada.

Una tarjeta gráfica, en cambio, fue diseñada originalmente para un problema distinto: calcular, para cada uno de los millones de píxeles que componen la pantalla de una computadora, un color determinado, aplicando a cada píxel esencialmente el mismo cálculo matemático, aunque con datos de entrada distintos para cada píxel. Este tipo de problema —realizar la misma operación, de manera simultánea, sobre una cantidad enorme de datos independientes entre sí— se conoce en ingeniería de cómputo como paralelismo de datos, y para resolverlo de manera eficiente, una tarjeta gráfica está construida con una arquitectura radicalmente distinta a la de un procesador central: en lugar de pocas unidades de cálculo muy sofisticadas, contiene miles de unidades de cálculo mucho más simples, capaces de ejecutar todas, al mismo tiempo, la misma operación matemática sobre datos diferentes.

Resulta que entrenar una red neuronal, en su núcleo matemático más profundo, es exactamente ese mismo tipo de problema: como explicó el capítulo anterior de este libro, cada capa de una red neuronal consiste en multiplicar un vector por una matriz, y esa multiplicación se descompone, internamente, en una gran cantidad de productos internos independientes entre sí, calculables todos de manera simultánea sin que ninguno dependa del resultado de otro. Cuando, hacia el año 2012, un grupo de investigadores decidió ejecutar el entrenamiento de una red neuronal profunda sobre tarjetas gráficas en lugar de sobre procesadores centrales convencionales, no estaban usando esas tarjetas para ningún propósito relacionado con gráficos: estaban aprovechando, para un problema completamente distinto de aquel para el que fueron diseñadas, la misma arquitectura de miles de unidades de cálculo simples operando en paralelo, y obtuvieron, gracias a ese paralelismo, una aceleración de varios órdenes de magnitud respecto de lo que un procesador central de la misma época podía lograr con el mismo circuito y el mismo consumo de energía.

Hardware diseñado específicamente para el aprendizaje automático

Sección titulada «Hardware diseñado específicamente para el aprendizaje automático»

El éxito de reutilizar tarjetas gráficas para entrenar redes neuronales llevó, en los años posteriores a 2012, a un paso adicional: en lugar de adaptar un hardware diseñado originalmente para otro propósito, varias empresas de tecnología diseñaron circuitos especializados desde cero, pensados exclusivamente para las operaciones matemáticas que exige el aprendizaje profundo, principalmente la multiplicación de matrices y la suma de sus resultados. Estos circuitos, conocidos genéricamente como aceleradores de inteligencia artificial —con nombres comerciales particulares según el fabricante— llevan la lógica del paralelismo descrita en el apartado anterior todavía más lejos, sacrificando por completo la flexibilidad de un procesador de propósito general a cambio de una eficiencia mucho mayor en ese tipo específico de cálculo. Esta tendencia —diseñar hardware cada vez más especializado para un tipo de operación matemática cada vez más específico y cada vez más masivo— es, en sí misma, una de las señales más claras de que la ingeniería, desde 2012 en adelante, dejó de simplemente ejecutar la matemática del aprendizaje profundo sobre máquinas genéricas, y empezó a construir máquinas cuya forma física está determinada, desde el diseño mismo del circuito, por la forma de esa matemática.

Hay todavía una segunda palanca de eficiencia, distinta del paralelismo, que esta misma generación de hardware especializado explotó de manera decisiva, y que conviene explicar porque corrige una simplificación que este capítulo aceptó hasta ahora a propósito. Cuando el capítulo anterior de este libro describió las operaciones de álgebra lineal que sostienen a una red neuronal, habló de “números” sin mayor precisión, como si una computadora pudiera representar cualquier número real con exactitud perfecta. En la práctica, ninguna computadora puede hacer eso: los números no enteros se representan mediante un esquema llamado de punto flotante, que almacena una cantidad finita de dígitos de precisión y descarta el resto, y esa cantidad finita de dígitos se puede elegir, según el diseño del hardware, para ocupar más o menos espacio en memoria. El formato considerado durante mucho tiempo el estándar para el cómputo científico, conocido como de precisión simple o de treinta y dos bits, ofrece una precisión numérica alta pero exige el doble de memoria y el doble de ancho de banda que un formato de precisión reducida, de dieciséis bits, que sacrifica parte de esa precisión a cambio de ocupar la mitad de espacio y poder transferirse a través del canal de memoria al doble de velocidad. Una parte sustancial de las mejoras de eficiencia en el hardware de inteligencia artificial de la última década provino, precisamente, de descubrir que el entrenamiento de una red neuronal tolera, en la gran mayoría de sus cálculos internos, una precisión numérica bastante más baja que la que exigiría, por ejemplo, un cálculo de ingeniería aeroespacial, sin que el modelo final pierda una cantidad significativa de su capacidad de generalización; esto llevó al desarrollo de formatos numéricos todavía más comprimidos, de dieciséis bits con un rango distinto especialmente pensado para el entrenamiento, e incluso de ocho bits enteros para ciertas fases de la ejecución de un modelo ya entrenado. Reducir la precisión numérica es, en esencia, la misma estrategia que reducir el ancho y el peso de una carga para que quepa más de ella en el mismo camión: se pierde algo de detalle en cada número individual, pero se gana la posibilidad de mover, y de calcular, muchísimos más números por segundo dentro del mismo límite físico de memoria y de energía descrito en el resto de este capítulo.

La memoria y la energía como límites que la teoría matemática ignora

Sección titulada «La memoria y la energía como límites que la teoría matemática ignora»

El capítulo anterior de este libro presentó las redes neuronales, en términos puramente matemáticos, como vectores de parámetros que se ajustan mediante el gradiente de una función de pérdida, sin ninguna referencia a dónde, físicamente, se almacenan esos parámetros. Ese silencio era deliberado, porque la matemática de la optimización es, en efecto, indiferente al soporte físico que la implementa. Pero ese soporte físico impone límites reales que la teoría, por sí sola, no revela.

Los parámetros de una red neuronal, junto con los datos que se procesan en cada paso del entrenamiento, tienen que residir en algún tipo de memoria física durante el cálculo, y esa memoria, igual que el procesador que ya se describió, tiene una capacidad finita y un costo asociado a su velocidad: cuanto más rápida es una memoria, más cara resulta y menor es, típicamente, su capacidad total. Esto genera, en el diseño real de cualquier sistema de cómputo, una jerarquía de memorias de distinta velocidad y distinta capacidad, desde una memoria muy pequeña y extremadamente rápida ubicada dentro del propio procesador, hasta un almacenamiento mucho más grande y mucho más lento fuera de él, con varios niveles intermedios entre ambos extremos. Diseñar un sistema de entrenamiento de inteligencia artificial eficiente exige, en la práctica, organizar cuidadosamente qué datos residen en cada nivel de esta jerarquía en cada momento, porque un modelo cuyos parámetros no caben en la memoria más rápida disponible sufre, de manera directa, el mismo cuello de botella de von Neumann descrito al principio de este capítulo: el procesador, por más veloz que sea, termina esperando a que los datos necesarios lleguen desde una memoria más lenta.

A esto se suma un límite físico todavía más básico, que ninguna mejora de ingeniería puede eliminar por completo: cada operación de cómputo, y cada movimiento de datos entre distintos niveles de memoria, consume energía eléctrica, y esa energía se disipa, en su mayor parte, en forma de calor. Un centro de datos moderno dedicado al entrenamiento de modelos de inteligencia artificial a gran escala —tema que este libro retomará con mucho más detalle en la parte dedicada a la infraestructura de entrenamiento distribuido— puede llegar a consumir una cantidad de electricidad comparable a la de una ciudad de tamaño mediano, y una fracción sustancial de la ingeniería involucrada en su construcción se dedica, no al procesamiento en sí, sino a evacuar el calor generado por ese procesamiento antes de que dañe el propio hardware. La matemática del capítulo anterior de este libro no menciona en ningún momento la palabra energía; la ingeniería que hace posible ejecutar esa matemática a la escala de los sistemas actuales, en cambio, está condicionada por ella en cada una de sus decisiones de diseño.

Lo que este capítulo deja establecido antes de continuar

Sección titulada «Lo que este capítulo deja establecido antes de continuar»

Este capítulo cierra la primera parte de este libro, y conviene resumir, antes de pasar a la segunda parte, la lección central que deja para todo lo que sigue. La teoría matemática presentada en el capítulo anterior —el álgebra lineal, el cálculo diferencial, la probabilidad— describe qué operación matemática, exactamente, tendría que realizarse para entrenar un sistema de aprendizaje automático. Pero esa teoría, por sí sola, es indiferente a cuánto tiempo tomaría realizar esa operación, cuánta energía consumiría, o si el hardware disponible en un momento histórico determinado puede siquiera llevarla a cabo a una escala útil. El capítulo dedicado a la historia de la inteligencia artificial ya mostró esta lección en forma de relato: la matemática de la retropropagación estaba disponible desde los años setenta y quedó firmemente establecida en 1986, pero solo se volvió práctica a la escala de los sistemas actuales más de dos décadas después, gracias a la conjunción del paralelismo de las tarjetas gráficas, la disponibilidad de datos masivos, y las mejoras incrementales del propio algoritmo.

Este capítulo mostró la misma lección, pero en su forma de principio de ingeniería y no de anécdota histórica: cualquier sistema de inteligencia artificial, sin excepción, está sostenido simultáneamente por dos capas completamente distintas, que este libro ya presentó por separado y que a partir de aquí se deben empezar a pensar siempre juntas. Una capa matemática, que determina qué es, en principio, calculable y aprendible, y una capa física, hecha de transistores, de memoria organizada en jerarquías, de energía eléctrica y de calor disipado, que determina qué de todo eso es, en la práctica y en un momento histórico dado, efectivamente calculable dentro de un tiempo y un costo razonables. La segunda parte de este libro, que empieza en el próximo capítulo con el aprendizaje automático clásico, va a construirse siempre sobre estas dos capas a la vez, y este libro no va a dejar nunca que el lector olvide la segunda por concentrarse únicamente en la primera.


  1. Moore, G. E. (1965). “Cramming More Components onto Integrated Circuits”. Electronics, 38(8). (Formulación original, con duplicación anual.) Moore, G. E. (1975). “Progress in Digital Integrated Electronics”. IEDM Technical Digest. (Revisión a duplicación bienal, que es la formulación hoy habitual.)
  2. Von Neumann, J. (1945). “First Draft of a Report on the EDVAC”. Descripción original de la arquitectura que lleva su nombre.
  3. Sobre la desaceleración reciente de la ley de Moore y sus límites físicos: Theis, T. N. & Wong, H.-S. P. (2017). “The End of Moore’s Law: A New Beginning for Information Technology”. Computing in Science & Engineering, 19(2).
  4. Sobre la arquitectura de tarjetas gráficas y su reutilización para cómputo de propósito general: Owens, J. D. et al. (2008). “GPU Computing”. Proceedings of the IEEE, 96(5).
  5. Sobre la reducción de precisión numérica (aritmética de punto flotante de dieciséis bits y formatos relacionados) en el entrenamiento de redes neuronales: Micikevicius, P. et al. (2017). “Mixed Precision Training”. arXiv:1710.03740.
  6. Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). “ImageNet Classification with Deep Convolutional Neural Networks”. NeurIPS. (Ya citado en el capítulo de historia; se retoma aquí como el caso de estudio de ingeniería de este capítulo.)
  7. Sobre la jerarquía de memoria, la distinción entre ancho de banda y latencia, y el cuello de botella de von Neumann: Hennessy, J. L. & Patterson, D. A. (2019). Computer Architecture: A Quantitative Approach (6ª edición). Morgan Kaufmann.
  8. Sobre el consumo energético de los centros de datos dedicados a inteligencia artificial: International Energy Agency (2025). Energy and AI. Informe especial. (Se retoma con cifras concretas en el capítulo dedicado a la infraestructura a gran escala.)