Skip to content

12. Límites, problemas y soluciones propuestas

This content is not available in your language yet.

Por qué estos errores no son simples accidentes de programación

Sección titulada «Por qué estos errores no son simples accidentes de programación»

Este capítulo examina los límites técnicos mejor documentados de los sistemas de inteligencia artificial actuales, y lo hace con una tesis central que todo el desarrollo matemático de este libro permite ahora sostener con precisión, aunque conviene formularla con el cuidado exacto que su fuerza real permite, ni más ni menos: los errores más característicos de estos sistemas —las alucinaciones y los sesgos— no son fallas de programación aisladas que un ajuste técnico menor pudiera eliminar por completo, sino que se relacionan de manera directa con cómo está construido, matemáticamente, el objetivo que estos sistemas optimizan durante su entrenamiento. Mostrar esa relación con precisión —sin exagerarla más allá de lo que el argumento sostiene— es el objetivo de este capítulo.

Las alucinaciones: qué es lo que el argumento matemático realmente muestra

Sección titulada «Las alucinaciones: qué es lo que el argumento matemático realmente muestra»

Los sistemas de lenguaje actuales se entrenan con un objetivo que conviene enunciar aquí con precisión, porque de él depende todo lo que sigue en este capítulo. Durante su entrenamiento, a estos sistemas se les presentan enormes cantidades de texto real y, en cada paso, se les pide que predigan cuál es la palabra siguiente; luego se ajustan sus parámetros internos para que, la próxima vez, la palabra que efectivamente aparecía en el texto original hubiera recibido una probabilidad más alta. La medida que cuantifica qué tan lejos estuvo la predicción del sistema de la palabra real se llama entropía cruzada, y mide, en el fondo, cuánta “sorpresa” le produjo al sistema encontrarse con esa palabra: si el sistema ya le había asignado una probabilidad alta, la sorpresa es baja; si le había asignado una probabilidad baja, la sorpresa es alta. Entrenar un sistema de este tipo consiste, entonces, en ajustarlo para que el texto real del mundo le resulte, en promedio, lo menos sorprendente posible. El capítulo 8 desarrolla este proceso con todo detalle, y el capítulo 6 lo presenta en su forma más simple. Conviene ahora construir, con cuidado y sin saltar ningún paso, el argumento preciso que conecta ese objetivo de entrenamiento con el fenómeno que la comunidad del campo llama alucinación: la generación, con total fluidez y aparente seguridad, de afirmaciones factualmente incorrectas. Este argumento tiene tres niveles, y conviene distinguirlos con precisión porque cada uno sostiene una afirmación de fuerza distinta.

El primer nivel, el más sólido y menos discutible, es puramente lógico. Todo sistema que aprende a partir de ejemplos enfrenta un problema que el filósofo David Hume identificó en el siglo dieciocho y que ninguna cantidad de progreso técnico ha resuelto desde entonces: por muchos casos que se hayan observado, no existe ninguna garantía lógica de que el caso siguiente se comporte como los anteriores. Ninguna cantidad finita de datos de entrenamiento, por grande que sea, puede ofrecer una garantía formal de que un sistema entrenado sobre ellos se comportará correctamente frente a cualquier caso nuevo. Esto no es una limitación específica de los modelos de lenguaje: es una limitación general de cualquier sistema que generalice a partir de ejemplos, y el capítulo 3 la desarrolla en profundidad, junto con la manera en que la matemática del siglo veinte aprendió a medirla, aunque no a eliminarla. No hay, en ningún sentido riguroso, una garantía de verdad factual.

El segundo nivel, más específico y también sólido, señala que el objetivo de entrenamiento de un modelo de lenguaje —minimizar la entropía cruzada entre su predicción y el token real siguiente— no incluye, en ningún punto de su formulación matemática, un término que distinga de manera directa entre una continuación factualmente verdadera y una continuación factualmente falsa pero igualmente plausible desde el punto de vista puramente estadístico del lenguaje. De que la pérdida no contenga ese término no se sigue, sin embargo, que el modelo sea incapaz de representar o de utilizar información verdadera: aprender a predecir con precisión una distribución de texto tan rica y tan vasta como la que compone buena parte del conocimiento humano registrado exige, de hecho, que el modelo internalice una cantidad enorme de estructura genuina sobre el mundo que ese texto describe, estructura que después puede, en muchos casos, usarse para producir afirmaciones correctas. Lo que este segundo nivel establece, entonces, con precisión y sin sobrepasarla, es que el objetivo de entrenamiento no garantiza la factualidad de sus salidas, no que sea incompatible con ella.

El tercer nivel es enteramente empírico: se observa, de manera documentada y reproducible, que estos sistemas producen, con una frecuencia no despreciable, afirmaciones fluidas y plausibles que resultan ser falsas. Este tercer nivel es un hecho observado, no una deducción de los dos anteriores; los dos primeros niveles explican por qué ese hecho no debería sorprender —no hay garantía formal de verdad, y el objetivo de entrenamiento no la exige de manera directa—, pero no permiten derivar, como si fuera un teorema, que las alucinaciones ocurrirán siempre y con una frecuencia determinada. Combinando los tres niveles, la afirmación que este libro puede sostener con el rigor que le corresponde es la siguiente: la generación probabilística de texto a partir de patrones aprendidos hace posible, y en la práctica esperable, la producción de afirmaciones plausibles pero falsas, y ningún elemento de la arquitectura o del objetivo de entrenamiento presentados en este libro ofrece, por sí solo, una garantía en sentido contrario.

Los sesgos: qué puede ocurrir cuando los datos reflejan desigualdades

Sección titulada «Los sesgos: qué puede ocurrir cuando los datos reflejan desigualdades»

El segundo límite que este capítulo examina, el de los sesgos discriminatorios que un sistema de aprendizaje automático puede exhibir, admite una explicación relacionada, aunque conviene formularla con el mismo cuidado que la sección anterior aplicó a las alucinaciones, y no como un mecanismo automático y perfectamente predecible. La forma más común de aprendizaje automático, llamada aprendizaje supervisado, consiste en lo siguiente: se le presentan al sistema una gran cantidad de casos pasados junto con el resultado correcto de cada uno —solicitudes de crédito junto con el dato de si fueron devueltas o no, radiografías junto con el diagnóstico confirmado, correos junto con la etiqueta de si eran publicidad no deseada—, y el sistema ajusta sus parámetros internos hasta minimizar la cantidad de errores que comete sobre ese conjunto de casos conocidos. El capítulo 6 desarrolla este proceso en detalle. Lo relevante para este capítulo es lo que ese procedimiento no incluye: en ningún punto de él hay una verificación de que el conjunto de casos usado para entrenar sea representativo, equilibrado o libre de las desigualdades históricas que puedan estar presentes en el mundo del que esos datos fueron recolectados.

Si un conjunto de datos de entrenamiento refleja, por ejemplo, una desigualdad histórica en la concesión de créditos entre distintos grupos demográficos, un modelo entrenado para minimizar su riesgo empírico sobre esos datos puede aprender y reproducir esa misma desigualdad en sus predicciones futuras, en la medida en que reproducir los patrones estadísticos presentes en los datos de entrenamiento es, en términos generales, lo que ese proceso de optimización favorece. Conviene ser precisos, sin embargo, sobre lo que esta afirmación sostiene y lo que no sostiene: un modelo de aprendizaje automático no es un espejo que reproduzca con fidelidad exacta cualquier patrón presente en sus datos de entrenamiento. Según la arquitectura del modelo, la manera en que los datos están representados, y las decisiones de diseño tomadas durante el entrenamiento, un sistema puede atenuar ciertas disparidades presentes en los datos originales, puede amplificar otras más allá de su magnitud original —un fenómeno documentado en varios estudios, en el que una desigualdad moderada en los datos de entrenamiento se traduce en una desigualdad más pronunciada en las predicciones del modelo—, puede transformarlas de maneras que no resultan evidentes a simple vista, o puede incluso generar correlaciones nuevas que no estaban presentes de manera explícita en los datos originales pero que emergen de la interacción entre distintas variables durante el entrenamiento. La afirmación que este libro puede sostener con precisión es, entonces, que un sistema de este tipo puede aprender y reproducir regularidades socialmente indeseables presentes en los datos de entrenamiento, y en ciertos casos amplificarlas, no que los reproduzca siempre de manera necesaria ni con una fidelidad predecible de antemano. Determinar, en un caso concreto, si un sistema atenuó, reprodujo o amplificó una desigualdad presente en sus datos de entrenamiento es, precisamente, una pregunta empírica que exige auditar el sistema ya entrenado, y no algo que se pueda anticipar únicamente a partir de la composición de los datos originales.

Soluciones propuestas y sus límites conocidos

Sección titulada «Soluciones propuestas y sus límites conocidos»

Frente a estos dos problemas, la investigación actual propone soluciones técnicas concretas, ninguna de las cuales, sin embargo, elimina el problema de raíz, sino que lo mitiga dentro de los límites que este capítulo ya delimitó.

Para las alucinaciones, una de las soluciones más extendidas consiste en complementar el modelo de lenguaje con un mecanismo adicional que busque información verificable en una fuente externa —una base de datos o un motor de búsqueda— antes de generar una respuesta, y le entregue esa información recuperada al modelo como parte de su contexto de entrada, de modo que el sistema pueda apoyarse en ella en lugar de depender únicamente de lo que absorbió durante su entrenamiento. Esta técnica reduce de manera documentada la frecuencia de afirmaciones falsas sobre información que efectivamente está presente en la fuente consultada, pero no elimina el problema de fondo: el modelo sigue generando su respuesta final mediante el mismo mecanismo estadístico de siempre, y puede, en principio, seguir generando una continuación plausible pero incorrecta incluso cuando la información correcta está disponible en su contexto, si esa continuación resulta, por la razón que sea, más probable según los patrones aprendidos durante el entrenamiento.

Para los sesgos, las soluciones técnicas más desarrolladas actúan sobre alguna de las tres etapas del proceso: sobre los datos de entrenamiento, intentando balancear su composición antes de entrenar; sobre la medida de error que el sistema minimiza durante el entrenamiento, añadiéndole términos de penalización adicionales que castiguen explícitamente las disparidades de desempeño entre distintos grupos; o sobre las predicciones finales del modelo ya entrenado, ajustando sus resultados según criterios de equidad definidos externamente. Cada una de estas tres familias de soluciones enfrenta, sin embargo, un límite documentado en la literatura especializada del campo: distintas definiciones matemáticas de equidad —por ejemplo, exigir la misma tasa de error para todos los grupos frente a exigir la misma proporción de resultados positivos para todos los grupos— resultan, en general, matemáticamente incompatibles entre sí en la mayoría de los casos prácticos, de modo que optimizar por una de ellas típicamente empeora a las demás, y elegir cuál priorizar es, en última instancia, una decisión de valores y no una cuestión que la propia matemática pueda resolver por sí sola.

Lo que este capítulo deja establecido antes de continuar

Sección titulada «Lo que este capítulo deja establecido antes de continuar»

Este capítulo mostró, con tres niveles de argumento cuidadosamente distinguidos, que tanto las alucinaciones como los sesgos discriminatorios de un sistema de inteligencia artificial no son fallas aisladas de un programa mal escrito: no hay garantía formal de verdad factual en ningún sistema que generalice de manera inductiva, el objetivo de entrenamiento de un modelo de lenguaje no incluye un término que exija esa verdad de manera directa, y un sistema entrenado sobre datos que reflejan desigualdades sociales puede aprender, reproducir o incluso amplificar esas desigualdades, sin que ese resultado esté garantizado de antemano ni sea uniforme entre distintos sistemas y distintos datos. Las soluciones técnicas disponibles mitigan ambos problemas de manera medible, pero ninguna de ellas ofrece una garantía completa, porque ofrecerla exigiría resolver, respectivamente, el problema de la inducción que Hume planteó hace más de dos siglos, y el problema, todavía más difícil, de definir una noción de equidad matemáticamente consistente y universalmente aceptada, que ni la matemática ni la filosofía han logrado resolver hasta el momento.

El próximo y último capítulo retoma, con esta base ya establecida, las preguntas filosóficas más profundas: qué significa que un sistema como los descritos aquí “sepa” algo, si tiene sentido preguntarse por su conciencia, y qué responsabilidad ética recae sobre quienes construyen y usan estos sistemas sabiendo, con precisión, qué es lo que están construyendo y usando.


Al terminar este capítulo, usted debería poder explicar

Sección titulada «Al terminar este capítulo, usted debería poder explicar»
  1. Los tres niveles del argumento sobre las alucinaciones, y por qué la conclusión correcta es “no hay garantía de verdad factual” y no “las alucinaciones son matemáticamente inevitables”.
  2. Por qué añadir más datos de entrenamiento reduce la frecuencia de errores factuales pero no ofrece una garantía formal de eliminarlos.
  3. Por qué un sistema entrenado sobre datos que reflejan una desigualdad puede reproducirla, atenuarla o amplificarla, y por qué determinar cuál de las tres cosas ocurrió exige auditar el sistema y no basta con inspeccionar los datos.
  4. Qué significa que distintas definiciones de equidad algorítmica sean incompatibles entre sí, y por qué elegir cuál priorizar es una decisión de valores y no un problema técnico.
  5. Qué mitiga la recuperación de información externa y qué no.

  1. Sobre las alucinaciones como consecuencia estructural del objetivo de entrenamiento de un modelo de lenguaje: Ji, Z. et al. (2023). “Survey of Hallucination in Natural Language Generation”. ACM Computing Surveys, 55(12).
  2. Sobre la mitigación de alucinaciones mediante recuperación de información externa: Lewis, P. et al. (2020). “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”. NeurIPS.
  3. Sobre los sesgos algorítmicos como reflejo de los datos de entrenamiento: Buolamwini, J. & Gebru, T. (2018). “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”. Proceedings of Machine Learning Research, 81.
  4. Sobre la amplificación de sesgos presentes en los datos de entrenamiento más allá de su magnitud original: Zhao, J. et al. (2017). “Men Also Like Shopping: Reducing Gender Bias Amplification Using Corpus-Level Constraints”. EMNLP.
  5. Sobre la incompatibilidad matemática entre distintas definiciones de equidad algorítmica: Kleinberg, J., Mullainathan, S., & Raghavan, M. (2017). “Inherent Trade-Offs in the Fair Determination of Risk Scores”. ITCS.
  6. Barocas, S., Hardt, M., & Narayanan, A. (2019). Fairness and Machine Learning: Limitations and Opportunities. fairmlbook.org.