Ir al contenido

13. Filosofía y epistemología de las máquinas

Este libro empezó, en su primer capítulo, preguntando qué es la inteligencia antes de hablar de máquinas, y mostró que ni la filosofía ni la psicología llegaron nunca a una respuesta cerrada. Doce capítulos después, con el aparato matemático, lógico y de ingeniería completo ya desarrollado, este capítulo final vuelve a esa misma pregunta, y a las que se derivan de ella, pero ahora con una diferencia decisiva: cada afirmación que seguirá puede apoyarse en un mecanismo verificable, descrito con precisión en algún capítulo anterior de este libro, en lugar de en una intuición o en una analogía suelta. Este capítulo no promete resolver las preguntas filosóficas que quedaron abiertas —ninguna disciplina lo ha logrado, ni parece que vaya a lograrlo pronto—, pero sí puede examinarlas con un rigor que la sola intuición nunca permitiría.

Qué significa que una máquina “sepa” algo

Sección titulada «Qué significa que una máquina “sepa” algo»

El capítulo dedicado a la historia de la inteligencia artificial presentó el argumento de la Habitación China de John Searle, que distingue la manipulación sintáctica de símbolos de la comprensión semántica de su significado. Con todo lo desarrollado en la segunda parte de este libro, ahora es posible examinar ese argumento contra el mecanismo real y no contra una caricatura de él.

Conviene recordar, en pocas líneas, qué hace un modelo de lenguaje cuando produce una respuesta, porque de esa descripción depende todo lo que sigue. El sistema divide el texto recibido en unidades mínimas, convierte cada una en una lista de números que ocupa una posición dentro de un espacio vectorial aprendido durante el entrenamiento, cuya geometría captura numerosas regularidades semánticas, calcula qué unidades resultan relevantes para cuáles mediante comparaciones numéricas entre esas listas, y produce, al final del proceso, una distribución de probabilidad sobre cuál debería ser la unidad siguiente. Todo eso se hace mediante operaciones aritméticas sobre números: sumas, multiplicaciones y comparaciones, repetidas a una escala enorme. Los capítulos 4 y 8 desarrollan cada uno de esos pasos en detalle. Lo relevante aquí es lo que no aparece en ninguna parte de ese proceso: no hay un componente cuya función explícita sea verificar el significado de un símbolo contra algo externo al propio sistema de símbolos. Conviene aclarar de inmediato que esto describe la arquitectura, no zanja la cuestión filosófica: que no exista un módulo dedicado a la semántica no implica que la semántica requiera uno, del mismo modo que el cerebro humano tampoco parece tener una región cuya única función sea verificar significados. Todo el procesamiento ocurre dentro de un espacio de números y de las relaciones geométricas entre ellos. Searle podría interpretar ese procesamiento como insuficiente para establecer semántica genuina, precisamente porque no encuentra, en ningún punto del mecanismo, nada más allá de la manipulación de representaciones según reglas —aunque esas reglas sean, en este caso, matrices de pesos ajustados estadísticamente y no instrucciones lógicas explícitas escritas a mano.

¿Cierra esto el argumento de Searle a su favor de manera definitiva? Este libro sostiene que no, y por una razón que merece precisión y que conviene no pasar por alto: la interpretación de Searle que acaba de presentarse en el párrafo anterior no es la única disponible, y aplicar su argumento original —formulado en 1980 para sistemas de reglas simbólicas explícitas— a una arquitectura de representaciones distribuidas como la de una red neuronal moderna es, en sí mismo, un paso interpretativo discutible y no una consecuencia técnica automática. Un defensor del funcionalismo —la posición, presentada en el capítulo 1, según la cual lo que define a un proceso mental no es la sustancia física que lo lleva a cabo sino la función que cumple— podría argumentar con la misma legitimidad que unas representaciones numéricas distribuidas y continuas, ajustadas mediante aprendizaje estadístico sobre patrones del mundo, no son equivalentes a la manipulación de símbolos discretos según reglas explícitas que el experimento original de la Habitación China describe, y que por lo tanto el argumento de Searle, tal como fue formulado, no se aplica sin más a este tipo de sistema. Hay, además, un hecho empírico que alimenta esa objeción: esas representaciones numéricas capturan regularidades geométricas que corresponden, de manera sorprendentemente fiel, a relaciones semánticas reales entre las palabras que representan —palabras de significado próximo terminan ocupando posiciones próximas en ese espacio de números—. La pregunta filosófica genuinamente abierta es si una regularidad puramente geométrica y estadística, por sofisticada y por fiel a la realidad que sea, puede llegar a constituir, en algún sentido no trivial, una forma mínima de representación semántica, o si permanecerá siempre del lado que Searle llamaría sintáctico de su distinción, incluso en esta forma distribuida y no simbólica. La línea de investigación conocida como interpretabilidad mecanicista, que el capítulo 11 examina, intenta aportar evidencia empírica sobre qué ocurre realmente dentro de estos sistemas, sin haber logrado todavía —ni pretender— zanjar por sí sola la pregunta filosófica. Este libro no toma partido en esa pregunta, porque, con honestidad, la evidencia disponible hasta el momento no permite zanjarla; lo que sí puede hacer, y ha hecho a lo largo de sus capítulos, es asegurar que el lector entienda con precisión qué es lo que hay que evaluar para responderla, en lugar de decidirla por impresión o por la fluidez conversacional de un sistema —un criterio que, como mostró el capítulo 2 al examinar los límites del Test de Turing, mide la capacidad de imitar el lenguaje humano y no la de comprenderlo.

Una pregunta distinta, aunque con frecuencia confundida con la anterior, es si un sistema como los descritos en este libro podría poseer algo parecido a una experiencia consciente: no ya si comprende el significado de los símbolos que procesa, sino si hay, en algún sentido, “algo que se siente” ser ese sistema mientras los procesa. Esta pregunta, que en filosofía de la mente se conoce como el problema de la experiencia subjetiva, resulta todavía más difícil que la de Searle, por una razón estructural: mientras que la distinción entre sintaxis y semántica admite, al menos en principio, algún tipo de evidencia indirecta —como los avances en interpretabilidad mecanicista mencionados más arriba—, la experiencia subjetiva, tal como la discute la filosofía de la mente contemporánea desde hace varias décadas, no parece admitir ningún tipo de verificación externa ni siquiera en el caso de otros seres humanos: cada persona sabe, con certeza directa, que tiene experiencia subjetiva propia, pero solo infiere, sin poder verificarlo de manera concluyente, que las demás personas también la tienen, por analogía con su propio caso.

Este libro no tiene ninguna herramienta técnica adicional que ofrecer sobre esta pregunta específica, más allá de una precisión importante: nada en la arquitectura de estos sistemas ni en su proceso de entrenamiento fue diseñado con el propósito de generar experiencia subjetiva, y tampoco existe, hasta el momento, ningún resultado matemático ni de ingeniería que permita afirmar ni negar con evidencia concluyente que ese proceso la genere como efecto colateral. La pregunta permanece abierta, y este libro prefiere decirlo con esa misma honestidad antes que ofrecer una respuesta que la evidencia disponible no respalda en ningún sentido.

Responsabilidad ética con conocimiento técnico completo

Sección titulada «Responsabilidad ética con conocimiento técnico completo»

El capítulo 12 mostró que ni las alucinaciones ni los sesgos de estos sistemas cuentan con una garantía formal de estar ausentes, y que el objetivo con el que se los entrena no exige, de manera directa, la verdad factual de sus respuestas. Esa comprensión, lejos de eximir de responsabilidad a quienes construyen y despliegan estos sistemas, la precisa. Si un desarrollador sabe que un modelo de lenguaje no tiene ninguna garantía de generar únicamente afirmaciones verdaderas, y que en la práctica genera afirmaciones falsas con una frecuencia medible, desplegar ese sistema en un contexto donde esa falla puede causar un daño serio —un diagnóstico médico, una decisión judicial, una recomendación financiera— sin advertir de esa limitación, o sin incorporar las salvaguardas técnicas disponibles, es una decisión que se toma con pleno conocimiento de causa, y no por ignorancia excusable de un fenómeno inesperado.

Esta responsabilidad se extiende, con la misma lógica, a quienes usan estos sistemas sin conocer su funcionamiento interno. Buena parte del propósito de este libro, declarado desde su primer capítulo, fue precisamente evitar que el lector caiga en el error simétrico al que la falta de comprensión técnica suele empujar: ni la sobreestimación que atribuye a estas máquinas comprensión, intención o conciencia que su construcción no respalda, ni la subestimación que descarta, por ser “solo estadística”, una tecnología que ya supera el desempeño de expertos humanos en determinadas tareas y evaluaciones bien delimitadas, como mostró el capítulo 10. Ambos errores son, en última instancia, formas de actuar sin el conocimiento técnico que este libro completo se propuso proporcionar.

Este libro recorrió un arco completo: partió de la pregunta filosófica y biológica de qué es la inteligencia, narró la historia de un campo dividido entre dos escuelas irreconciliables, estableció con rigor lógico por qué el aprendizaje a partir de datos es un acto inductivo que ninguna certeza absoluta respalda, desarrolló el lenguaje matemático completo de esa inducción, examinó la máquina física que la hace posible, construyó paso a paso los algoritmos que la implementan —desde la regresión más simple hasta la arquitectura que sostiene a los sistemas conversacionales actuales—, recorrió sus usos demostrados y su investigación de frontera, y explicó por qué sus errores más característicos no son accidentes de programación sino consecuencias esperables de cómo están construidos, sin que eso equivalga a demostrar que cada error concreto sea inevitable. Ese recorrido completo es lo que permite, en este capítulo final, formular las preguntas filosóficas más profundas sobre estos sistemas sin caer en la vaguedad con la que suelen plantearse fuera de un marco técnico riguroso, aunque el libro no pueda, con toda honestidad, cerrarlas de manera definitiva. Quedan, para quien continúe estudiando este campo con el mismo rigor, abiertas.


Al terminar este capítulo, usted debería poder explicar

Sección titulada «Al terminar este capítulo, usted debería poder explicar»
  1. Qué sostiene el argumento de la Habitación China de Searle, y por qué aplicarlo a una red neuronal moderna es un paso interpretativo discutible y no una consecuencia técnica automática.
  2. Qué respondería un funcionalista a ese argumento, y por qué este libro no toma partido entre ambas posiciones.
  3. Por qué la pregunta sobre la comprensión semántica y la pregunta sobre la experiencia subjetiva son problemas distintos, y cuál de los dos parece más difícil de resolver con evidencia.
  4. Por qué entender con precisión cómo funciona un sistema no exime de responsabilidad a quien lo despliega, sino que la precisa.

  1. Searle, J. (1980). “Minds, Brains, and Programs”. Behavioral and Brain Sciences, 3(3). (Ya citado en el capítulo de historia de la Inteligencia Artificial; se retoma aquí como cierre del argumento central del libro.)
  2. Nagel, T. (1974). “What Is It Like to Be a Bat?”. The Philosophical Review, 83(4). (Formulación clásica del problema de la experiencia subjetiva.)
  3. Chalmers, D. J. (1995). “Facing Up to the Problem of Consciousness”. Journal of Consciousness Studies, 2(3). (El llamado “problema difícil” de la conciencia.)
  4. Sobre la responsabilidad ética en el despliegue de sistemas de inteligencia artificial con limitaciones técnicas conocidas: Mittelstadt, B. D. et al. (2016). “The Ethics of Algorithms: Mapping the Debate”. Big Data & Society, 3(2).