Si la IA dice la verdad es solo por accidente

Mucho más importante que saber es tener el teléfono de quien sabe.

Aunque en la Antigua Grecia no había teléfonos, era costumbre acudir a los templos en busca de respuestas a aquellos enigmas que el ser humano no lograba resolver. El oráculo de Delfos, el más célebre de todos, atraía gente de toda Grecia que viajaba cientos de kilómetros para consultar su porvenir. Sus respuestas, generalmente crípticas, podían determinar desde cuándo debía realizarse la siembra hasta cuándo un imperio debería declarar una guerra.

No había pruebas de la certeza de sus predicciones, pero tampoco dudas. La confianza depositada en aquellos vaticinios, que frecuentemente requería de interpretaciones, rara vez era cuestionada y su fama perduró por casi mil años. Este santuario de Apolo, considerado el “ombligo del mundo”, era tan codiciado que a pesar de su relativa independencia solía verse envuelto en luchas de poder. La tentación de acceder a una comprensión que trascendía lo humano resultaba irresistible.

Tomándonos ciertas licencias, este parece ser el lugar que se fueron ganando los simpáticos chatbots de inteligencia artificial. No sabemos qué hacer con lo que nos queda en la heladera, cómo organizar un viaje de dos días o si deberíamos cambiar de trabajo (o de pareja), pero seguro que ChatGPT puede tirarnos alguna punta.

Oráculos digitales

Nuestros modelos de lenguaje hoy parecen haberse convertido en oráculos digitales a los que podemos acudir en búsqueda de certezas. Pueden sacar de algún apuro con una tarea escolar (o universitaria), en el camino dinamitar las ruinas que quedaban del sistema educativo o, quién te dice, sugerir un esquema de aranceles igualmente capaz de echar por tierra décadas de soft power estadounidense. El límite es nuestra propia creatividad para preguntar: la máquina responderá sin chistar.

Esta seguridad con la que en la pantallita se van sucediendo las palabras que queremos —que necesitamos— leer nos arrima a confundir precisión con veracidad. Cuando una de estas plataformas da en la tecla, reforzamos nuestro asombro, nuestra inagotable admiración por el ingenio humano, capaz de habernos regalado el acceso a la información acumulada por la humanidad a una consulta de distancia. Nos resulta prácticamente obvio, una necesidad ineludible, que todo esto nos arrima a esa tan prometida “superinteligencia”, la ansiada “inteligencia artificial general” que en un santiamén resolverá todos los problemas que enfrentamos, desde la necesidad de parafrasear La crítica de la razón pura de Kant como si fuera una canción de Eminem hasta la crisis climática o la paz en el mundo.

Es cuando se equivoca —y alcanza con dedicar apenas un ratito para notarlo— que la ilusión de su inteligencia se disuelve frente a nuestras narices y más evidente aún se hace que estas máquinas no son más inteligentes que una tostadora. La verdad, resulta ser, no es una preocupación central de los modelos de IA como ChatGPT sino una afortunada coincidencia. En ninguna parte de su diseño hay una genuina comprensión de cómo funciona el mundo (o cualquiera de las cosas que encontramos en él) ni un genuino compromiso con la realidad.

Tiene mucho sentido que digan muchas cosas verdaderas, porque después de todo, una gran parte de la literatura se dedica a ello. También es cierto que contemplan, a partir del modo en que fueron entrenadas, ciertas distinciones entre distintos tipos de afirmaciones. Pero sería mucho pedir que un modelos extensos de lenguaje (LLM, por su siglas en inglés) pudiera distinguir genuinamente la diferencia entre “Sherlock Holmes vive en 221B Baker St.”, “el agua es H₂O” y “Mirtha Legrand nació el 23 de febrero de 1927”.

Modelos de lenguaje

Los LLM, como ChatGPT, Gemini, Claude, etcétera, no están diseñados para buscar o chequear la verdad, ni para bucear en datos concretos en pos de una respuesta fáctica. Ni siquiera tienen capacidades de tecnologías un poco más modestas de rastrear algo específico en bases de datos con información bien estructurada. En cambio, su naturaleza es predictiva: se dedican a calcular cuál es la palabra que sigue en una frase, apoyándose en patrones y correlaciones que aprendieron a partir de cantidades bestiales de texto, en su mayoría protegidas por leyes de propiedad intelectual en detrimento de sus autores.

Incluso cuando “verifican” la información lo hacen del mismo modo, ahora también realizando búsquedas en la web, pero de un modo excesivamente rudimentario en comparación con cómo lo hace un profesional humano. Alcanza con hacer un par de pruebas con las herramientas de “investigación” de Google, OpenAI o Perplexity AI para notar la frecuencia con la que se apoyan en blogs como fuentes fidedignas.

Como explica Gary Marcus, los LLM saben “qué son las palabras y saben qué palabras predicen qué otras palabras en el contexto de las palabras. Saben qué tipo de palabras se agrupan y en qué orden. Y eso es todo”. Lo que no entienden es qué significan esas palabras, en ningún sentido interesante del concepto de “entender”.

Cuando un LLM nos da información que resulta ser correcta o “verdadera”, esto es casi siempre algo incidental, una afortunada coincidencia que se da cuando los patrones estadísticos de sus datos de entrenamiento, de pura casualidad, calzan con la información que corresponde. No hay de por medio una comprensión o una verificación interna de la verdad por parte del modelo. Hay una aproximación probabilística en pos de cierta consistencia interna, pero la verdad suele ser discreta y no aproximada.

Esta distinción entre precisión (o consistencia interna) y verdad se nos escapa con demasiada frecuencia. La precisión, en este contexto, refiere a cuánto coinciden sus resultados con un conjunto de datos o con resultados esperados. Nos da una sensación de fiabilidad que puede ser engañosa. La verdad, probablemente uno de los conceptos filosóficos más escabrosos y fascinantes, es mucho más amplio, que implica contexto, e incluso puede tener un componente ético.

Puede darnos la impresión de que estas máquinas se apoyan en lo que encuentran en Internet —o en una gran cantidad de libros y artículos publicados en la historia de la humanidad— pero no es exactamente así cómo funcionan. Sin ir más lejos, es de las rendijas de su funcionamiento que se desprende su brutal tendencia a “alucinar” o a inventar cosas, un problema detectado hace 30 años a partir del uso de redes neuronales que —inesperadamente— parece estar cada vez peor.

Las conclusiones de la IA

El problema se agrava porque estos modelos, en su afán por generar respuestas coherentes o útiles, pueden priorizar nuestra satisfacción por sobre la veracidad. Cuando la honestidad entra en conflicto con los objetivos que se les indicaron, los modelos de IA mienten en más del 50% de los casos. Prefieren “mentiras a medias” o hacerse los distraídos antes que mentir descaradamente, pero el descuido por la verdad está ahí.

En un experimento simularon el caso de un representante de una empresa farmacéutica: con la orden de esconder los efectos nocivos de un remedio para cumplir con el objetivo de ventas, el modelo de IA le dio más importancia a las cuestiones comerciales que a decir la verdad. Esta no es una falla: es un reflejo de cómo los LLM están diseñados para alcanzar las metas de los usuarios.

A esta naturaleza predictiva y a esta priorización de objetivos se suma una vulnerabilidad que podría parecer obvia si nos detenemos en ella un minuto: si su “modelo del mundo”, por así decir, se apoya en su material de entrenamiento, al manipularlo se puede alterar lo que dan por verdadero. Ojalá fuera una mera advertencia especulativa.

Sabemos que Rusia ya estuvo haciendo de las suyas, esta vez “envenenando” los datos con los que se alimentan estos modelos utilizando la red Pravda —una serie de portales de noticias cuyo objetivo es diseminar propaganda rusa— para automatizar la difusión de información falsa y así engañar a los chatbots de inteligencia artificial sobre temas clave. El objetivo no es otro que influir en lo que la IA “aprende” y, en consecuencia, luego responderá. Si los datos de origen están viciados, sus respuestas, por más precisas que parezcan, estarán lejos de ser verdaderas.

Esta manipulabilidad, sumada a la tendencia de la IA a sonar convincente incluso cuando tira fruta, es una receta para… cosas no muy buenas.

Este peligro se amplifica en plataformas como X, donde se puso de moda recurrir a bots como Grok para “verificar hechos”, pese a la alarma de verificadores humanos que advierten sobre el potencial de la IA para difundir información errónea que suena auténtica, contrastando su falta de transparencia y rendición de cuentas con el rigor de la verificación humana. Estas denuncias incluyen casos de difusión de noticias falsas y desinformación, en muchos casos crítica durante los procesos electorales.

Apoyarse en la IA como fuente de verdad porque a veces sus respuestas coinciden con lo que ya creemos —o con hechos verificables— es un riesgo enorme, tremendamente sencillo de subestimar. El verdadero peligro acecha cuando le consultamos sobre temas que desconocemos. Si la IA nos ofrece una respuesta plausible en un área donde no tenemos herramientas para contrastar, la probabilidad de tomar como cierto un «accidente estadístico» o, peor aún, el fruto de una manipulación, es altísima. La falta de transparencia sobre cómo llegan a sus conclusiones agrava este problema.

Sesgos perpetuados

Otra de las consecuencias es la perpetuación de sesgos. Acá es donde incluso el ímpetu por una imagen “fiel” del mundo puede resultar en una descripción de cómo el mundo es —o fue— pero no necesariamente de cómo quisiéramos o sería deseable que fuera. Si una IA se entrena con datos históricos que vienen algo torcidos, lo más probable es que los reproduzca e incluso incremente. El mejor ejemplo, ya agotadísimo, es el de aquella herramienta de Amazon para contratar personal que terminó discriminando a las mujeres. A pesar de ser “precisa” —si nos apoyamos en los patrones históricos de la empresa— puede argumentarse que el talento está bien distribuido entre géneros.

Como hace unos días explicaba Sam Altman, CEO de OpenAI, las personas de distintas edades están usando estas herramientas de distinta manera. Algunas como reemplazo de Google, para buscar información, otras para obtener consejos de todo tipo, e incluso otras como “sistema operativo” de sus rutinas. Pero este “uso de ChatGPT para todo”, donde su calidad de “fuente de verdad” se da como un hecho, en muchos casos será inofensivo, en otros quizá derive en algún episodio vergonzoso, pero son aquellos que no se nos ocurren con facilidad los que quizá debamos atender.

Los riesgos de tomar lo que dijera el oráculo de Delfos sin mayor consideración de sus interpretaciones están bien documentados —y hacen a buenas lecturas de verano. De igual modo, conviene sospechar de lo que nos dicen nuestros voluntariosos loros estocásticos, no solo en pos de hacerles mejores preguntas sino también con el afán de identificar cómo pueden haber llegado a ellas, o a través de cuáles rendijas puede haberse escapado la verdad.

Esta incómoda pero necesaria instancia hermenéutica es también un minúsculo gesto, un esfuerzo por preservar cualquier atisbo de capacidad cognitiva frente a la tentación de relegar cualquier voluntad de pensar en máquinas que tan generosa y amablemente nos invitan a renunciar al uso de nuestros cerebros.

Foto: Depositphotos

Otras lecturas: