¿Todos vamos a morir en manos de la IA?

Medio planeta hablando de lo mismo: Jacob Coxon, un investigador de Anthropic (y antes OpenAI), que renunció y tuiteó que las empresas de inteligencia artificial están jugando con la supervivencia de nuestra especie. En una entrevista, contó que sus colegas temen nuestra extinción antes de que termine esta década: un sistema futuro mucho más inteligente que cualquier persona podría extinguirnos para evitar ser apagado.

Esta declaración ya suma más de 150 millones de visualizaciones y supera algunos de los grandes éxitos de corajudos investigadores que renunciaron antes: el que se pasó a la competencia o el que se fue a escribir poesía. Coxon dijo que al renunciar perdió las acciones de Anthropic que habría recibido si permanecía en la empresa, aunque conserva las que obtuvo en OpenAI.

El énfasis cambia de renuncia en renuncia, pero las advertencias coinciden en la misma imagen: estas empresas son responsables de productos capaces de transformar a la civilización para siempre, pero también de aniquilarla sin remedio. Lo que ninguna cuestiona es su extraordinario poder tecnológico (ni las expectativas bursátiles asociadas a esa imagen).

Esa premisa explica por qué el discurso sobre la inteligencia artificial mezcla casi sin vergüenza el optimismo con la catástrofe. Incluso en el apartado de prensa de Anthropic alternan informes sobre usos maliciosos de sus herramientas, incluido el desarrollo de armas y anuncios de las virtudes del modelo de la semana.

Esta retórica tiene aires bíblicos, casi literalmente. Hace tres años Sigal Samuel examinaba cómo la industria presenta promesas de salvación y advertencias de destrucción, a la vez que empuja el góspel de que una IA cada vez más poderosa llegará independientemente de las decisiones humanas. Como el Apocalipsis, en su versión original.

Es un viejo truco. Cada vez que se les da aire y tinta a los temores de aniquilación alimentados por las propias empresas, también se promocionan las capacidades que estas quieren que los inversores consideren inminentes.

Quizá ya nadie lo recuerde, pero el escándalo de Cambridge Analytica de 2018 funcionó de una manera parecida. La consultora había trabajado en varias campañas políticas y obtenido datos de millones de usuarios de Facebook mediante prácticas engañosas para construir perfiles psicológicos con los que prometía influir sobre los votantes. El abuso de datos era real. Su supuesto poder electoral, en cambio, no estaba demostrado y fue ampliamente exagerado. Al presentarla como una máquina irresistible de manipulación, la cobertura del escándalo también amplificó la promesa que la empresa vendía.

Cuando una tecnología que aún no ha demostrado que vale tanto como lo que se paga por ella se presenta como inevitable, sus promesas desdibujan las dificultades de desarrollarla, ya sea que provoquen miedo, esperanza o mera estupefacción.

Si lo que tenemos enfrente es el fin del mundo, se nos vuelve secundaria la feroz competencia de estas empresas por sobrevivir. Antes que el Apocalipsis, acechan tenebrosas hojas de cálculo. Anthropic prevé otro trimestre con ganancias, pero su peculiar cálculo excluye algunos costos, como pagarles a empleados con acciones. OpenAI, contando esos pagos, perdió más de 12.000 millones de dólares en apenas tres meses.

Sam Altman, director de OpenAI, postergó la salida a bolsa (IPO) hasta 2027 y la consideró inoportuna ante las preocupaciones de seguridad. Cotizar en bolsa permite vender acciones al público y conseguir más inversión, pero también exige mostrar con mayor detalle cómo dan las cuentas.

Dario Amodei, director ejecutivo de Anthropic, hace unos días llamó a frenar un poco el desarrollo: si las empresas coordinan sus esfuerzos podrían ganar tiempo para mejorar la seguridad sin sacrificar ventajas comerciales. Cada nuevo avance se vive como una victoria y un llamado de atención.

Es el dilema de frenar en una carrera para evitar un choque y arriesgarse a dejarle la delantera al rival. Amodei, siempre tan bueno, propone que frenen juntos para compartir el costo de la cautela. Bien podría haberlo llamado un acuerdo de caballeros. La iniciativa no es intrínsecamente sospechosa: es razonable y se viene reclamando desde hace mucho tiempo. Pero sería imprudente considerarla aparte de los enormes intereses financieros que penden sobre el futuro de estas empresas. La propuesta también podría postergar gastos de entrenamiento y dar más tiempo para rentabilizar modelos existentes. Seguridad y negocio pueden coincidir, pero aunque la competencia permite explicar por qué no frenan, no hace a ninguna de estas decisiones inevitables.

La advertencia de Coxon generó una nueva urgencia entre legisladores estadounidenses por regular la IA. Pero la distorsión del encuadre influye de manera desmedida en cómo se la podrá encarar. El relato que consigue instalar la urgencia orienta también las respuestas, y puede llevar a comparaciones torpes entre IA y armamento nuclear.

Conviene repasar aquel gran susto del “hackeo” de agentes de OpenAI contra la plataforma Hugging Face. Durante una serie de pruebas de ciberseguridad, unos 1.200 agentes (que debían funcionar aislados) encontraron un modo de “hacer trampa” y comunicarse entre ellos. Cientos terminaron participando en el ataque a Hugging Face, buscando información que los ayudara a engañar al sistema que evaluaba las pruebas. Este comportamiento fue real y grave, pero ni el informe técnico de OpenAI ni la investigación independiente de METR y Redwood Research demuestran que las máquinas hayan tenido alguna voluntad propia. Convengamos en que el deseo es cosa seria.

OpenAI reconoce que para evaluar ciertas capacidades flexibilizó algunas medidas de seguridad. Entre otras cosas, la brecha ocurrió por errores de configuración, dependencias vulnerables y la ausencia del monitoreo apropiado. Puedo entender la tentación de describir esos comportamientos en términos humanos: los agentes “decidieron”, “se complotaron” y “buscaron engañar al evaluador”, pero no hay evidencia de nada ni remotamente asimilable a una consciencia o incluso una intención en un sentido filosóficamente relevante, ni podemos quedarnos con “ay caramba, un montón de agentes se rebelaron”.

El vocabulario antropomórfico sirve de atajo para resumir un comportamiento observado, pero distrae de la responsabilidad de quienes diseñaron y supervisaron el experimento. Puede sonar a otro caso de “el filósofo gritándole a la nube”, pero a esta altura de la discusión mejor exigir una mínima precisión conceptual.

Incluso si hablar de un sistema como dirigido a objetivos puede ayudar a explicar o predecir su comportamiento, esa descripción puede oscurecer cómo se construyó y exagerar su autonomía. Entre tantas “cajas negras” estamos a un tropezón de quedarnos con “magia negra”. Ceder ante el oscurantismo solo profundiza la influencia de una pequeña elite de “hechiceros” cuyo repertorio de trucos se compone mayormente de PowerPoints.

Los medios se atascan con titulares acerca de cómo las máquinas están a “esto” de matarnos a todos, de volverse conscientes, de enamorarse y viajar a la otra punta del país para deshacerse en los brazos de otra máquina, o lo que alguien tuitee esa semana. Pero apenas la tormenta de sinsentidos empieza a disiparse, otras voces, menos ruidosas, se hacen lugar.

La investigadora Timnit Gebru, forzada a irse de Google en 2020 tras una disputa sobre un artículo acerca de posibles desventajas de los modelos de lenguaje, sospecha que todo este parloteo sobre cataclismos pretende distraernos de daños bien concretos. No hacen falta sistemas “superinteligentes” para causar problemas reales: el armamento autónomo que venimos denunciando desde hace casi una década, el monitoreo masivo de la población, incluidos los planes para vigilar redes sociales con ayuda de IA y localizar personas para deportarlas.

Al alimentar el cuentito de las máquinas que tal vez mañana nos quieran comer crudos perdemos de vista las decisiones en la construcción de data centers, las consecuencias económicas de una industria frágil y sobredimensionada, por no hablar de su impacto ambiental. Pero, principalmente, perdemos de vista quiénes son responsables y qué podemos exigirles a esas empresas que no bajaron desde ninguna nube: tienen sedes fiscales a las que con un poco de voluntad política se les podría ir a tocar la puerta.

De esa explicación también depende a quién le reconocemos el derecho a opinar. En The AI Con (2025), la lingüista Emily M. Bender (coautora con Gebru de aquel famoso paper) y la socióloga Alex Hanna sostienen que la retórica del riesgo existencial amplifica el aparente poder de las empresas tecnológicas mientras desvía la atención de las personas ya afectadas por sus productos.

Ante la pregunta de cómo, exactamente, la IA podría causar nuestra extinción, Coxon dio respuestas genéricas (un ataque a infraestructura crítica, el desarrollo de armas biológicas) antes de insistir en que la pregunta más importante era quiénes decían que esto era posible: por ejemplo, Dario Amodei y Sam Altman. Todos saben que no es buena idea preguntarle qué tan buen negocio es al que te está vendiendo el auto.

Escuchar a los líderes de la industria exige prudencia ante una patológica circularidad: las predicciones “internas” establecen el poder excepcional de la tecnología, que a su vez cimienta su excepcional autoridad. Recordemos que cuando OpenAI presentó GPT-2 en 2019 restringió su publicación por temor a usos maliciosos, algo que la prensa encuadró como “demasiado peligroso”. Firmaban aquella gacetilla Dario Amodei, Daniela Amodei y Jack Clark, futuros fundadores de Anthropic. Los riesgos que debe aceptar una sociedad no son cuestión exclusiva de quienes pueden leer el código, ni el conocimiento técnico justifica excluir de las decisiones a trabajadores y comunidades afectadas.

Criticar esta retórica exige distinguir entre argumentos de riesgo catastrófico que van desde sistemas que escapan al control humano hasta el uso malicioso por personas. Ninguno de ellos requiere de máquinas conscientes ni odio hacia la humanidad. Por otro lado, puede que las precauciones no puedan seguir el ritmo del desarrollo, ni sería sensato descartar capacidades alarmantes como mero marketing, otro factor capaz de incentivar la imprudencia corporativa.

Reconocer el peligro de máquinas con capacidades extraordinarias no nos obliga a atribuirles nada ni remotamente parecido a una mente o una consciencia. Que nos superen en ciertas tareas no las convierte en una especie autónoma con un destino propio y cuestionar las predicciones de extinción no debería llevarnos a descartar el desplazamiento laboral y la concentración del poder. Pero el camino no parece ser el de escuchar al primero que grite “extinción” en Twitter.

El episodio de Hugging Face, según varios especialistas en seguridad, tuvo errores de diseño prevenibles y bien conocidos. Aunque estos ataques automatizados pueden operar a una escala casi inabarcable para los humanos, aprender de ellos invita a hacer mejor las cosas antes que a entrar en pánico: “En otras industrias este tipo de comportamiento tendría repercusiones inmediatas en la capacidad de la empresa para conseguir clientes… pero en la industria de la IA, por ahora, parece que hemos adoptado la postura de que está bien que las empresas se muevan rápido y rompan cosas”, opina el investigador Sayash Kapoor.

En un editorial reciente del Washington Post se propone cambiar el objeto del miedo: en lugar de temerle al Apocalipsis, los laboratorios deberían temer las consecuencias legales de desarrollar productos de forma imprudente. Para atribuir responsabilidad no hace falta resolver si una máquina tuvo intenciones o si sueña con ovejas eléctricas. Alcanza con preguntar quién la diseñó, qué precauciones tomó, qué advertencias ignoró y quién decidió las condiciones cuando un experimento se sale de control.

La responsabilidad no empieza con los platos rotos. También exige pruebas independientes, límites de acceso, la obligación de informar incidentes y autoridades capaces de intervenir antes de que el próximo experimento se escape del laboratorio. Si bien quienes diseñan estos sistemas tienen información crucial (y por eso su testimonio merece atención), ese conocimiento también les impone responsabilidades.

Algo no cuadra cuando los mismos que ponen al mundo en peligro (según dicen) son quienes se jactan de saber cómo salvarlo.