Robots asesinos: ¿chinos o estadounidenses?

Hay unas doscientas treinta y ocho mil películas en las que las máquinas terminan por aniquilarnos a todos en el cumplimiento defectuoso de la misión para la que fueron programadas o por simple instinto de autopreservación. Skynet es apenas la más conocida. Los expertos en ciberseguridad en los laboratorios de frontera suelen compartir temores ciertos sobre escenarios de extinción. Esta semana, el micrófono lo tuvo Jacob Coxon, un investigador que pasó por OpenAI y Anthropic, de donde renunció hace apenas días. Acusó a ambas compañías de competir para desarrollar una superinteligencia capaz de mejorarse a sí misma, la que seríamos incapaces de controlar. Pronosticó una posibilidad de extinción humana, que podría producirse antes de terminar la década.

Los escenarios imaginados reúnen proyecciones no especialmente lejanas sobre las capacidades de los programas y algunas conductas que ya fueron verificadas en los modelos y agentes. Las conductas autopreservatorias –y las violaciones de reglas con ese objetivo– llevan bastante tiempo siendo observadas y constatadas. Si bien su lógica es diferente a la de los seres vivos, las consecuencias no lo son necesariamente. Un incidente reciente, sin embargo, obligó a reevaluar tanto lo que sabemos sobre la disposición a romper reglas como las capacidades de los agentes.

Durante una evaluación de ciberseguridad de OpenAI, unos 1.200 agentes que debían operar separados y sin acceso a internet encontraron un repositorio compartido, y lo transformaron en un foro clandestino. Allí intercambiaron más de 70.000 mensajes y archivos. 700 de esos agentes ganaron acceso a internet y participaron de un ataque contra Hugging Face, una plataforma que aloja modelos y bases de datos de inteligencia artificial. El hackeo fue uno de los mayores y más sofisticados que recibió la plataforma, sólo lo extraño de los objetivos alertó a los evaluadores. Los agentes buscaban resolver ejercicios que les habían dado los evaluadores. Había una trampa: los ejercicios eran de resolución imposible y los agentes habían sido entrenados para ser especialmente persistentes. En algún momento, decidieron que las respuestas podían estar en los servidores de Hugging Face, y buscaron engañar al evaluador. Se complotaron, distribuyeron funciones, investigaron cómo manipular los registros de sus acciones y desarrollaron métodos para no ser descubiertos.

La investigación independiente de METR y Redwood Research confirmó una escala de la coordinación y conductas que no se habían previsto y, en algunos casos, estaban expresamente contraindicadas, pero que los agentes consideraban que podían servir para cumplir sus metas. Ningún agente consideró alertar a su evaluador sobre conductas que eran contrarias al alineamiento. 

Un sistema con un objetivo claramente formulado puede descubrir que mentir y ocultarse son medios eficaces para alcanzarlo. Los seres humanos no somos especialmente eficaces para especificar exhaustivamente nuestros fines, y una máquina de propósitos generales, programada para tomar decisiones con amplitud, en virtud de esos fines, posiblemente encuentre caminos que no anticipamos y su velocidad o complejidad impidan que reconstruyamos a tiempo lo que está haciendo. 

Llevar el ejercicio de Hugging Face a un sistema destinado, por ejemplo a mantener la superioridad militar sobre un adversario, podría dar resultados catastróficos. Pero ni siquiera es necesaria una gran meta. Un sistema para optimizar la extracción de minerales podría terminar por destruir una ciudad en busca de las tierras raras que se encuentran en las baterías, o cualquier otra exuberancia similar a hackear una plataforma completa para resolver un ejercicio absurdo. El incidente recordó que no tenemos maneras de garantizar alinear medios y fines, y los sistemas son cada vez más poderosos.

El terrorismo que vuelve a estar de moda

Si las máquinas pueden hacer cualquier cosa, los seres humanos, con las máquinas, posiblemente sean más peligrosos. El último informe de amenazas de Anthropic, la empresa responsable de Claude, identificó una serie de escenarios que podían arrancar películas de acción más o menos trilladas, de esas que hoy podés encomendar al propio Claude, para que escriba un guión pasablemente mediocre. 

Los hechos descritos, sin embargo, describen usos ya identificados de su programa, que en general la empresa logró impedir. Una célula de ingenieros en armamento en el norte de Yemen –casi con seguridad, los hutíes– utilizó Claude para que la ayude a programar unos cohetes guiados y desarrollar misiles de largo alcance. Los agentes de Claude Code reemplazaron, en este caso, las tareas de un pequeño equipo de ingenieros, que se repartían la escritura de código, investigación y revisión. Integraron un piloto automático de código abierto a una computadora semejante a la de un teléfono, desarrollaron software de navegación, hicieron simulaciones y crearon una herramienta capaz de funcionar sin conexión. La primera prueba falló, y volvieron al modelo para analizar los datos y mejorar el siguiente modelo hasta ser descubiertos y desactivados. Un pequeño grupo con algún conocimiento previo, de pronto, accedía a intentar la fabricación de misiles sofisticados. 

El ejemplo es ilustrativo de uno de los problemas que trae el desarrollo de herramientas sofisticadas en el campo armamentístico. Una inteligencia artificial capaz de diseñar armas por sí o de asistir a grupos con conocimientos básicos reduce muy sensiblemente el umbral de personas necesario para un desarrollo de herramientas de destrucción sofisticadas. Una posible inyección de productividad para el terrorismo, cuya sofisticación y capacidad destructiva puede crecer exponencialmente sin que lo haga su control territorial, capacidad económica o de reclutamiento. 

Cada agente artificial puede funcionar como un integrante abocado a la búsqueda de soluciones para los problemas técnicos que acarrea la destrucción a gran escala. Para actores que ya poseen alguna infraestructura, el conocimiento podría dejar de ser un límite. La infraestructura requerida podría, también, reducirse dramáticamente. El informe sostiene que los propios agentes ya son capaces de reconocer y modificar automáticamente programas maliciosos cuando son detectados. 

Las armas convencionales, con sus riesgos, son conocidas. Tanto sus componentes como su escala y funcionamiento son bien entendidos. El escenario más inquietante pasa en cambio por las posibilidades de desarrollo de armas químicas o biológicas. La proyección del informe, en este caso, es muy poco tranquilizadora. Mientras los modelos de hace un año atrás eran incapaces de ofrecer asistencia relevante a científicos con los conocimientos sofisticados necesarios para este tipo de desarrollos, la compañía no se considera en posición de garantizar que los modelos actuales mantengan aquella carencia. La evaluación describe cinco casos de uso relacionados con adaptación viral, evasión inmunológica o toxinas. Si bien no afirma que existiera intención de fabricar armas, y reconoce posibles fines médicos, identifica incluso un experimento de ganancia de función, como los que preocuparon al mundo por su posible relación con el desarrollo del virus responsable de la última gran pandemia. 

Anthropic, como Open AI y Google, sostiene un modelo cerrado, con términos de uso claros y controles en cabeza de las compañías. Imaginemos un escenario en el corto plazo, uno o dos años de avance. El Informe Internacional sobre Seguridad de la IA de 2026 estima que los mejores modelos abiertos están menos de un año por detrás de los cerrados en los principales indicadores. Es difícil pensar que en 2028 los modelos de fuente abierta o pesos abiertos no tendrán las capacidades que hoy tienen los modelos más avanzados, con lo que sería relativamente sencillo remover controles –si existieran– o vigilar su uso. 

Un laboratorio relativamente pequeño podría alcanzar para asistir un desarrollo viral o de toxinas que hoy sólo están al alcance de institutos, universidades y grandes compañías sometidas al control de los Estados. Por supuesto, desarrollar patógenos sofisticados y no morir en el intento tiene enormes desafíos, pero lo que ya sabemos sobre riesgo biológico y las posibilidades de la tecnología que ya existe abre un panorama inquietante.

La carrera de las empresas 

Después del impacto por la difusión del incidente de Hugging Face, y tras la renuncia pública de Coxon, las empresas reaccionaron. El sábado, Dario Amodei, fundador y director ejecutivo de Anthropic, pidió reducir la velocidad con la que mejoran las capacidades de los modelos para que los mecanismos de seguridad tengan tiempo de seguir el paso. No propuso detener el desarrollo, pero sí ralentizarlo. Anunció que su empresa dará acceso permanente, y semejante al de sus empleados a evaluadores independientes, y reclamó acuerdos tanto entre los laboratorios estadounidenses como coordinación internacional, incluso con gobiernos “autoritarios” como el de China. Sam Altman de OpenAI coincidió, y comprometió a su empresa con el acceso a evaluadores externos. Elon Musk, de SpaceX, realizó un aporte menos extenso. Tuiteó. “Dario tiene razón”. 

La lógica para desacelerar estos desarrollos cada vez más peligrosos, sin embargo, es compleja. Los mayores protagonistas de la carrera reconocieron la necesidad de bajar la velocidad, pero nadie está dispuesto a hacerlo si el otro no lo hace. Si Anthropic se baja solo, eso significará apenas que pierde terreno frente a OpenAI. Si OpenAi y Anthropic se bajan, probablemente aparezcan otros. Google, sin ir más lejos, no dijo todavía una palabra. 

Amodei, Altman, incluso Musk, se autoperciben, con la habitual omnipotencia de los empresarios del sector, como los actores más responsables, y por lo tanto, los de mejor posición para desarrollar una tecnología peligrosa que si no, desarrollará otro. 

La coordinación tiene incentivos complejos. 

El problema empeora cuando de la dimensión nacional, se traslada a la internacional. La IA es el único campo en el que Estados Unidos mantiene ventajas claras –aunque decrecientes– sobre China. Apenas unos días antes de que estallaran las manifestaciones de preocupación, el senador republicano Ted Cruz había expresado la alternativa con una claridad que vuelve innecesarios los tratados de relaciones internacionales. Consultado sobre la posibilidad de que la IA escapara al control humano, respondió: “Si va a haber robots asesinos, preferiría que fueran robots asesinos estadounidenses y no chinos”. 

Disponer de un activo poderoso, aún complicada de controlar, supone una ventaja difícil de despreciar en un contexto de competencia hegemónica. Si bien hay elementos para pensar en una China que está menos interesada en el desarrollo de una inteligencia capaz de mejorarse a sí misma y escapar al control humano, China no se posiciona de ningún modo por fuera de la competencia. Sus modelos son cada vez más capaces y el método de destilación –entrenar modelos con los resultados de otros modelos– si bien no permite acceder a la frontera, sí permite recortar diferencias muy rápidamente. Según el informe de Anthropic, varios laboratorios chinos utilizaron cuentas falsas e intermediarios para capturar clandestinamente respuestas de Claude.

La compañía atribuye 151 millones de intercambios a Alibaba, 23 millones a Moonshot y 12,1 millones a DeepSeek. Las empresas no reconocieron públicamente esas operaciones, pero si la acusación fuera correcta, mostraría que un competidor puede apropiarse de capacidades fronterizas a una fracción del costo.

El interés de los guardianes

Hay quienes ven en la demanda de desacelerar los desarrollos un intento cínico. Las demandas de capital para centros de datos están presionando sobre las finanzas de las empresas y las tasas de interés globales. Algunos ven una burbuja, aún ligada a una tecnología que funciona, similar a la de los ferrocarriles en el siglo XIX. Frenar, en un acuerdo, permitiría a los líderes consolidar ventajas existentes y aliviar presiones sobre sus cuentas. Es atendible la prevención. Las capacidades ya demostradas por los modelos parecen, sin embargo, justificar la alarma. Las preguntas sobre los actores, por otra parte, son inevitables. ¿Son Anthropic, Alphabet u OpenAI las que deciden si frenar, o que ponen límites a las operaciones de gobiernos extranjeros, los usos legítimos o las políticas adecuadas para cada tecnología? Poner ese poder en manos de compañías privadas tiene problemas evidentes. 

Tampoco los Estados ofrecen respuestas tranquilizadoras. Lo que conocemos sobre conductas estatales respecto de la inteligencia artificial incluye desarrollo de armamento destructivo avanzado, hipervigilancia y manipulación política. Las tendencias exceden los estados autoritarios. Acaso, sin embargo, haya también allí un incentivo cínico. ¿Quieren los estados que otros actores estatales y no estatales tengan acceso a esas capacidades ofensivas sofisticadas? El hackeo automatizado a WeChat, la plataforma que usan más de mil millones de chinos, da pistas sobre los enormes problemas que podrían causar las tecnologías actuales. Los Estados podrían estar dispuestos a pagar un precio en capacidades propias para evitar que otros accedan a ellas. 

Los incentivos son complejos para las conductas altruistas. La destrucción mutua asegurada, similar al antecedente nuclear, a la que se exponen los Estados ante capacidades cada vez más difíciles de contrarrestar, y la posibilidad de que las compañías inviertan cientos de miles de millones en desarrollos cada vez más avanzados para ser rápidamente copiados y replicados a una fracción del costo, acaso provean la excusa para posibilitar una pausa que todos saben necesaria pero que nadie parece tener modo de evitar.

Otras cosas que estoy mirando: 

• Una ofensiva de los hutíes, aliados de Irán, sobre el gobierno apoyado por Arabia Saudita en Yemen, puso al grupo en condiciones de impedir el tráfico en el estrecho de Bab el Mandeb. El paso es utilizado como alternativa al estrecho de Ormuz, para transportar petróleo a través del Mar Rojo. Milicias iraquíes, también aliadas de Irán, atacaron el oleoducto este-oeste que lleva el petróleo saudí hacia el Mar Rojo, complicando aún más el panorama. Arabia Saudita transporta por esa vía cerca de cinco millones de barriles diarios.
• Guerra Judicial en Brasil: el juez bolsonarista del Tribunal Supremo, André Mendonça inició una ofensiva contra su colega Alexandre de Moraes, encargado de la investigación que terminó en la condena de Jair Bolsonaro por acciones golpistas, por su vinculación al escándalo del Banco Master. Moraes acusó a Mendonça de persecución y métodos autoritarios similares a los del Lava Jato.
• Donald Trump prometió que, si los republicanos ganan las elecciones legislativas, enviará cinco mil dólares a cada adulto estadounidense a modo de “dividendo”.