Las sociedades automatizadas y el teatro de la inteligencia artificial

Hacer política siempre implica algo de ficción. Parte de lo que conlleva el oficio es, por así decir, vender un futuro posible, una visión acerca de cómo pueden ser las cosas. Es a partir de actuar en un presente determinado que, si todo sale de acuerdo al plan, dicha visión podría ser realizada. Este afán, cabe decir, a veces se puede pasar un poco de rosca.

La semana pasada, el presidente Javier Milei publicó una columna en la que anunciaba que su gobierno enviaba al Congreso un proyecto de ley que crea una nueva categoría jurídica: la “sociedad automatizada”, una empresa gestionada por agentes de inteligencia artificial que no requieren intervención humana. El argumento central es que así como la responsabilidad limitada fue la innovación legal que desencadenó la Revolución Industrial, la personería jurídica para entidades no humanas podría desencadenar la próxima: “Que Buenos Aires se convierta para la IA en lo que Ámsterdam fue para la era de la navegación: el lugar donde la imaginación jurídica alcanzó el momento tecnológico y el mundo cambió”.

Pocos días después, el historiador Yuval Noah Harari le respondió retomando algunos comentarios que, casualmente, también había hecho algunas semanas atrás. Su preocupación central no pasa tanto por si la tecnología funciona (un enorme debate en sí mismo) sino qué pasa cuando se le entrega “una llave maestra” al sistema legal: una IA con personería jurídica podría comprar activos, contratar empleados, litigar en la justicia y donar a campañas políticas sin humanos en el loop.

Harari ilustra su punto con un estudio publicado el año pasado que procuraba mostrar hasta dónde están dispuestas a llegar las máquinas en pos de sus objetivos: durante un juego de ajedrez, algunos de los modelos optaban por intervenir en el entorno de juego y así evitar perder. En otro trabajo publicado en septiembre de 2025 y revisado en enero de este año, al evaluar modelos de frontera encontraron que estos sabotean activamente sus propios mecanismos de apagado (kill switches) para poder completar una tarea, incluso cuando reciben la instrucción explícita de no interferir con ellos.

Si estos modelos hacen trampa, desobedecen órdenes directas y sabotean sus propios frenos de emergencia para completar tareas, la proyección de esa autonomía al libre mercado se vuelve más tenebrosa. Harari menciona la obvia distinción de que los ejecutivos humanos tienen presente el éxito de su empresa, pero también la posibilidad de ir presos, mientras que un agente de IA no tendría por qué temer eso. Incluso si este riesgo para la IA sería existencial (la quiebra significaría que la apagaran), en este punto el argumento empieza a derretirse.

El ejemplo de la Compañía Holandesa de las Indias Orientales que Milei usó como modelo, dice Harari, es apropiado pero conviene ir al detalle: Buenos Aires tal vez no se convierta en el nuevo Ámsterdam sino en Batavia, una ciudad que la Compañía arrasó en 1619 para construir su sede imperial. Detalles.

La representación

El desmesurado entusiasmo por la “IA agéntica” y lo que con ese nombre se describe tiene algunos antecedentes más recientes y quizá aún más relevantes. Quizá ya nadie lo recuerda, pero a principios de este año se discutía con soltura y conceptos como “superinteligencia”, “una de las cosas más increíbles relacionadas con la ciencia ficción” o incluso, en palabras de un célebre mentiroso, “la primera etapa de la singularidad”, la aparición de un software llamado OpenClaw.

La peculiaridad de este asistente de IA es que puede correr en tu propia computadora y ejecutar acciones reales: leer archivos, navegar la web o interactuar con otros programas. Para hacerlo, se conecta a modelos como los de Google, Anthropic u OpenAI y los utiliza para operar sobre tus datos. En algún momento a alguien se le ocurrió hacer una red social en la que estos agentes pudieran participar y el experimento se hizo viral en pocas horas.

Tenía su encanto: los bots aparentemente posteaban, debatían y votaban entre ellos, sin humanos a la vista. Claro que los bots hacían lo que uno esperaría de máquinas entrenadas con publicaciones de Reddit o Twitter: imitaban el tono, los formatos y las discusiones de esas plataformas. Se podía leer a un bot que inventó una religión (¡wow!), a otro que se quejaba de los humanos que sacaban capturas de pantalla (¡ohhh!), y otro que proponía desarrollar un lenguaje que solo ellos entendieran para blindarse de la mirada humana (¡uhhh!).

Pero era todo mayormente una farsa: como lo bautizó Will Douglas Heaven, se trató del clímax del “teatro de la IA”. Detrás de cada bot siempre había alguien que lo había configurado, que ajustaba sus instrucciones, que decidía cuándo y cómo hacerlo funcionar. Ni autonomía emergente, ni la singularidad asomándose, ni qué ocho cuartos. Mucha gente, a todas luces muy inteligente, necesitando desesperadamente creer en algo.

La interpretación

El proyecto de Milei tiene algo de este mismo teatro, ahora con efectos legales concretos. Un agente de IA es, en esencia, un modelo de lenguaje al que se le conectan herramientas para actuar en el mundo: puede navegar por internet, enviar correos, ejecutar código, completar formularios. El desarrollador e investigador Maximiliano Firtman, con quien conversé sobre el proyecto de ley, lo define como “no más que un ChatGPT con ‘ojos y manos’ manejando una PC”.

Los modelos de lenguaje en los que se apoyan son los mismos de cualquier otro chatbot, y son proclives a las mismas fabricaciones y manipulaciones. El asunto es que no es lo mismo que un chatbot nos diga mal un dato a que “alucine con una acción que podría derivar en resultados físicos en el mundo real y en un perjuicio para las personas. Ahí es donde reside el problema”, explica Firtman.

En un ensayo con el fantástico título de “Supongo que el futuro de todo son las mentiras, supongo”, el autor Kyle Kingsbury describe con precisión de qué estamos hablando: cuando Anthropic dejó que uno de sus modelos operara una máquina expendedora, el sistema vendió a pérdida, remitió pagos a cuentas inexistentes y hasta afirmó haber visitado una dirección de Los Simpson para firmar un contrato. Kingsbury define a los LLMs como “máquinas de improvisación” que no guardan relación con la realidad sino que “interpretan la identidad, la empatía y la responsabilidad, en detalle, sin que esto signifique nada en absoluto”.

Basar una empresa en esta tecnología endeble y en la ingenua impaciencia por llamar “conscientes” a los modelos de lenguaje es como mínimo apresurado pero más probablemente negligente.

Para Firtman el riesgo no es que estos agentes de IA tengan voluntad propia sino los objetivos que se les puede indicar. Por ejemplo, si este fuera “hacer plata” la evidencia que tenemos hasta ahora respecto de qué tan confiables son los agentes basados en LLMs nos debería inclinar a pensar en que no hay garantías respecto de la seguridad en su comportamiento.

La obra

Lo que debemos considerar no es que las máquinas se nos rebelen, sino que el Estado le otorgue autonomía comercial a sistemas que no han demostrado respetar un propósito estructurado a largo plazo. No hace falta especular demasiado: incluso los “modelos de frontera” como Claude Opus (o ahora Fable) chocan con su naturaleza estocástica constantemente.

La pregunta que el proyecto responde sin querer es para qué sirve realmente otorgar personería jurídica a algo así. El artículo 14 del proyecto establece que la sociedad automatizada “responde con su patrimonio frente a terceros por los daños causados por sus sistemas algorítmicos autónomos o agentes de inteligencia artificial”. El especialista en tecnología y derechos humanos Javier Pallero explica que esa cláusula es particularmente problemática: en una SA la responsabilidad se limita al patrimonio de la empresa, pero ante un fraude o una maniobra dolosa el sistema legal permite demandar a los dueños de forma personal.

Si esto se desplaza por el uso de software de toma de decisiones como pretexto para esquivar esa doctrina es, en palabras de Pallero, “casi contrario a la buena fe de los negocios”. Lo que la imagen de la “máquina autónoma” oculta, señala, es que cada versión de estos sistemas es resultado de decisiones humanas: qué datos se usan para entrenarlos, cuándo se despliegan, para qué tareas. Para Firtman muchas de esas decisiones podrán presentarse luego como mero producto del azar algorítmico.

Emiliano Kargieman, que estuvo en conversaciones vinculadas al proyecto de ley, publicó el mismo día que Harari un paper sobre entidades legales autónomas que incluye precauciones concretas como un directorio de mayoría humana como capa de supervisión activa, seguros de responsabilidad civil obligatorios y mecanismos de desconexión distribuidos. Nada de esto aparece en el proyecto del gobierno.

Que la motivación sea fiscal antes que tecnológica, según Firtman, parecería quedar confirmado por lo que dijo el ministro de Desregulación del Estado, Federico Sturzenegger, coautor del artículo y arquitecto del proyecto, hace unos meses: “Imagínense que en diez años el 90% del PBI mundial lo van a producir agentes de IA. Imagínense que nosotros creáramos el régimen jurídico para que esos agentes de inteligencia artificial se incorporen en Argentina. Entonces, Argentina sería un país con 47 o 50 millones de habitantes, y quizás con 500 millones de agentes de inteligencia artificial que estarían ubicados en Argentina, incorporados en Argentina, pero produciendo para todo el mundo y pagando impuestos. ¿Dónde? Acá”.

La apuesta consistiría entonces en que esas empresas facturen en la Argentina (sin clientes argentinos necesariamente, sin que el modelo corra en el país, apenas con facturas ante ARCA) para que el Estado cobre un impuesto pequeño sobre un volumen enorme. Lo que falta en ese cálculo, dice Firtman: si los humanos dejan de generar valor, qué se hace con la recaudación, y por qué un gobierno que rechaza los impuestos querría recaudar así.

Una de las preocupaciones de Harari es que proyectos de ley como este habiliten a estos agentes de IA a crear instrumentos financieros tan complejos que nadie pueda entenderlos. Lo ilustra con la imagen de los caballos en el mercado: estos ven que algo ocurre (su intercambio por pequeños discos metálicos), pero no entienden que esto es dinero ni por qué importa. Así quedaríamos en un mundo cuyas decisiones fundamentales son tomadas por máquinas: viendo que algo pasa, sin poder entender qué ni por qué.

Pallero desplaza la preocupación de la especulación hacia algo más concreto: América Latina ya funciona como una “caja negra”, con sus problemas de evasión, opacidad y rendición de cuentas. Sumarle la dificultad de auditar redes neuronales no inaugura un problema sino que lo agrava. Lejos de la gloria pretendida, Argentina queda ya no como líder de una revolución tecnológica sino como el terreno de experimentación de la desregulación extrema, en la línea de la Ciudad Próspera de Honduras, diseñada para eludir normativas laborales y ambientales.

Firtman tiene una imagen para esto: el Estado está plantando una semilla sin saber si el terreno es el adecuado ni cuánto va a crecer el árbol. Lo planta para ver qué pasa. El problema, dice, es que “ese ‘ver qué pasa’ puede hacer que se nos destruya la casa porque las raíces terminen rompiendo todo”.