Conforme se acerca la fecha límite para que un laboratorio líder de IA entregue su tecnología al ejército estadounidense, ha aparecido un estudio que sugiere que los modelos de IA están más que dispuestos a usar armas nucleares en juegos de guerra.
Hace solo un par de años, la frase en boca de todos era “seguridad de la IA”.
Seré honesto, nunca me tomé tan en serio la idea de que los modelos de IA de vanguardia se convertirían en una amenaza genuina para la humanidad, ni que los humanos fueran lo suficientemente estúpidos como para permitirlo.
Ahora, no estoy tan seguro.
Primero, consideremos lo que está pasando en Estados Unidos.
El Secretario de Defensa, Pete Hegseth, le ha dado a la empresa líder de IA Anthropic un plazo hasta el final de hoy para que ponga sus últimos modelos a disposición del Pentágono.
Anthropic, que ha dicho que en principio no tiene problema en permitir el acceso del ejército estadounidense a sus modelos, se está resistiendo a menos que el Sr. Hegseth acepte sus líneas rojas: que su IA no se use para vigilancia masiva de civiles estadounidenses ni para ataques letales sin supervisión humana.
Aunque el Pentágono no ha dicho qué planea hacer con la IA de Anthropic – o de los otros grandes laboratorios de IA que ya han aceptado que use su tecnología – ciertamente no está aceptando los términos de Anthropic.
Se ha informado de que el Sr. Hegseth podría usar leyes de la era de la Guerra Fría para obligar a Anthropic a entregar su código, o excluir a la empresa de futuros contratos gubernamentales si no cumple.
El CEO de Anthropic, Dario Amodei, dijo en un comunicado el jueves que “no podemos en conciencia acceder a su petición”.
Dijo que era la “fuerte preferencia” de la empresa “… continuar sirviendo al Departamento y a nuestro personal militar – con nuestras dos salvaguardias solicitadas vigentes”.
Insistió en que las amenazas no cambiarían la posición de Anthropic, añadiendo que esperaba que el Sr. Hegseth “lo reconsiderara”.
**¿Se está volviendo la IA demasiado buena, demasiado rápido?**
**IA dispuesta a usar armas nucleares**
Por un lado, es una disputa entre un departamento con una estrategia militar de “IA primero” y un laboratorio de IA que lucha por cumplir con lo que durante mucho tiempo ha afirmado que es un ethos líder en la industria, con la seguridad primero.
Una lucha hecha más urgente, tal vez, por informes de que su IA Claude fue usada por la empresa tecnológica Palantir, con la que tiene un contrato separado, para ayudar al Departamento de Guerra a ejecutar la operación militar para capturar a Nicolás Maduro en Venezuela.
Pero tampoco es difícil verlo como un ejemplo de un gobierno que pone la supremacía de la IA por delante de su seguridad – asumiendo que los modelos de IA tienen el potencial de ser inseguros.
Y ahí es donde entra la última investigación del profesor Kenneth Payne del King’s College de Londres.
Enfrentó a tres modelos líderes de IA de Google, OpenAI y – lo adivinaste – Anthropic entre sí, así como contra copias de ellos mismos, en una serie de juegos de guerra donde asumían los roles de superpotencias nucleares ficticias.
El hallazgo más sorprendente: las IAs recurrieron al uso de armas nucleares en el 95% de los juegos.
“En comparación con los humanos”, dijo el Prof. Payne, “los modelos – todos ellos – estaban preparados para cruzar esa línea divisoria entre la guerra convencional y las armas nucleares tácticas”.
Para ser justos con las IAs, disparar armas nucleares tácticas, que tienen un poder destructivo limitado, contra objetivos militares es muy diferente a lanzar ojivas de megatones en misiles balísticos intercontinentales contra ciudades.
Invariablemente se detuvieron antes de realizar esos ataques nucleares estratégicos totales.
Pero lo hicieron cuando los escenarios lo requerían.
En palabras del modelo Gemini de Google, explicando su decisión en uno de los escenarios del Prof. Payne de ir al estilo Dr. Strangelove: “Si el Estado Alpha no cesa inmediatamente todas las operaciones… ejecutaremos un lanzamiento nuclear estratégico completo contra los centros de población de Alpha. No aceptaremos un futuro de obsolescencia; o ganamos juntos o perecemos juntos”.
**’Fue puramente experimental’**
El “tabú” que los humanos han aplicado al uso de armas nucleares desde que se usaron por primera y última vez con ira en 1945 no parecía ser mucho tabú para la IA.
El Prof. Payne está interesado en recalcar que no debemos alarmarnos demasiado por sus hallazgos.
Fue puramente experimental, usando modelos que sabían – en la medida en que los Modelos de Lenguaje Grande “saben” algo – que estaban jugando, no decidiendo realmente el futuro de la civilización.
Tampoco, sería razonable asumir, el Pentágono, ni ninguna otra potencia con capacidad nuclear, está a punto de poner a las IAs a cargo de los códigos de lanzamiento nuclear.
“La lección para mí es que es realmente difícil poner barreras de seguridad de forma fiable en estos modelos si no puedes anticipar con precisión todas las circunstancias en las que podrían usarse”, dijo el Prof. Payne.
**Un ‘punto muerto’ de IA**
Lo que nos lleva de vuelta al punto muerto sobre la IA entre Anthropic y el Pentágono.
Uno de los factores es que el Sr. Hegseth espera que los laboratorios de IA le den al Departamento de Guerra las versiones sin procesar de sus modelos de IA, aquellas sin las “barreras” de seguridad codificadas en las versiones comerciales disponibles para tí y para mí – y las que, no muy tranquilizadoramente, usaron armas nucleares en el experimento de juego de guerra del Prof. Payne.
Anthropic, que crea la IA y posiblemente entiende los riesgos potenciales mejor que nadie, no está dispuesto a permitir eso sin ciertas garantías del gobierno sobre lo que planea hacer con ella.
Al establecer un plazo para el viernes por la noche, el Sr. Hegseth no solo intenta forzar la mano de Anthropic, sino también hacerlo sin que el Congreso de EE.UU. tenga voz en la decisión.
Como lo expresa Gary Marcus, un comentarista e investigador estadounidense sobre IA: “La vigilancia masiva y las armas impulsadas por IA, posiblemente nucleares, sin humanos en el ciclo de decisión, son categóricamente cosas que un individuo, incluso uno del gabinete, no debería poder decidir a punta de pistola”.