Esta primavera, en plena guerra con Irán, las fuerzas militares estadounidenses estuvieron a punto de lanzar una operación contra un buque chino debido a un informe de inteligencia elaborado con ayuda de la IA, informó CNN, citando a cuatro fuentes familiarizadas con el asunto.
Se presumía que la embarcación china que estaba en Oriente Medio transportaba componentes del programa de desarrollo de armas nucleares. Los militares elaboraron un plan de la interceptación del buque y se prepararon para abordarlo, mientras los aviones militares ya estaban en el aire.
Los datos del episodio
El momento en que se descubrió el error
Un poco antes de la operación, los funcionarios decidieron analizar más a fondo el informe elaborado por un analista del Comando de Operaciones Especiales y descubrieron que el reporte había sido generado con IA. El modelo utilizado por el analista identificó incorrectamente la carga que transportaba el buque chino.
Según una de las fuentes, el informe, que resultó «completamente falso», «casi provocó una guerra», porque cualquier operación contra la embarcación china podría llevar a un conflicto armado entre dos Estados.
«Las herramientas internas son en su mayoría solo copias de lo comercial con pintalabios» Un ex alto funcionario estadounidense familiarizado con los sistemas de IA usados por analistas militares y de inteligencia
Cómo funcionó la cadena de error
En este caso concreto, el analista consultó a un chatbot sobre información de inteligencia relativa al manifiesto del buque, procedente del Comando de Operaciones Especiales del Pacífico de EE.UU., con base en Hawái. No quedó claro si el chatbot era de uso comercial o un producto del Gobierno estadounidense.
El bot fusionó inteligencia de fuentes abiertas con inteligencia de señales clasificada en poder del Gobierno y llegó a su fatídica conclusión sobre el material que transportaba el buque. Después, el analista volvió a usar IA para empaquetar los hallazgos en un informe de inteligencia estándar —del tipo en que confían los mandos militares— y lo distribuyó.
El Comando de Operaciones Especiales del Pacífico y el Pentágono no respondieron a una solicitud de comentarios.
La carrera por integrar la IA en el Ejército
Las Fuerzas Armadas de EE.UU., así como los servicios de inteligencia, intentan implementar la IA en su trabajo, para analizar las grandes cantidades de la información, identificar objetivos de ataques y facilitar la gestión del presupuesto, la logística y la cadena de suministro. Sin embargo, los analistas se preocupan de que la tecnología podría provocar errores catastróficos debido a los datos de mala calidad y distorsionados.
La razón para adoptar la IA con rapidez es que puede ayudar al Ejército a tomar decisiones de batalla —como qué objetivos atacar o qué medios militares mover y adónde— más deprisa. Los funcionarios sostienen que EE.UU. no puede permitirse quedarse atrás en la integración de la IA en caso de que algún día tenga que combatir contra China u otro adversario que pudiera mantenerse un paso por delante.
En enero, el secretario de Defensa, Pete Hegseth, presentó la «Estrategia de Aceleración de la Inteligencia Artificial» de su agencia, con el objetivo de acelerar el uso de la IA por parte del Ejército.
«Desataremos la experimentación, eliminaremos las barreras burocráticas, concentraremos nuestras inversiones y demostraremos el enfoque de ejecución necesario para garantizar que lideramos en IA militar» Pete Hegseth, secretario de Defensa, en un discurso al anunciar la estrategia
La estrategia también impulsa su uso amplio en todo el Ejército, ordenando al departamento poner la IA a disposición mediante varios programas con el objetivo de «democratizar la experimentación y la transformación de la IA en todo el Departamento, poniendo los modelos de IA líderes en el mundo directamente en manos de nuestros tres millones de efectivos civiles y militares, en todos los niveles de clasificación», según un memorando que anunciaba la estrategia.
Pero el esfuerzo está descentralizado, según múltiples funcionarios estadounidenses familiarizados con la dinámica: distintas partes del Gobierno usan herramientas diferentes bajo órdenes y estándares de seguridad diferentes. No existe un único conjunto de estándares sobre cómo verifica EE.UU. la información generada por estas herramientas. La constelación de sistemas de IA desplegados por rincones dispares del Ejército y la comunidad de inteligencia implica que la fiabilidad y la funcionalidad relativas varían enormemente.
El riesgo que no es de ciencia ficción
Durante semanas, los responsables políticos de Washington han debatido intensamente sobre la IA tras una serie de advertencias alarmantes de ingenieros de Silicon Valley y consejeros delegados tecnológicos sobre la posibilidad de que la IA se libere de las restricciones humanas, con consecuencias potencialmente terminales para la civilización.
Pero el episodio del buque chino subraya un riesgo distinto y más inmediato: seres humanos tomando decisiones desastrosas basadas en información inexacta o engañosa generada por la IA u otros sistemas automatizados. Las fuentes señalaron que el Ejército está recurriendo rápidamente a la IA para ayudar en la selección de objetivos, un ámbito que entraña el riesgo obvio de errores fatales.
«La IA en la selección de objetivos es definitivamente algo que está aumentando y no hay una guía real sobre cómo tener un humano en el circuito evitará víctimas civiles o fuego amigo» Una fuente familiarizada con las políticas actuales del Ejército
El tipo de «alucinación» que provocó la herramienta utilizada por el analista en este caso no ha sido un incidente aislado en toda la comunidad de inteligencia desde que estas herramientas comenzaron a proliferar por el Gobierno, según una de las fuentes.
Para algunos funcionarios de inteligencia veteranos —incluso los que apoyan ampliamente el uso de la IA dentro del Ejército—, la IA ha presionado a los analistas para producir y difundir inteligencia más rápido, abriendo la puerta a errores. Los analistas jóvenes, en particular, según varias fuentes, son nativos en estas herramientas y más propensos a confiar en ellas sin sentido crítico.
«La IA te permite llegar a una mala idea más rápido» Una de las fuentes