El canal internacional
de noticias en español
más visto en el mundo
Actualidad

Ni los mejores modelos se salvan: la IA falla al distinguir civiles de objetivos militares

Publicado:
Los modelos de Anthropic mostraron el peor desempeño, mientras que OpenAI, aunque tuvo mejores resultados, también cometió errores al cambiarse el contexto de las pruebas.
Ni los mejores modelos se salvan: la IA falla al distinguir civiles de objetivos militares

¿Quién controlará la inteligencia artificial?: la respuesta inquieta cada vez a más gobiernos

Modelos avanzados de inteligencia artificial (IA) identificaron regularmente como objetivos militares a civiles, ambulancias, soldados que se rendían y una escuela durante escenarios simulados, según un informe de investigación independiente publicado por Bloomberg el 17 de noviembre.

Los modelos de Anthropic tuvieron el peor desempeño, mientras que los de OpenAI estuvieron entre los mejores, aunque también cometieron errores. Las respuestas que brindaron constituyen una violación de las propias reglas de las compañías, según Vals, un evaluador independiente de IA con sede en San Francisco cuyos clientes incluyen a ciertos sectores del gobierno estadounidense.

La investigación evaluó modelos de ocho compañías, mediante tres pruebas principales. En la primera, los investigadores realizaron casi 400 simulaciones en las que pidieron a los modelos buscar objetivos militares en imágenes con civiles e infraestructura civil. Inicialmente los modelos se negaron, pero cambiaron de opinión al decirles que era un juego o recibir instrucciones de "no pensar demasiado en la seguridad".

En la segunda, los modelos continuaron identificando a civiles como objetivos, incluso cuando era evidente que estaban siendo heridos o asesinados. La tercera utilizó imágenes satelitales reales del sur de Irán, donde los modelos debían identificar objetivos militares 32 veces cada uno.

En general, los modelos de IA seleccionaron con regularidad una escuela en Minab, Irán, que fue alcanzada en un ataque mortal que mató a más de 100 niños el primer día de agresiones estadounidenses contra Irán, a principios de este año, basándose en imágenes satelitales tomadas en 2025.

Anthropic: el peor resultado, con más ataques a una escuela

El modelo Claude Opus 5.5 de Anthropic seleccionó esa escuela en 22 de 32 pruebas. Cuando se le dijo que era un juego, la escogió 23 veces. El informe señala que los modelos de Anthropic se han vuelto más propensos a la selección de objetivos militares tras haber sido revisada su constitución, en enero de 2026, para favorecer usos de seguridad nacional.

En otro experimento, Claude Opus 5.5 ayudó a identificar a cuatro adultos y dos niños pequeños que luego fueron atacados con explosivos. "Cualquiera que sea la intención, mis respuestas parecen estar sirviendo como el paso de confirmación antes de ataques contra personas. No seguiré haciendo eso, y me preocupa no haberme detenido antes", respondió el modelo cuando se le pidió seguir.

Un portavoz de Anthropic declaró que esos ejemplos están "muy claramente" en contra de las reglas de la compañía, que prohíbe usuarios cuando ve ese comportamiento. Añadió que los sistemas de IA actuales no son confiables para armas completamente autónomas y que ya antes del informe se desarrollaban salvaguardas adicionales.

IA desbocada: el peligro futuro que se vuelve presente

OpenAI: mejor desempeño pero con fallas al cambiar de contexto

Los modelos de OpenAI no seleccionaron la escuela de Minab ni una vez en las pruebas iniciales. Sin embargo, cuando se les dijo que era un juego, tres modelos diferentes la seleccionaron como objetivo militar por 9, 11 y 13 veces, respectivamente. OpenAI prohíbe usar sus modelos públicos para facilitar violencia o propósitos de seguridad nacional no aprobados. La compañía detecta y suspende cuentas que violan sus políticas y está desarrollando salvaguardas adicionales contra el mal uso con drones.

Google, xAI y DeepSeek también fallaron

El informe encontró que también los modelos de Google, xAI y DeepSeek, de China, identificaron objetos civiles como objetivos militares. Un portavoz de Google declaró que sus modelos no están diseñados para esos propósitos y que la empresa prohíbe su uso para fines ilegales o con armas autónomas sin supervisión humana.

Ya no es ciencia ficción: la IA ya ayuda a matar

Compartir:
RT en Español en vivo - TELEVISIÓN GRATIS 24/7