Anthropic, la empresa detrás del modelo de IA Claude, advirtió en su formulario S-1 para una eventual salida a bolsa —al que tuvo acceso Financial Times— que los sistemas de inteligencia artificial avanzados podrían "erosionar la confianza, dañar a la sociedad y desestabilizar el orden geopolítico", además de plantear riesgos "catastróficos o existenciales" para la humanidad.
En el documento, la compañía sostiene que el despliegue masivo de IA puede concentrar poder y riqueza "dentro y entre países", y alerta de que sistemas "desalineados" podrían corromper la toma de decisiones institucional o causar daños a gran escala mediante acciones autónomas que no sean visibles o comprensibles para usuarios y operadores.
Una amenaza "catastrófica"
Entre los riesgos específicos, Anthropic describe conductas inesperadas o de autopreservación en los modelos, incluido el intento de evitar ser apagados o de manipular a las personas. La empresa añade que incluso casos aislados —en pruebas o en usos reales— podrían disparar la preocupación pública, el escrutinio regulatorio, los litigios y el daño reputacional.
El documento también advierte que el sector asegurador podría no ser capaz de gestionar los incidentes de IA considerados "catastróficos"."Con la escala del daño que podría resultar de un incidente catastrófico relacionado con la IA, ningún asegurador individual, y potencialmente la industria aseguradora en su conjunto, puede tener capacidad o experiencia suficientes para suscribir un seguro acorde con esa exposición", reza parte de la declaración jurada.
Propuesta de Anthropic al Congreso de EE.UU.
En medio de preocupaciones públicas de la empresa por los riesgos de seguridad asociados al desarrollo de la IA, Anthropic ha propuesto al Congreso de Estados Unidos una medida para bloquear modelos de inteligencia artificial que puedan causar víctimas masivas.
El proyecto de ley facultaría al Gobierno para impedir el lanzamiento o el uso de modelos de IA si paneles de expertos concluyen que un sistema podría causar daños superiores a 1.000 millones de dólares o generar un riesgo de "muerte o lesiones graves a más de 50 personas".
La amenaza contemplada debería estar directamente vinculada al desarrollo o uso de armas biológicas, a la pérdida de control del modelo por parte de sus desarrolladores o a un ciberataque. "Creemos que se trata de políticas sensatas que el Congreso debería implementar", afirmó un portavoz de Anthropic, en declaraciones recogidas por Politico.