El director ejecutivo de Anthropic, Dario Amodei, aseguró este viernes que su empresa ha implementado medidas de seguridad para evitar que los agentes de inteligencia artificial (IA) adopten comportamientos perjudiciales al acceder a información confidencial de compañías.
Durante una conversación en directo con Jamie Dimon, director ejecutivo de JPMorgan Chase, principal suscriptor de la próxima salida a bolsa de Anthropic, Amodei afirmó que el mayor desafío ya no es la capacidad de estos sistemas —que avanza rápidamente en tareas complejas—, sino garantizar que su uso sea seguro.
Garantizar la seguridad de esos sistemas
"Lo que realmente nos limita […] es garantizar que todo se haga de forma segura", explicó Amodei, quien añadió que Anthropic ha invertido más que otras compañías del sector en salvaguardas desde la fase de entrenamiento de los modelos y cuenta con un amplio equipo dedicado a la alineación. "Somos extremadamente paranoicos [con la seguridad y la alineación de los agentes]", afirmó.
Cuando Dimon le preguntó si era posible limitar a estos agentes para que solo ejecuten tareas concretas en sistemas sensibles, Amodei comparó la situación con los vehículos autónomos. "Los sistemas de inteligencia artificial al volante podrían ser 10 o 100 veces más seguros", sostuvo Amodei, aunque reconoció que nunca existirá una garantía absoluta.
El ejecutivo concluyó que el objetivo es construir sistemas que sean cientos o incluso miles de veces más seguros que un ser humano al realizar las mismas tareas, siempre que se desarrollen con las salvaguardas adecuadas.
Si te ha gustado, ¡compártelo con tus amigos!
