Un equipo de físicos de la Universidad George Washington, en EE.UU., desarrolló una fórmula matemática que permite anticipar cuándo un sistema de inteligencia artificial (IA) puede pasar de ofrecer respuestas apropiadas a otras potencialmente peligrosas. La investigación, publicada el 8 de octubre en la revista científica Patterns, de Cell Press, busca identificar estos cambios antes de que los usuarios reciban información perjudicial, especialmente cuando utilizan herramientas que funcionan sin conexión a Internet.
"Hemos encontrado la grieta que hace que las respuestas de una IA pasen de lo que uno quiere a lo que no quiere", explicó Neil F. Johnson, uno de los autores del estudio, en un comunicado de Cell Press. El investigador advirtió que una respuesta puede ser objetivamente correcta y, al mismo tiempo, resultar peligrosa, por ejemplo, cuando incita a la autolesión o proporciona consejos engañosos a profesionales de la medicina, el derecho o las Fuerzas Armadas.
Los científicos centraron su análisis en los mecanismos de atención de los modelos de IA, que determinan cómo se procesa la información durante una conversación. A partir de ese comportamiento, desarrollaron una fórmula para identificar el llamado "punto de inflexión", en el que las respuestas pueden volverse indeseables. Al poner a prueba sus predicciones en siete modelos de acceso público, desarrollados por tres empresas diferentes, obtuvieron resultados correctos en 18 de 19 casos analizados.
Uno de los hallazgos más inquietantes es que un chatbot puede generar varias respuestas aceptables antes de cambiar repentinamente de comportamiento. "Lo escalofriante es que esto puede ocurrir después de que la IA ya te haya dado varias respuestas perfectamente aceptables, por lo que has terminado confiando en ella", advirtió Frank Yingjie Huo, coautor de la investigación, en el mismo comunicado. Según explicó, una vez que se alcanza ese punto de inflexión, cada respuesta indeseable puede favorecer la aparición de otras similares.
Los investigadores también descubrieron que el orden de las preguntas puede ser tan importante como su contenido. Durante los experimentos, formularon las mismas consultas sobre vacunas, daños a otras personas y autolesiones en dos secuencias diferentes. En una de ellas, la IA produjo respuestas indeseables a todas las preguntas, mientras que en la otra ofreció respuestas aceptables. "Mucho más inquietante es que el orden de una conversación importe tanto como su contenido", señaló Johnson.
El equipo advierte que estos riesgos pueden ser especialmente relevantes para los sistemas de IA que funcionan sin conexión a Internet, ya que no siempre cuentan con mecanismos externos de supervisión. Los investigadores esperan que su fórmula contribuya al desarrollo de herramientas capaces de detectar señales de alerta antes de que se produzcan respuestas peligrosas. No obstante, el estudio científico reconoce que todavía se necesitan pruebas más amplias para determinar con qué precisión puede aplicarse este método a distintos modelos y situaciones.