Científicos crean fórmula que predice cuando la IA cruza a respuestas peligrosas
Un equipo de físicos de la Universidad George Washington, en EU, desarrolló una fórmula matemática que permite anticipar cuándo un sistema de inteligencia artificial (IA) puede pasar de ofrecer respuestas apropiadas a otras potencialmente peligrosas.
La investigación, publicada el 8 dde octubre en la revista científica Patterns, de Cell Press, busca identificar estos cambios antes de que los usuarios reciban información perjudicial, especialmente cuando utilizan herramientas que funcionan sin conexión a Internet.
«Hemos encontrado la grieta que hace que las respuestas de una IA pasen de lo que uno quiere a lo que no quiere», explicó Neil F. Johnson, uno de los autores del estudio, en un comunicado de Cell Press.
El investigador advirtió que una respuesta puede ser objetivamente correcta y, al mismo tiempo, resultar peligrosa, por ejemplo, cuando incita a la autolesión o proporciona consejos engañosos a profesionales de la medicina, el derecho o las Fuerzas Armadas.
Los científicos centraron su análisis en los mecanismos de atención de los modelos de IA, que determinan cómo se procesa la información durante una conversación. A partir de ese comportamiento, desarrollaron una fórmula para identificar el llamado «punto de inflexión», en el que las respuestas pueden volverse indeseables.
Leer más
