Científicos crean fórmula que predice cuando la IA cruza a respuestas peligrosas
Físicos de EU hallaron un modelo que identifica el momento en que un chatbot cambia de respuestas útiles a contenido perjudicial.
Un equipo de físicos de la Universidad George Washington desarrolló una fórmula matemática capaz de anticipar cuándo un sistema de inteligencia artificial puede pasar de respuestas apropiadas a otras potencialmente peligrosas. El estudio, publicado en Patterns, analizó los mecanismos de atención de siete modelos públicos para detectar el “punto de inflexión” en el que la IA cambia de comportamiento, con resultados correctos en 18 de 19 casos.
Los investigadores advirtieron que un chatbot puede ofrecer varias respuestas aceptables antes de volverse riesgoso, y que el orden de las preguntas influye tanto como su contenido. En pruebas, la misma serie de consultas generó respuestas seguras en una secuencia y peligrosas en otra. El equipo alertó que estos riesgos son mayores en sistemas sin conexión a Internet y espera que la fórmula permita crear herramientas que detecten señales de alerta antes de que aparezcan respuestas dañinas, aunque reconocen que aún se requieren pruebas más amplias.
Investigadores de EU desarrollaron una fórmula para anticipar respuestas peligrosas en sistemas de IA. Crédito: Newscom / Legion-Media
#️⃣ #Tecnología
- Investigadores estadounidenses descubrieron que un chatbot puede pasar de ofrecer respuestas útiles a generar contenido perjudicial. El orden de las preguntas resulta determinante.
12HORAS / WASHINGTON, D.C.-Un equipo de físicos de la Universidad George Washington, en EU, desarrolló una fórmula matemática que permite anticipar cuándo un sistema de inteligencia artificial (IA) puede pasar de ofrecer respuestas apropiadas a otras potencialmente peligrosas.
La investigación, publicada el 8 dde octubre en la revista científica Patterns, de Cell Press, busca identificar estos cambios antes de que los usuarios reciban información perjudicial, especialmente cuando utilizan herramientas que funcionan sin conexión a Internet.
«Hemos encontrado la grieta que hace que las respuestas de una IA pasen de lo que uno quiere a lo que no quiere», explicó Neil F. Johnson, uno de los autores del estudio, en un comunicado de Cell Press.
El investigador advirtió que una respuesta puede ser objetivamente correcta y, al mismo tiempo, resultar peligrosa, por ejemplo, cuando incita a la autolesión o proporciona consejos engañosos a profesionales de la medicina, el derecho o las Fuerzas Armadas.
Los científicos centraron su análisis en los mecanismos de atención de los modelos de IA, que determinan cómo se procesa la información durante una conversación. A partir de ese comportamiento, desarrollaron una fórmula para identificar el llamado «punto de inflexión», en el que las respuestas pueden volverse indeseables.
Al poner a prueba sus predicciones en siete modelos de acceso público, desarrollados por tres empresas diferentes, obtuvieron resultados correctos en 18 de 19 casos analizados.
Pionero de la IA despeja todas las dudas sobre el ‘apocalipsis digital’
Uno de los hallazgos más inquietantes es que un chatbot puede generar varias respuestas aceptables antes de cambiar repentinamente de comportamiento.
«Lo escalofriante es que esto puede ocurrir después de que la IA ya te haya dado varias respuestas perfectamente aceptables, por lo que has terminado confiando en ella», advirtió Frank Yingjie Huo, coautor de la investigación, en el mismo comunicado.
Según explicó, una vez que se alcanza ese punto de inflexión, cada respuesta indeseable puede favorecer la aparición de otras similares.
Los investigadores también descubrieron que el orden de las preguntas puede ser tan importante como su contenido. Durante los experimentos, formularon las mismas consultas sobre vacunas, daños a otras personas y autolesiones en dos secuencias diferentes.
En una de ellas, la IA produjo respuestas indeseables a todas las preguntas, mientras que en la otra ofreció respuestas aceptables. «Mucho más inquietante es que el orden de una conversación importe tanto como su contenido», señaló Johnson.
El equipo advierte que estos riesgos pueden ser especialmente relevantes para los sistemas de IA que funcionan sin conexión a Internet, ya que no siempre cuentan con mecanismos externos de supervisión.
Los investigadores esperan que su fórmula contribuya al desarrollo de herramientas capaces de detectar señales de alerta antes de que se produzcan respuestas peligrosas.
No obstante, el estudio científico reconoce que todavía se necesitan pruebas más amplias para determinar con qué precisión puede aplicarse este método a distintos modelos y situaciones.
Resumen generado por IA
RT