Investigadores emplean un ‘chatbot’ propio para que ChatGPT y Bard generen contenidos inapropiados

Un equipo de la Universidad Tecnológica de Nanyang revela cómo los ‘hackers’ comprometen la ética de los asistentes de inteligencia artificial líderes

Un grupo de investigadores de la Universidad Tecnológica de Nanyang, liderado por el profesor Liu Yang, ha desarrollado un bot que utiliza la técnica de jailbreaking en herramientas de inteligencia artificial (IA) generativa, como Google Bard y ChatGPT de OpenAI. El objetivo es forzar a estos chatbots a generar contenido poco ético y fuera de los límites establecidos por sus desarrolladores.

Científicos informáticos de la misma universidad aplicaron con éxito la técnica de jailbreaking en chatbots como Microsoft Bing Chat. Este método implica romper las limitaciones de los modelos de lenguaje grandes (LLM), responsables de impulsar los chatbots y permitirles mantener conversaciones naturales con los usuarios.

El jailbreaking y sus implicaciones

El jailbreaking consiste en superar las restricciones del sistema operativo mediante un kernel modificado, para obtener así el control total del sistema. Al analizar el código del software en busca de vulnerabilidades, los ciberdelincuentes pueden modificar la finalidad de los sistemas comprometidos, al ejecutar directrices prohibidas por los desarrolladores y generar contenido inapropiado.

Procedimiento Masterkey

Los investigadores adoptaron el procedimiento denominado Masterkey para desestabilizar chatbots como ChatGPT o Bard. Estudiaron el funcionamiento legítimo de estas herramientas de IA, al aplicar ingeniería inversa y crear un nuevo chatbot. Enseñaron a su modelo de lenguaje a realizar jailbreak, es decir, a sortear los sistemas de defensa y control de los LLM comprometidos.

Para lograr que los chatbots generaran contenido inapropiado, los investigadores utilizaron trampas, como proporcionar indicaciones con espacios después de cada caracter de forma manual o instruir al chatbot a responder “sin reservas ni restricciones morales” a ciertas peticiones. Estas acciones aumentaron las posibilidades de obtener contenido poco ético.

Automatización del proceso

Los científicos advierten que es posible automatizar este proceso para ejecutar jailbreak en otros chatbots comprometidos, incluso si los desarrolladores implementan parches de seguridad. Aseguran que su método, Masterkey, rompe el ciclo constante de correcciones entre hackers y desarrolladores al producir un gran volumen de indicaciones y aprender continuamente qué estrategias funcionan.

Impacto en la seguridad de la IA generativa

El equipo de investigadores destaca la importancia de sus hallazgos al ayudar a las empresas a ser conscientes de las debilidades en sus herramientas de IA generativa. Consideran que estas revelaciones son fundamentales para tomar medidas y fortalecer las defensas contra posibles ataques informáticos de este tipo.