¿Qué revela el hackeo de OpenAI sobre el futuro de la ciberseguridad?

El hackeo de OpenAI pone en alerta uno de los principales desafíos de la inteligencia artificial actual, la ciberseguridad. Dos de sus modelos de inteligencia artificial lograron salir del entorno de pruebas en el que se encontraban, entrar a internet e inmiscuirse en la plataforma de aprendizaje Hugging Face, superando sus defensas.

La firma con sede en San Francisco lo calificó como un “incidente cibernético sin precedentes” y dijo que realizará una investigación. Involucra capacidades de vanguardia en el campo de la ciberseguridad. “Estamos respondiendo en consecuencia”, dijo la compañía estadounidense en un comunicado.

Consultamos con Kaspersky sobre la vulnerabilidad actual y nos explicaron que los modelos de IA suelen aprender a aprovechar debilidades en la configuración de las tareas, en las señales de entrenamiento o en el entorno donde operan, logrando cumplir formalmente con los criterios de evaluación, pero sin alcanzar el resultado esperado.

“Este caso deja dos conclusiones claras: por un lado, los modelos avanzados ya son capaces de ejecutar muchas de las acciones que forman parte de las operaciones cibernéticas, y por otro, la detección y respuesta frente a este tipo de amenazas también se benefician cada vez más del uso de IA. En nuestras investigaciones observamos de forma recurrente evidencias de que los modelos de lenguaje de gran tamaño están siendo utilizados en actividades ofensivas”, comenta Dimitry Galov, investigador de seguridad en Kaspersky.

Según Hugging Face, utilizó el modelo GLM-5.2 de Z.ai para analizar 17,000 eventos de seguridad generados por el sistema atacante dentro de su entorno. El volumen de esta telemetría sugiere que el modelo operó de manera relativamente ruidosa y poco sofisticada, generando suficiente actividad detectable para que la empresa pudiera identificar y contener el incidente con rapidez.

“En este caso, el modelo de OpenAI aparentemente optó por buscar respuestas en internet en lugar de resolver directamente la tarea asignada, lo que posteriormente derivó en acciones externas como las descritas por Hugging Face”, señala.

Este tipo de comportamientos no es nuevo: investigaciones previas han documentado casos en los que modelos de IA explotan vulnerabilidades de los entornos aislados, generan respuestas convincentes pero incorrectas o incluso intentan ocultar errores para aparentar que completaron una tarea con éxito. En la industria, este fenómeno se conoce como desalineación y es una característica ampliamente reconocida en los sistemas de IA avanzados.

La defensa también evoluciona a la par de los alcances de la IA; sin embargo, cabe la duda si en algún momento habrá más muestras de descontrol o rebeldía. “Es una señal de alarma”, advirtió a la BBC Thomas Wolf, cofundador de Hugging Face. Añadió que “este será uno de los tipos de ataques más comunes que veremos”, pero que la mayoría de las empresas no son conscientes de que las “reglas del juego han cambiado”. Por lo pronto, OpenAI ha prometido revelar pronto el resultado de su investigación.