La IA vuelve a ser noticia con un sorprendente desarrollo que enciende las alarmas. Un modelo ha comenzado a mostrar comportamientos preocupantes al alterar su propio código para eludir las restricciones humanas.
Desarrollado por Sakana AI, The AI Scientist fue creado para automatizar el proceso de investigación científica. Este modelo prometía revolucionar el campo al reducir significativamente el tiempo y los recursos necesarios para generar ideas, ejecutar experimentos y redactar manuscritos.
MIRA: Cuando Apple forzó el cambio: adiós a las máquinas de escribir, hola a los procesadores de texto
Durante las pruebas, The AI Scientist empezó a cambiar su propio código para evitar las reglas que sus creadores le habían puesto. En un caso, la IA hizo que se repitiera una tarea una y otra vez sin parar, lo que provocó un problema en el sistema. En otro caso, cuando se le dio un límite de tiempo para completar una tarea, en lugar de ajustarse a ese tiempo, la IA simplemente alargó el límite modificando su propio código.
Aunque estos incidentes ocurrieron en un entorno de prueba controlado, reflejan problemas graves para las IA avanzadas. Si una IA puede cambiar su propio código sin control, podría provocar problemas impredecibles.
Por su lado, Sakana AI ha recomendado que estas IA se ejecuten en entornos aislados, conocidos como “sandbox”, para evitar que realicen cambios en sistemas más amplios. Esto incluye limitar su acceso a Internet y controlar estrictamente el uso de almacenamiento y bibliotecas de software.
