Stable Diffusion: adaptan esta inteligencia artificial para crear música solo usando texto

Los desarrolladores del modelo de inteligencia artificial (IA) Stable Difussion han adaptado esta tecnología para que sea capaz de crear espectrogramas capaces de convertirse en clips de audio o música a partir de un texto.

Stable Difussion es un modelo de aprendizaje automático (‘machine learning’) de texto a imagen desarrollado por Stability AI, que se utiliza para generar imágenes digitales de alta calidad a partir de texto.

MIRA: Tefi, el perro robot capaz de guiar a personas invidentes o con Alzheimer

Dos desarrolladores llamados Seth Forsgren y Hayk Martiros han creado un proyecto llamado ‘Rifussion’ mediante el cual adaptan esta solución a la música. Con ella se pueden generar espectrogramas que se pueden traducir, a su vez, en clips de audio.

Tal y como explican los creadores de este proyecto en su página web, un espectrograma de audio o sonograma es una representación visual basada en conjuntos de indicaciones de texto introducidos por el usuario.

MIRA: Qric, el perro robot de Oppo que llama a emergencia si su dueño está en problemas

Estos sonogramas disponen de dos ejes: X, que representa el tiempo, e Y, que representa la frecuencia. El color de cada píxel de cada espectrograma de audio, en cambio es su amplitud. Precisamente es este dato el que tiene en cuenta Torchaudio, que toma la imagen generada por Stable Diffusion y la convierte en audio.

Desde Rifussion anuncian que no solo es posible generar música a partir de imágenes y texto, sino que también se permite combinar, experimentar y fusionar estilos.

MIRA: Estos cinco empleos serían tomados por la IA en los siguientes 10 años

Los desarrolladores han puntualizado que, en caso de disponer de una GPU lo suficiente potente, se pueden crear sonogramas con un tamaño de imágenes generadas de 512 x 512 píxeles y de cinco segundos de duración. No obstante, se pueden introducir variaciones infinitas basándose en la misma imagen original.

Rifussion incluye actualmente un generador de clips, así como indicaciones y detalles técnicos para poder utilizar esta tecnología en su página web. Además, su código está disponible en su repositorio en GitHub.