Una IA es utilizada para crear audios falsos de celebridades compartiendo discursos racistas

La startup tecnológica ElevenLab ha alertado de los malos usos que ha detectado de su herramienta de clonación de voz, tras detectarse la suplantación de voces de famosos, que han llevado a la startup tecnológica ha introducir mecanismos de seguridad adicionales.

Durante el fin de semana se han detectado una serie de clips de audio aparentemente protagonizados por celebridades como Joe Rogan, Ben Sharpio y Emma Watson, con contenidos racistas y violentos.

MIRA: Así se verían Messi, CR7, Mbappé y otros futbolistas como supervillanos, según una IA

Según la investigación realizada por Motherboard, se trata de una serie de audios en la plataforma 4Chan, que se han creado con la herramienta de inteligencia artificial de ElevenLab para que las voces suenen como las de los artistas.

Este mal uso lo ha reconocido ElevenLab en una publicación en Twitter. “Si bien vemos que nuestra tecnología se aplica abrumadoramente al uso positivo, también vemos un número creciente de casos de uso indebido de clonación de voz”.

Desde la startup aseguran que pueden rastrear cualquier audio generado con sus herramientas hasta el creador, ya que todos los clips tienen una marca de agua. Pero también han anunciado que implementarán una serie de medidas adicionales con las que esperan atajar el problema.

MIRA TAMBIÉN: Así se verían Perú y otros países como supervillanos, según una inteligencia artificial

Por el momento se trata de ideas, pero se plantean solicitar una verificación de cuenta adicional para usar su herramienta de clonación de voz, como datos de pago o un documento oficial de identidad. También solicitar una muestra con texto para verificar los derechos de autor de la voz, y eliminar Voice Lab por completo y verificar manualmente cada solicitud de clonación.

La compañía tecnológica tiene dos herramientas que permiten la clonación de voz: Instant Voice Cloning, dentro de Voice Lab, que solo necesita una muestra pequeña aunque ofrece menos calidad; y Professional Voice Cloning, que demanda más ejemplos de una persona concreta para poder reproducir su voz con fidelidad gracias a un modelo entrenado.

MIRA: ¿Cuál sería el plan perfecto para dominar el mundo? La IA de Elon Musk sorprende al dar la respuesta

La aparición de clips de audio que suplantan las voces de famosos profundiza en el potencial mal uso que se puede hacer de este tipo de herramientas basadas en la inteligencia artificial. Recientemente el modelo de lenguaje de OpenAI, ChatGPT, ha destacado por ser muy eficaz a la hora de generar textos coherentes y con una alta capacidad de redacción, no permitiendo en muchos casos distinguir si lo ha escrito una persona o si se ha recurrido a esta herramienta.

Con anterioridad, las aplicaciones de deepfake, de manipulación de contenidos audiovisuales, han generado alarma por el grado de realismo con el que la inteligencia artificial era capaz de suplantar a una persona y de engañar a quienes veían los videos.