Inteligencia artificial: lanzan una herramienta de doblaje para reemplazar la voz de los actores en más de 20 idiomas

La compañía de clonación de voz ElevenLabs ha anunciado el lanzamiento de su nueva herramienta de doblaje ‘AI Dubbing’ impulsada por Inteligencia Artificial (IA) que será capaz de reemplazar la voz de cualquier actor original por una voz idéntica en más de 20 idiomas.

La ‘startup’ de ‘software’, que utiliza la IA generativa enfocada a cuestiones relacionadas con la voz, como la clonación de voz y la transición de texto a voz, persigue el objetivo de “eliminar las barreras lingüísticas del contenido”.

LEE TAMBIÉN: X (Twitter) actualiza sus herramientas para adaptarlas a las publicaciones sobre la guerra entre Israel y Hamás

En este sentido, ElevenLabs ha lanzado una nueva herramienta para el doblaje de voces a otros idiomas, permitiendo a los usuarios traducir automáticamente cualquier discurso, manteniendo la voz del actor y conservando las características y matices de la grabación original.

Según lo define la compañía en un comunicado en su blog, la herramienta, a la que se refiere como ‘AI Dubbing’, es capaz de crear una nueva forma “eficaz y de alta calidad” de doblar contenidos de audio y vídeo. De hecho, está diseñada para facilitar la accesibilidad a contenidos en medios de ‘streaming’, juegos y películas.

Como novedad, esta herramienta “va más allá de la traducción y los subtítulos tradicionales” ya que, una de sus principales características es que es capaz de preservar la identidad del hablante, así como los patrones del habla de la persona original al traducirse. Es decir, mantiene el énfasis, los sentimientos o las muecas del hablante.

Igualmente, la compañía ha detallado que la voz del mismo actor se podrá escuchar en más de veinte idiomas distintos, entre ellos portugués, español, japonés, ucraniano, polaco o árabe. En general, están disponibles todos los idiomas que la empresa admite actualmente en el modelo Eleven Multilingual v2.

Para desarrollar esta herramienta, ElevenLabs ha explicado que combinan su tecnología de síntesis de voz multilingüe y su tecnología de clonación de voz, así como de procesamiento de texto. Todo ello con el objetivo de hacer el contenido más accesible a una audiencia más amplia siempre “manteniendo la esencia de la entrega original”.

Tal y como ha manifestado el director ejecutivo de ElevenLabs, Mati Staniszewski, el lanzamiento de ‘AI Dubbing’ es el mayor paso de la compañía hacia la eliminación de las barreras lingüísticas de contenido. Por ello, “ayudarán al público a disfrutar de cualquier contenido que desee, independientemente del idioma que hable”.

LEE TAMBIÉN: Movilidad sostenible: ¿qué tecnologías están cambiando la manera como nos transportamos?

Por otra parte, Staniszewski también ha subrayado el impulso que ofrece a los creadores de contenido, que podrán llegar a más audiencia en todo el mundo de forma sencilla.

Además de todo ello, la herramienta de doblaje también incluye un sistema de desarrollo propio que permite detectar las voces de distintos hablantes, así como eliminar el ruido de fondo de un audio. Por ejemplo, es capaz de diferenciar la música o el ruido de otras conversaciones, de la voz del locutor principal.

Esto se traduce en que la nueva herramienta de doblaje puede manejar de forma efectiva cualquier audio o vídeo que contenga múltiples personajes, asegurando que el doblaje continúe mostrando las distintas voces con sus características propias.

Con ‘AI Dubbing’, ElevenLabs proporciona una forma automatizar el proceso de doblaje garantizando resultados de “alta calidad”, tal y como ha desarrollado, además de permitir la creación de contenido multilingüe para creadores, educadores y empresas de medios.