La IA de NVIDIA que ajusta la mirada de la persona a la cámara y traduce voz en tiempo real | VIDEO

NVIDIA ha desarrollado una tecnología de Inteligencia Artificial (IA), Maxine, que es capaz de ajustar la mirada de los hablantes para que dirijan sus ojos a la cámara, emular la posición de los ojos y los parpadeos, así como traducir la voz en tiempo real durante una videoconferencia.

MIRA: Para obtener ingresos de la plataforma: Twitter subastaría algunos nombres de usuario

La compañía ha informado de que NVIDIA Maxine es un conjunto de kits de desarrollo de software (SDK), que pertenece a NVIDIA AI Enterprise, una biblioteca de programas que incluye flujos de trabajo, soluciones de IA y modelos de aprendizaje preeentrenados.

Según Nvidia, este trabajo permite a los desarrolladores implementar “características premium de realidad aumentada, tanto en el audio como en la calidad del vídeo”, tal y como detalla en su página web.

MIRA: WhatsApp: ¿cómo saber si otra persona tiene mi ubicación en tiempo real?

En ella también sostiene que Maxine incluye funciones de IA “aceleradas y optimizadas para la inferencia en tiempo real en las GPU”, lo que resulta en efectos de audio, vídeo y realidad aumentada (RA) de baja latencia con una gran resistencia de red. También ofrece una serie de efectos basados en IA en el apartado de Audio Effects Microservice.

De este modo, esta solución elimina el ruido y el eco de la habitación y logra un sonido con una resolución de alta calidad. A nivel de vídeo, Video Effects Microservice ofrece efectos como el fondo virtual durante las videollamadas y permite mantener el contacto visual.

MIRA: La policía ya visita las casas de usuarios que consumen contenidos ilegales en Internet

En cuanto al SDK de efectos de vídeo, desde la compañía subrayan que NVIDIA Maxine es capaz de conseguir “una superresolución”, ya que preserva la textura de las imágenes con una calidad que multiplica hasta por cuatro y conserva sus detalles en condiciones de baja iluminación.

El hecho de que esta herramienta permite mantener los ojos mirando a cámara es una de las características más destacadas de la IA de NVIDIA. Maxine simula el contacto visual del interlocutor con la lente, ya que estima y alinea su mirada con la cámara. Además, emula la forma de los ojos, su posición y el parpadeo.

MIRA: Google Maps HD, una nueva versión que prepara el camino hacia los autos autónomos

Esta característica, integrada en el SDK de RA, ofrece un seguimiento de rostros en 3D en tiempo real y también estima la postura del cuerpo para medir sus interacciones reales y duplicarlas en la pantalla en tiempo real.

La IA de NVIDIA integra una actualización con un modelo mejorado, incluye una nueva pose de cabeza de seis grados de libertad (DOF). Además, muestrea rasgos y contornos del rostro con 126 puntos de reconocimiento facial.

MIRA: Los Shorts de YouTube se podrán monetizar a partir del 1 de febrero

Para la estimación de la pose corporal, en cambio, esta tecnología de Nvidia rastrea 34 puntos clave del cuerpo humano tanto en dos dimensiones (2D) como de forma tridimensional (3D).

Otra característica que la compañía ha destacado de esta IA es su capacidad para traducir voz en tiempo real. Así, esta tecnología promete “superar las barreras del lenguaje” y puede pasar de un idioma a otro tan pronto como termine una frase.

Tal y como sugiere el vídeo promocional de Maxine, por el momento soporta inglés, español, francés y alemán, aunque no ha matizado si puede traducir en tiempo real más idiomas.