Neuralangelo: la nueva IA de NVIDIA que permite generar objetos 3D a partir de videos

NVIDIA ha revelado su nuevo modelo de inteligencia artificial, Neuralangelo. Bautizado con el nombre del famoso artista Miguel Ángel, la compañía asegura que esta IA crea réplicas virtuales realistas de diversos objetos, lo que podría significar una gran revolución en varias ramas tecnológicas como videojuegos o robótica.

“Neuralangelo, un nuevo modelo de IA de NVIDIA Research para la reconstrucción 3D mediante redes neuronales, convierte videoclips 2D en estructuras 3D detalladas, generando réplicas virtuales realistas de edificios, esculturas y otros objetos del mundo real”, señala NVIDIA en su blog.

Estas creaciones podrán aprovecharse para nuevas tecnologías que necesitan imágenes realistas. “Al igual que Miguel Ángel esculpiendo impresionantes visiones realistas a partir de bloques de mármol, Neuralangelo genera estructuras en 3D con detalles y texturas intrincados. Los profesionales creativos pueden luego importar estos objetos 3D en aplicaciones de diseño, editándolos aún más para su uso en arte, desarrollo de videojuegos, robótica y gemelos digitales industriales”, agrega.

MIRA: OpenAI lanza curso gratis para aprender una profesión que paga miles de dólares por usar bien ChatGPT

Esta IA es mucho más avanzada que otras debido a que captura las texturas, por más pequeñas que sean. “La capacidad de Neuralangelo para traducir las texturas de materiales complejos, incluidas tejas para techos, paneles de vidrio y mármol liso, de videos 2D a activos 3D supera significativamente a los métodos anteriores. La alta fidelidad hace que sus reconstrucciones en 3D sean más fáciles para que los desarrolladores y profesionales creativos creen rápidamente objetos virtuales utilizables para sus proyectos utilizando imágenes capturadas con smartphones”, asegura.

“Las capacidades de reconstrucción 3D que ofrece Neuralangelo serán un gran beneficio para los creadores, ayudándolos a recrear el mundo real en el mundo digital. Esta herramienta eventualmente permitirá a los desarrolladores importar objetos detallados, ya sean pequeñas estatuas o edificios masivos, en entornos virtuales para videojuegos o gemelos digitales industriales”, dijo Ming-Yu Liu, director senior de investigación y coautor del artículo.

MIRA: Así se verían los personajes de Dragon Ball Z en la vida real, según una IA | FOTOS

¿Cómo funciona Neuralangelo, la nueva IA de NVIDIA?

A diferencia de otros modelos de reconstrucción 3D, esta inteligencia artificial puede reconocer exactamente los patrones en los objetos. “Neuralangelo adopta primitivas de gráficos neuronales instantáneos, la tecnología detrás de NVIDIA Instant NeRF, para ayudar a capturar estos detalles más finos”, indica.

Para, ello se basa en las imágenes que capta un video, el cual debería tener más de un solo ángulo. “Usando un video 2D de un objeto o escena filmado desde varios ángulos, el modelo selecciona varios fotogramas que capturan diferentes puntos de vista, como un artista que considera un sujeto desde múltiples lados para tener una idea de la profundidad, el tamaño y la forma”, añade.

MIRA: Así serían Pikachu, Bulbasaur y el mundo Pokémon si fuesen un anime de Studio Ghibli, según una IA

Al igual que un artista, se crea primero un “molde” para luego empezar el proceso de recreación. “Una vez que se determina la posición de la cámara de cada cuadro, la IA de Neuralangelo crea una representación aproximada en 3D de la escena, como un escultor que comienza a cincelar la forma del sujeto. Luego, el modelo optimiza el renderizado para afinar los detalles, al igual que un escultor talla minuciosamente la piedra para imitar la textura de la tela o una figura humana”, afirma.

Lo que se genera puede ser útil para varias ramas tecnológicas, pues la precisión es muy alta. “El resultado final es un objeto 3D o escena a gran escala que se puede utilizar en aplicaciones de realidad virtual, gemelos digitales o desarrollo de robótica”, concluye.