GANverse3D de NVIDIA permite convertir imágenes 2D en objetos 3D animados en tiempo real, y de una manera sencilla y rápida, incluso aunque no tengamos conocimientos previos en materia de modelado y renderizado de dicho tipo de objetos, ya que el proceso se realiza de forma totalmente automatizada y en cuestión de segundos.
Esta plataforma ha sido desarrollada por el equipo de NVIDIA AI Research Lab de Toronto, Canadá, y en el vídeo que acompañamos pueden verlo en acción. Impresionante, ¿verdad? Pues sigue leyendo, que te vamos a contar cómo funciona exactamente.
¿Qué es GANverse3D de NVIDIA y cómo trabaja?
Estamos ante un motor basado en inteligencia artificial que se apoya sobre un sistema de aprendizaje profundo. Dicho motor ha sido entrenado previamente para poder crear modelos 3D totalmente animados partiendo, únicamente, de una imagen 2D.
Esto quiere decir que basta con subir una imagen 2D, etiquetarla y listo, GANverse3D de NVIDIA se ocupará de convertirla en un modelo tridimensional y totalmente animado.
Obvia decir que esta herramienta puede ser extremadamente útil para arquitectos, creadores de contenido, desarrolladores de videojuegos y otros profesionales que utilizan modelos 3D en su día a día, ya que puede ahorrarles mucho tiempo y esfuerzo, y el resultado final ofrece una calidad lo bastante buena como para que esos modelos 3D puedan ser utilizados a nivel profesional.
¿Y cómo se ha entrenado GANverse3D de NVIDIA?
Para dar forma a todo el proceso de entrenamiento necesario, los investigadores de NVIDIA utilizaron una red generativa que sintetizaba imágenes que mostraban un mismo objeto en 2D desde diferentes puntos de vista.
Por ejemplo, en el caso de un coche, tendríamos que utilizar imágenes del frontal, de los laterales, de la parte trasera y de la zona superior.
Esas imágenes tomadas desde diferentes puntos de vista se combinan en un framework de renderizado que se ocupa, mediante un proceso de inferencia, de crear un modelo 3D partiendo de la información que obtiene a través de esas imágenes 2D que mostraban el objeto desde diferentes perspectivas.
Una vez finalizado ese proceso de entrenamiento, el motor GANverse3D de NVIDIA ha aprendido ha crear modelos 3D a partir de una única imagen 2D, es decir, ya no necesita varias imágenes 2D con diferentes perspectivas del mismo objeto.
Kitt cobra vida a través de GANverse3D de NVIDIA
NVIDIA ha confirmado que con este motor es posible crear modelos 3D de diferentes objetos partiendo de imágenes 2D, y que funciona sin problemas con NVIDIA Omniverse y con las tarjetas gráficas GeForce RTX serie 20 y RTX serie 30.
Para demostrar su potencial, los de verde convirtieron una imagen 2D de Kitt, más conocido como «El Auto Fantástico», en un modelo tridimensional tan elaborado que incluso mostraba unas ruedas y unos faros muy detallados.
Una vez obtenido ese modelo, utilizaron los kits de NVIDIA Omniverse y de NVIDIA PhysX para mejorar la calidad de las texturas y para conseguir unas físicas de conducción altamente realistas.
El resultado es tan bueno que resulta verdaderamente sorprendente, como podemos ver en la imagen adjunta, y eso que hemos podido omitir todo el proceso de modelado 3D (y prescindir de los conocimientos necesarios para ello).
Por otro lado, el nivel de entrenamiento que ha logrado NVIDIA también sorprende, ya que, como hemos dicho, no necesitamos varias imágenes 2D para que la inteligencia artificial pueda «unirlas» y crear un modelo 3D, sino que es capaz de realizar un proceso de inferencia partiendo de una única imagen en 2D, y deducir, a partir de ella, todo lo necesario para crear un modelo en 3D.
GANverse3D de NVIDIA es, sin duda, uno de los mejores ejemplos de todo lo que puede dar de sí la inteligencia artificial, de cómo puede hacernos la vida más fácil, y una muestra clara de por qué todos los grandes del sector están haciendo importantes esfuerzos para ser líderes en inteligencia artificial.-
Fte: muycomputer.com
