Related Articles
Instant NeRF son las siglas de Neural Radiance Fields o Campos de Radiación Neuronal, una técnica de Nvidia capaz de recrear la realidad con total precisión y en tres dimensiones a partir de tres o cuatro fotografías.
Ya existen programas capaces de generar escenas tridimensionales a partir de simples fotografías, la diferencia con Instant NeRF es que estos programas requieren fotografías de los objetos desde absolutamente todos los ángulos, cualquier cosa no fotografiada no aparecerá en el resultado, será un agujero negro simplemente. Si no tienes información no puedes mostrarla.
Instant NeRF cambia esto para nosotros, a través de una red neuronal recrea la información qeu falta con una precisión pasmosa. Esto es posible gracias a los chips para el proceso de algoritmos de inteligencia artificial de Nvidia, es un ‘render a la inversa’, hasta ahora se utilizaba un modelo tridimensional para lanzar rayos que rebotan en las superficies de forma directa e indirecta y generar una imagen bidimensional fotorealista. Instant NeRF funciona analizando fotografías bidimensionales para intentar reconstruir la escena en tres dimensiones, analiza las imágenes y la inteligencia artificial es capaz de deducir el origen de cada píxel de la imagen, reconstruyendo toda la realidad aunque no pueda verla.
Una vez la red neuronal ha reconstruido la escena, puedes moverte con libertad por ella, en tiempo real, y “re-fotografiar” la escena desde cualquier ángulo, incluso por detrás de un sujeto, en tiempo real.
Mira este vídeo de Nvidia para ver cómo funciona.
Si es cierto lo que muestran en el vídeo, esta tecnología permitirá cosas inimaginables en la industria de los efectos especiales y del entretenimiento.
El modelo empleado en Instant NeRF es, además, tremendamente rápido. Según NVIDIA, tan solo necesita unos pocos segundos para entrenarse, en base a una preselección de fotografías, así como de metadatos de las mismas, principalmente información sobre los distintos ángulos con los que fueron tomadas. Con ese punto de partida, el software será capaz de crear la representación tridimensional, calculando la información volumétrica del entorno en base a determinados elementos de las fotos.
El tiempo inicial que necesitaba la IA para procesar las imágenes y sus metadatos era de varios minutos, ahora la escena tridimensional se genera de manera prácticamente instantánea.
En nuestros teléfonos ya tenemos integrada fotografía computacional, por ejemplo, el iPhone 13 utiliza esta tecnología para capturar una escena en vídeo y luego poder cambiar la foto a voluntad, anteriormente, el plano enfocado era imposible de modificar. La llamada fotografía computacional agrupa las técnicas que utilizan inteligencia artificial para procesar imágenes, sobrepasando las limitaciones de la máquina, es lo que hace que el sensor de un teléfono móvil pueda producir una imagen clara en la casi completa oscuridad o capturar vídeo en el que puedes cambiar el foco de la cámara a voluntad después de haberlo grabado.
Con Instant NeRF se podrá capturar una imagen y después cambiar el ángulo a voluntad, hasta el punto de tomar una foto completamente sintética desde el ángulo completamente opuesto al que se usó al tomar las fotos originalmente. También podría usarse para cambiar el foco, la iluminación o incluso los materiales de los sujetos y la escena.
NVIDIA es, probablemente, una de las tecnológicas que más y mejor partido le está sacando a la IA, Instant NeRF utiliza DLSS, que como su propio nombre indica emplea el aprendizaje profundo (Deep Learning), para llevar a cabo un reescalado inteligente de cada uno de los frames generados, a una resolución inferior, lo que a su vez se traduce en un importante salto en la cantidad de frames por segundo.
Otro ejemplo, es GauGAN2, una impresionante tecnología presentada por NVIDIA que, en base a una simple frase descriptiva, es capaz de crear una imagen completa, única y tremendamente realista. Esta tecnología puede ser probada por cualquier persona que cuente con una tarjeta gráfica RTX 20 o RTX 30, y para ello tan solo tendrán que descargar la aplicación gratuita NVIDIA Canvas.
Las aplicaciones prácticas de NeRF están todavía por llegar, ¿la veremos pronto en nuestros móviles?.
