Sztuczna inteligencja NeRF firmy NVIDIA natychmiast zamienia zdjęcia 2D w obiekty 3D
Neural Radiance Field (w skrócie NeRF) to nowoczesna technologia, która opiera się na takim szkoleniu algorytmów Al, by powstała możliwość tworzenia obiektów 3D z dwuwymiarowych fotografii. Potrafi wypełnić puste miejsca przez interpolację tego, czego nie były w stanie uchwycić zdjęcia 2D. Dzięki tej interesującej sztuczce z pewnością dokona się postęp w rozmaitych dziedzinach, obejmujących chociażby autonomiczną jazdę oraz gry wideo.
Aktualnie NVIDIA odkryła całkowicie nową technikę NeRF, cechującą się wyjątkową szybkością. Firma ogłosiła, że potrzebuje ona jedynie kilka sekund na przeszkolenie, a następnie wygenerowanie sceny 3D. Szkolenie modelu, noszącego miano Instant NeRF, nie jest czasochłonne – zajmuje wspomniane kilka sekund, przy jednoczesnym użyciu dziesiątek fotografii i kątów kamery, z jakich je zrobiono. Potem tworzy scenę 3D w ciągu dziesiątek milisekund. Wymaga oczywiście zdjęć wykonanych z wielu pozycji, tak jak inne techniki NeRF, co nie jest żadnym zaskoczeniem. Warto zaznaczyć, że w przypadku fotografii z wieloma różnymi obiektami najlepsze będą ujęcia bez nadmiernego ruchu, gdyż w innym wypadku wynik może być rozmazany, co nie prezentuje się zbyt estetycznie. Pierwsze modele NeRF także nie muszą mieć dużo czasu, aby wygenerować pożądane rezultaty. Renderowanie sceny 3D to zaledwie kilka minut, nawet w przypadku, gdy obiekt na części obrazów został przesłonięty. Może to być chociażby bariera z mebli lub filarów. Różnica jest jednak taka, że ich szkolenie trwało godzinami. Dlaczego teraz zajmuje więc zaledwie kilka sekund? NVIDIA opracowała swoją specjalną technikę – kodowanie siatki mieszającej w wielu rozdzielczościach. Jest zoptymalizowana pod kątem ekonomicznego działania na jej procesorach graficznych.
Potrafi działać zaledwie na 1 procesorze graficznym, ale jest najwydajniejszy na kartach z rdzeniami tensorowymi. Zapewniają one znaczny wzrost wydolności sztucznej inteligencji. Firma zapewnia, że Instant NeRF da się z powodzeniem zastosować celem szkolenia robotów, gdyż może im pomóc zrozumieć kształt i rozmiar rzeczywistego obiektu. Ciekawym pomysłem jest też wykorzystanie tej technologii do wykonywania modeli 3D rzeczywistych środowisk, jakie twórcy będą mogli modyfikować w trakcie procesu planowania. Stanie się to znacznym ułatwieniem dla osób pracujących w branży rozrywkowej, a także architektonicznej.