입력 : 2022-03-30 12:48:26
- 인스턴트 NeRF, 경우에 따라 1000배 이상 속도 향상
엔비디아는 30일, 2D 사진을 3D 장면으로 전환하는 뉴럴 렌더링 모델인 인스턴트(instant) NeRF를 공개했다.
인스턴트 NeRF는 2D 장면의 이미지를 수 밀리초 안에 빠르게 렌더링해준다. 인버스 렌더링으로 알려진 이 과정은 AI를 사용하여 실제 세계에서 빛이 어떻게 작용하는지 대략적으로 파악해 연구자가 다양한 각도에서 촬영한 소수의 2D 이미지로 3D 장면을 재구성한다.
엔비디아는 이 방식을 신기술인 NeRF(Neural radiance Fields, 뉴럴 래디언스 필드)에 적용했다. 그 결과물인 인스턴트 NeRF는 현재까지 가장 빠른 NeRF 기술로, 경우에 따라 1,000배 이상으로 속도를 향상시킨다.
이 모델은 수십 장의 사진과 더불어 촬영한 카메라 각도의 데이터를 단 몇 초 만에 학습하고, 그 결과 생성된 3D 장면을 수십 밀리초 안에 렌더링할 수 있다.
인스턴트 NeRF는 가상세계의 아바타 또는 장면을 만들거나 화상회의 참가자와 환경을 3D로 캡처하고, 3D 디지털 맵의 장면을 재구성하는 데 사용할 수 있다.
이와 더불어 엔비디아 리서치는 폴라로이드 이미지의 초창기를 기리기 위해, 인스턴트 NeRF를 사용해 즉석 사진을 찍는 앤디 워홀의 상징적인 이미지를 3D 장면으로 재창조했다.
데이비드 룹커 엔비디아의 그래픽 연구 부사장은 "다각형 메쉬와 같은 기존 3D 표현이 벡터 이미지와 유사하다면, NeRF는 비트맵 이미지와 같다. 물체나 장면에서 빛이 방사되는 방식을 조밀하게 포착한다. 그런 의미에서 인스턴트 NeRF는 2D 사진에서 디지털 카메라와 JPEG 압축이 3D 캡처 및 공유의 속도, 용이성 및 도달 범위를 크게 향상시킨 것처럼 3D에 중요한 기술이다."라고 설명했다.
목록
위로