인공지능으로 현실 세계 재구성...엔비디아, AI 기반 툴 ‘엔비디아 드라이브 심’ 발표

박지우 기자

입력 : 2022-09-30 18:17:01

- 녹화된 영상 데이터를 시뮬레이션으로 변환

엔비디아가 실제 세계 데이터로 직접 시뮬레이션을 구축하는 새로운 AI 기반 툴인 '엔비디아 드라이브 심(NVIDIA DRIVE Sim)'을 개발했다고 밝혔다.

< 엔비디아, AI로 현실 세계 재구성하는 ‘엔비디아 드라이브 심’ 개발 >

신경 재구성 엔진은 여러 AI 네트워크를 사용해 녹화된 비디오 데이터를 시뮬레이션으로 변환시킨다. 이 새로운 파이프라인은 AI를 통해 환경, 3D 애셋, 시나리오 등등 시뮬레이션에 필요한 핵심 구성 요소를 자동으로 추출한다.

드라이브 심 AI 파이프라인은 다른 3D 애셋을 재구성하기 위해 유사한 프로세스를 따른다. 엔지니어는 애셋을 사용해 현재 장면을 재구성하거나 모든 시뮬레이션에서 쓸 수 있는 큰 애셋 라이브러리를 배치할 수 있다.

에셋을 수집하는 이런 파이프라인을 사용하는 것이 드라이브 심 라이브러리를 확장하고 실제 세계의 다양성과 분포에 맞게 만드는 데 중요하다.

시나리오는 에셋과 결합된 환경에서 시뮬레이션 중에 발생하는 사건들을 말한다. 신경 재구성 엔진은 장면에 나오는 행위자에게 AI 기반 행동을 할당하여 원래의 사건들과 함께 제시될 때 실제 주행에서처럼 똑같이 움직이게 한다.

< AI를 이용해 녹화된 주행 데이터로부터 생성된 3D 시뮬레이션 환경 >

시뮬레이션 내에서 행위자들은 시청각(AV)이나 다른 장면 요소에 따른 변화에 반응하고 대응할 수 있다.

환경, 에셋, 시나리오가 일단 추출된 후에는 드라이브 심에서 재조립되어 기록된 장면의 3D 시뮬레이션을 생성하거나 다른 애셋과 혼합되어 완전히 새로운 장면을 생성한다.

드라이브 심은 개발자가 동적이거나 정적인 객체, 차량 경로, 차량 센서의 위치, 방향 및 매개 변수를 조정할 수 있는 툴을 제공한다.