입력 : 2021-06-25 14:57:51
- 클라우드 네이티브 AI 동영상 스트리밍 SDK ‘엔비디아 맥신’ 기반 솔루션
엔비디아가 'CVPR 2021'에서 화상회의용 딥러닝 모델 ‘비드 투 비드 카메오(Vid2Vid Cameo)’를 25일 공개했다. 'CVPR 2021'는 국제 컴퓨터 비전 컨퍼런스다.
;)
< 화상회의를 위한 딥러닝 모델 비드 투 비드 카메오(Vid2Vid Cameo) >
클라우드 네이티브 AI 동영상 스트리밍 플랫폼인 엔비디아 맥신 SDK 기반의 비드 투 비드 카메오는 생성적 적대 신경망을 통해 사용자의 2D 이미지만으로 참여자가 실제 말하는 것과 같은 토킹헤드(taking-head) 합성 영상을 생성한다.
이로써 사용자는 언제 어디서나 증명사진과 같은 모습으로 화상회의에 참여할 수 있게 됐다.
비드 투 비드 카메오는 얼굴 방향 전환 기능, 애니메이션 아바타, 데이터 압축 기능 등을 핵심으로 한다. 비드 투 비드 카메오를 통해 화상회의에 참여하기에 앞서 사용자는 자신의 사진이나 캐릭터 아바타와 같은 참조 이미지를 제출해야 한다.
이후 화상회의를 시작하면 AI 모델이 사용자의 움직임을 실시간으로 포착해 이를 기존에 제출한 참조 이미지에 적용한다.
예를 들어 사용자가 정장을 입은 사진을 업로드하면, 실제로 옷을 갖춰 입지 않더라도 화면에는 정장을 입은 모습으로 보이게 된다. 이는 AI가 사용자의 얼굴 움직임을 기존에 제출한 사진에 매핑했기 때문이다. 참여자가 얼굴을 왼쪽으로 돌려도 AI가 시선 처리를 해주기 때문에 시선은 웹캠을 정면으로 마주하는 모습으로 보인다.
해당 AI 기술은 회의 참석자의 용모를 단정하게 하는 것 외에도, 기존 화상회의에 필요한 대역폭을 최대 10배까지 줄여 지터(jitter) 및 랙(lag) 현상을 방지한다. 해당 기술은 곧 엔비디아 비디오 코덱 SDK에서 AI 페이스 코덱 형식으로 제공될 예정이다.
비드 투 비드 카메오는 이번 주 개최된 온라인 학술대회 CVPR 2021에서 엔비디아의 28개 논문 중 하나로 발표됐다. AI 플레이그라운드에서 리서치 데모를 직접 체험할 수 있다.
목록
위로