가까운 미래, 가상현실 한복판에 마련된 회의장으로 전 세계 직원들이 하나 둘 입장한다. 놀랍게도 이들은 웹캠으로 촬영된 화상통화나 단순한 외형의 아바타가 아닌, 실사처럼 구현된 자신의 얼굴 그자체로 등장한다. 즉, 현실 속 인물들이 가상현실에 직접 나타나고 자유롭게 소통하는 그야말로 마법 같은 일이 펼쳐진 것이다.
이와 관련해 페이스북의 VR·AR 연구를 총괄하고 있는 페이스북 리얼리티 랩이 지난 13일(미국 현지 시각) 자사 테크 블로그를 통해 놀라운 결과물을 선보였다. 일명 ‘코덱 아바타(Codec Avatars)’로 불리는 해당 프로젝트는 획기적인 3D 캡쳐 기술과 인공지능(A·I) 시스템을 접목해, 실존 인물과 유사한 가상 아바타를 제작하고 사람들 사이의 물리적 거리를 극복하는 연구다.
특히 관련 연구 책임자인 야서 셰이크(Yaser Sheikh)가 공개한 영상을 보면, 두 명의 체험자가 VR HMD를 쓰고 대화를 나누는 장면이 등장한다. 이때 인물들의 오른쪽 화면에 가상 아바타가 등장하는데, 피부 질감이나 머리카락 표현부터 미소 짓는 모습, 눈썹을 찡그리는 표정까지 실시간으로 얼굴 전체 근육을 세밀하게 움직이는 형태로 구현되는 모습을 확인할 수 있다.
다만 야서는 현 시점에서 실사 수준의 가상 아바타를 구현하기 위해서는 상당한 규모의 장비가 필요하다고 설명했다. 실제로 페이스북 리얼리티 랩은 얼굴과 신체 촬영이 가능한 두 곳의 스튜디오에서 수많은 카메라와 대용량 저장장치, 천 개 이상의 마이크를 통해 초당 1GB의 속도로 15분 가량 소규모 참가자 그룹의 3D 물리적 특성 프로필을 기록하고 있다. 특히 전 세계 모든 사람들의 아바타가 실존 인물처럼 느낄 수 있도록 미세한 근육의 움직임까지 표현하기 위해서는 수십억 명의 이용자들이 매일 ‘코덱 아바타’에 자신의 3차원 데이터를 입력해야하는 만큼, 해당 기술의 상용화는 현실적으로 여전히 불가능한 상황이다.
이를 바탕으로 페이스북 리얼리티 랩의 다음 목표는 각 사용자들의 데이터를 확보하기 위한 3D 캡쳐 작업을 보다 간편하고 효율적으로 진행할 수 있도록 인공지능 시스템을 훈련시키는 것이다. 즉, 일반인들도 얼굴과 전신을 촬영한 고화질 스냅사진이나 영상만으로 ‘코덱 아바타’를 어디서나 손쉽게 제작할 수 있도록 기술의 패키지화에 도전하겠다는 의미다. 실제 연구에도 헤드셋의 카메라와 마이크를 통해 피사체의 정보를 캡쳐하고 디지털화하는 ‘인코더’와 해당 코드를 해석해 사람의 외형과 표정을 시청각적으로 완벽하게 변환하는 ‘디코더’라는 두 가지 핵심 기능이 업그레이드될 전망이다.
더불어 이들은 해당 기술이 가상현실 속에서 실제 인물들이 만나고 소통하는 3D 화상채팅에 적합할 것으로 판단하고 있다. 이에 자사가 현재 연구에 활용 중인 프로토타입 HMCs(헤드 마운트 캡쳐 시스템)를 고도화해, 카메라와 자이로스코프, 가속도계, 자력계, 적외선 센서, 마이크 등으로 개인의 얼굴 표정 전체를 실시간으로 캡쳐 가능한 차세대 HMD를 선보이겠다는 포부도 드러냈다.
이외에도 페이스북 리얼리티 랩은 ‘코덱 아바타’ 프로젝트가 인공지능 기반 얼굴 맵핑으로 가짜 동영상을 만드는 ‘딥페이크(Deepfakes)’ 기술 등으로부터 데이터 보안에 대한 위협을 받을 수 있다는 점도 인지하고 있다. 이에 이들은 각 이용자들의 3차원 데이터를 안전하게 보존할 수 있도록 다수의 실용적인 아이디어들을 수집하고 있으며, 개인정보보호 및 IT 전문가들을 대상으로 정기적인 보안 점검을 통해 프로토콜 준수 하에 가장 엄격한 보호장치를 구현하기 위한 노력을 지속적으로 이어나간다는 방침이다.
