영상이라는 것은 프레임별로 사진들을 차례대로 연속해서 보여주는 것을 영상이라고 하고, 그 영상을 재생하는대로 지켜보는 것이 그동안 시청자로서 하는 일이었다. 하지만 오디세이라는 연구가 발표되면서 인터랙티브 비디오, 즉 실시간 생성 AI 영상을 통해 재생 되는 영상 속에서 키보드의 WASD를 통하여 고개를 돌려보기도 하고 영상 속에서 움직이면서 다양한 각도로 직접 영상 속에 있는 듯한 체험을 할 수 있게 되었다. 이제 일방적으로 영상을 수용하는 시대는 지나갔다.
이 연구소의 비전은 단순하지만 강렬하게 끌렸다. 이전에는 알려지지 않았던 스토리를 전달할 수 있도록 지원한다는 것이다. AI에 소설을 학습시켜서 작가가 생각했던 세계관이나 디테일한 묘사 등을 AI로 표현하여 시청자로 하여금 체험할 수 있게 하겠다는 취지이다. 소설 일리아스, 오디세이, 베다 등부터 공자의 논어와 페르시아의 천일야화까지 글을 읽고 머릿속으로 상상만 하던 것들을 직접 볼 수 있게 구현하는 것이다. AI의 급속한 발전과 함께 완전히 새로운 엔터테인먼트의 모습의 방향을 지시해 준 것이다. 이들은 이것을 인터랙티브 비디오(실시간으로 시청하고 상호 작용할 수 있는 AI 비디오)라고 이름 지었다. 그냥 보기엔 매일 시청하는 비디오 같지만, 키보드 또는 휴대폰 및 컨트롤러를 통해 매력적인 방식으로 상호작용하고 참여하는 것을 목표로 하고 있다.
영상을 직접 체험해 보면(https://odyssey.world/, 현재 누구나 무료로 3분가량 체험가능하다.), 일반 영상과는 다르게 WASD를 통해 게임처럼 본인이 가고 싶은, 보고 싶은 곳으로 갈 수가 있다. 이게 무슨 혁신 기술이냐? 그냥 비디오 게임이랑 뭐가 다른 것인지 당연히 의문이 들 것이다. 여기엔 결정적인 기술적 차이가 존재한다. 지금 보고 있는 오디세이의 화면은 비디오도 아니고 게임도 아닌 생성 AI로 ‘실시간’으로 만들어내고 있는 있는 결과물이다. 오른쪽 방향키를 눌러서 오른쪽으로 고개를 돌리게 되면 오른쪽의 화면을 실시간으로 만들어 내서 보여주는 것이다. 여기서 재미있는 점이 발생하는데, 자신이 관찰자가 아닌 주인공으로서 소설의 내용을 따라가다가 소설 속의 주인공과는 다른 선택을 하여 새로운 스토리를 만드는 것이다. 다들 소설을 읽다가 소설 속 인물의 선택에 답답한 적이 있지 않았었는가? 이런 새로운 선택의 스토리를 AI가 즉시 다음 장면을 새로 그려줘서 ‘IF’ 즉 만약에 라는 의문점을 해소 시킬 수 있는 것이다. 놀라운 것은 이것은 0.04초 만에 벌어지는 일이라는 것이다. 그래도 게임과 구분 못하는 사람들이 있을 수도 있을 것이다. 사실 이것이 직관적으로 이해가 안되는 개념은 맞다. 더 단순하게 설명하자면 게임 같은 경우엔 애초에 A를 선택하면 B가 나온다는 개발자가 미리 짜놓은 정해진 알고리즘을 따라가게 되어있다. 하지만 오디세이는 미리 짜여진 것이 없다. AI 감독이 사용자의 행동을 보고 다음에는 이런 장면이 펼쳐지는 것이 흥미롭지 않을까? 혹은 프롬포팅 또는 학습된 소설을 통해 스토리를 이렇게 흐르게 하는 것이 더 자연스럽다 판단을 하며 정해진 답이 아니라 즉시 세상을 창조하는 것이다. 정해진 답이 아닌 ‘Off Limits’ 즉 무한한 가능성을 실시간으로 만들어 내는 것이다. 그래서 이것은 확실하게 게임이 아닌 상호작용 가능한 현실 자체를 시뮬레이션 한다고 정의할 수 있다.
[오디세이의 월드 모델 작동방식]
우리가 흔히 알고 있는 언어 모델이나 이미지 모델 같은 경우 오디세이보다 훨씬 만들기 쉽다. 오디세이의 월드 모델 같은 경우는 잠재 표현(Latent Representation)을 기반으로 해서 다음 상태를 예측(Predict)하고, 예측해서 생성된 출력이 다시 모델의 문맥 업데이트(Update Context)에 적용하여 돌아가 피드백 되는 과정이 있는데 이것을 자기회귀라고 한다. 이 과정에 연산력이 엄청나게 필요하다. 심지어 지금 이 월드 모델은 실시간으로 이걸 처리해야 되다 보니, 체험용 영상들처럼 해상도가 극도로 떨어지는 저퀄리티 영상 밖에 나올 수가 없는 것이다. 하지만 만약에 컴퓨팅의 성능이 좋아지고 알고리즘의 개선이 계속 일어난다면 이제 우리가 흔히 말하는 FHD 급에서도 실시간 월드 모델이 가능할 것으로 예상된다.
[영화 ’레디 플레이어 원‘, 이제 영상도 직접 체험하고 만지고 볼 수 있는 컨텐츠로 진화할 것이다.]
오디세이 측에서는 영상뿐만 아니라 영상을 형성하는 행동까지 학습한다고 주장했다. 처음에는 게임(마인크래프트, 퀘이크 3)으로 학습을 했다고 한다. 수없이 많은 게임 영상으로 먼저 AI를 학습시키고, 나중엔 그냥 사진 한 장으로 시작하여 ‘다음 프레임에는 어떤 프레임이 나와야 맞을까?’ 하는 고난이도 예측 작업을 수없이 반복시키고 이제는 현실 세계의 영상들을 학습시켜 발전 시키는 것이다. 최근의 테슬라의 로봇 옵티머스도 유튜브 영상을 바탕으로 사람처럼 움직이는 것을 학습했다고 발표 하였다. 이처럼 정보의 바다라는 인터넷에 있는 수십억 개의 영상을 학습하면 결국 현실 세계를 학습 할 수 있다는 건데, 실제로 이런 영상들을 테슬라 로봇에 넣었더니 이렇게 다양한 집안일을 할 수 있게 되었다는 것이다. 그 핵심은 ‘이 비디오를 학습해서 세계의 물리법칙 등을 이해하는 게 결국 월드 모델의 시작이다‘ 라는 것이다.
‘월드 모델’은 인간이 AI에게 궁극적 추구하는 방향이다. AI가 세상의 작동 원리 자체(물리 효과)를 이해하고 모델링하는 것을 목표로 하는 것이다. 가장 최신의 AI 결과물인 Veo3를 보면 AI는 확실히 발전하고 있으며 월드 모델에 보다 더 가깝게 다가가는 것이 체감되고 있다. 현실을 완벽하게 이해한 AI는 현실과 똑같은 가상 현실 세계를 구현할 것이고, 그렇게 구현된 세계는 현실에서는 여러 가지 문제로 할 수 없었던 것을 실험해보는 궁극적인 실험장이 될 것이며, 인류에게 천문학적인 금액과 시간을 아껴주어 인류 역사의 새로운 장을 펼치게 될 것이다. 정말 인류에게 새로운 패러다임이 열리게 되는 것이다.
월드 모델은 크게 4개의 계층으로 나뉜다. 다양한 형태의 데이터를 동시에 처리하고 통합하는 계층을 다중 감각 입력 처리 계층이라고 부르고, 물리법칙, 인과관계 등 세상의 작동원리를 내부적으로 표현하는 계층은 세계 표상 계층이라고 부르며, 현재 상태를 바탕으로 미래를 예측하고 가상의 시나리오를 시뮬레이션하는 계층을 예측과 시뮬레이션 계층이라고 부른다. 마지막으로 목표 달성을 위한 구체적인 행동 계획을 수립하는 계층은 행동 계획 계층이라고 부른다. 각 계층은 고유한 기술적 과제를 안고 있다. 다중 감각 입력 처리 계층에서 서로 다른 형태의 데이터를 의미 있게 통합하는 것이 핵심 과제이며 세계 표상 계층에서는 추상적인 개념과 물리 법칙을 효과적으로 인코딩 하는 방법이 문제이다. 이러한 구조적 복잡성으로 인해 월드 모델은 엄청난 물리적인 컴퓨팅 파워를 필요로 한다.
문제는 많지만 궁극적인 목표인 만큼 현실같은 완벽한 월드 모델을 구현하게 되면, 이젠 인간으로서 금기되는 영역인 미래 예측도 불가능한 영역이 더 이상 아니게 되는 것이다. 초현실 적인 미래로 가는 길 중 하나가 월드 모델의 완벽한 구현인 것이다. 목표로서는 확고하지만 아직은 멀리 있지만 확실히 우리는 그곳으로 다가가고 있는 것이 체감되었다. 결론적으로 현재까지의 오디세이 연구는 솔직히 아쉬운 퀄리티지만 오디세이에서도 월드 모델에 가깝게 구현하려고 하는 중간 지점에 있는 듯하다. 그래서 이들의 도전이 새로운 획기적인 도전이라는 것은 인정할 수 밖에 없다. 아마 이것이 완성된다면 컨텐츠 시장을 완전히 바꿀 것이고, 새로운 형태의 엔터테인먼트를 만들어 낼 것으로 예측 된다. 흔히 말하는 가상현실, 정해진 맵을 탐험하는 것이 아닌, 진짜 실시간으로 상호작용할 수 있는 AI로 생성된 환경을 즐길 수가 있게 되는 것이다. 어쩌면 이들의 알고리즘은 월드 모델로 갈 수 있는 지름길이 아닐까 생각도 들었다.
[오디세이의 상호작용 가능한 데모 AI 영상들]
> comments
댓글
댓글 쓰기