無에서 有를... AI의 한계는 어디일까

無에서 有를... AI의 한계는 어디일까?

 

24년 2월에 ‘소라(Sora)’라는 동영상 생성 인공지능이 공개되었다. 소라는 동영상 생성 AI로 공개와 동시에 주변을 놀라게 했고, 본인은 경악을 금치 못했다. 그동안 동영상 생성 AI는 여럿 있었다. 런웨이, 피카랩 등과 같은 동영상 AI 스타트업 제품들이 있었지만 지금 이 소라는 급이 달랐다. 소라가 만들어 내는 동영상이 현실과 구분이 가지 않았기 때문이였다.

 

기존 동영상 AI는 처음 3초분량의 영상을 제작, 그리고 이어 4초씩 추가 생성하는 방식으로 영상을 제작 결과는 최장 15초의 영상을 생성했었고 화질도 그리 좋지 않았고 누가봐도 AI로 제작했다고 구분이 갔었다. 근데 이 오픈 AI 소라는 최장 1분 이상의 고해상도 영상을 생성할 뿐만 아니라 기존 동영상 AI는 움직일 때 피사체 주변의 화면이 뭉그러지거나 글자가 깨지는 반면, 소라는 현실과 구분이 가지 않는 그리고 깨짐 현상의 거의 발생하지도 않았다.

 

소라의 출현으로 인하여 영화나 드라마, 광고 등 컨텐츠 제작 시장의 판도가 달라지는 것 아니냐는 전망도 나오고 있는 상황, 할리우드에서는 스튜디오 투자를 중단한 곳이 늘어나기도 했다. 타일러 페리는 영화 스튜디오 확장에 수백억원을 투자 했지만, 소라가 제작한 영상을 보고 스튜디오를 셧다운 한것은 본인이 직접 말한 다 알고 있는 사실이다.

 

그럼 현재 이 소라는 기존의 AI들과 다른 점이 무엇이였을까?

소라가 이런 경악할만한 영상을 만들 수 있었던 가장 큰 이유는 바로 ‘트랜스포머모델(Transformer Model : 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 모델)’과 ‘일반세계모델(General World Model : AI에게 물리적 세계의 법칙을 이해시키도록 학습시키는 모델)’ 이 두 가지에 있었다. 쉽게 풀자면 AI모델 초기 제작 시, 컵이 떨어지면 깨지는 것, 바람이 불면 머리가 흩날리는 것 같은 흔한 물리현상을 자연스럽게 AI가 이해할 수 있도록 구축하는 방식으로 기존 동영상 AI는 물리적 원리를 전혀 알지 못했기에 상당히 기괴하면서 현실과 동떨어진 영상이 나와 자연스러운 영상 생성이 어려웠었다.

 

소라가 문장을 동영상으로 생성하는 과정은 대략 이렇다. 먼저 소라가 입력된 글을 분석하여, 글의 주제와 등장인물, 장소와 시간 그리고 분위기와 같은 중요한 키워드를 찾은 후 방대한 동영상 데이터들을 통해 해당 키워드와 가장 잘 어울리는 동영상 조각을 찾아낸다. 그리고 퍼즐 조각을 맞추듯 작업을 시작하는데 미세한 동영상 조각들을 모으고 모아 영상을 완성해 나가는 방식이다. 영상이 제작되는 과정을 보면 장관이 따로 없는데 처음엔 영상이 좀 흐릿하고 찢어지지만 소라는 전체적인 영상을 1차로 완성한 뒤 여러 단계를 거치며 실시간으로 노이즈를 제거하고 영상의 선명도를 올리는 작업을 수행한다. 앞서 말한 트랜스포머모델이 여기서 확약하는데 이는 글 속의 단어들이 서로 어떤 관련이 있는지 분석하고 이해할 수 있게 해주는 기술인데, 동영상을 잘게 나눠 분석하고 그 조각들 사이의 관계를 파악하여 전체적인 내용을 이해하는 구조이다.

 

소라도 완벽한 것은 아니다. 일반세계모델을 통한 물리법칙을 학습했다곤 하지만 현실과 100% 완벽하게 일치하는 것은 아니기 때문이다. 현실에서도 예측하기 힘들 불확실성같은 물리법칙은 소라도 완전히 이해하지 못했다는 말이다. 예를 들자면 유리가 깨지는 것과 같은 물리적인 현상을 정확ㅎ게 묘사하지 못할 수도 있으며, 긴 시간동안 생성된 동영상은 비논리적이거나 갑자기 나타나는 물체가 포함될 수 있다고 한다.

 

게다가 막대한 양의 컴퓨터 스펙이 필요하다. 일반 크리에이터가 오픈AI의 소라를 사용하려면 엔비디아의 산업용 GPU H100이 약 72만개가 필요한것으로 계산된다. 소라와 같이 제대로 된 AI동영상 서비스를 구현하려면 GPU 구매에만 약 29조 8천억원을 투입해야된다. 또 일부 테스터들은 1분ᄍᆞ리 동영상을 만드는 1시간 이상의 추론 시간이 필요한 것으로 계산되었다.

 

오픈AI는 소라를 공개한 뒤, 소라를 이용한 무수히 많은 영상들이 올라오고 있다. SNS를 통해 그 힘을 충분히 과시하는 중이다. 또한 오픈 AI는 할리우드 스튜디오와 파트너쉽 추진에도 나섰다. 블룸버그는 앞서 익명의 소식통을 인용, 오픈 AI가 미국 LA에서 할리우드 스튜디오와 미디어사, 연예기획사 등과 면담을 가졌다고 보도했다. 이처럼 동영상 AI 소라의 등장으로, 영화 한편에 수조원을 투자하는 영화 제작 업계에도 새로운 바람이 불고 있다.

 

소라의 등장은 생성형 AI 영역의 현신을 의미한다. 생성형 AI의 한계가 어디인지 필자는 그 끝이 어디일지 경외감과 궁금함을 동시에 가지며 이 시대에 살아가는 인류로서 또 한번 감탄하게 된다.