최근 메타가 상당히 공격적으로 AI 모델과 서비스를 출시 중에 있는데, 이번에 또 새로운 AI 모델의 소개와 연구논문 두 가지를 보게 되어 오늘 이를 소개하고자 한다. 먼저 Meta의 ‘Segment Anything Model 2’ 다. 이는 줄여서 SAM2로 이는 이미지뿐만 아니라 영상에서 각각의 특정한 부분 또는 객체를 자연스럽게 실시간으로 인식하는 역할을 해주는 기술이다.
이게 말로만 표현하여 설득하기 힘든 굉장한 기술인 이유가 실시간으로 프롬포트하면서 특정한 객체를 완전히 분리해서 사용하는 것이 가능하니까 이 기술이 사용될 곳이 무궁무진해지는데, 단순한 비디오 편집같은 것은 당연하고 CCTV같은 기술에도 도입되면 정밀성이 더욱 올라갈 것이며, 자동차의 자율주행 기술에도 적용되며 화물이나 택배 같은 곳에서도 물류 관리할 때라던가 창고의 재고 관리할 때 그리고 바이오산업의 세포나 세균의 움직임 감지까지 이런 모든 사소한 곳까지도 AI 기반으로 사용이 가능하니까 산업 전반에서부터 굉장한 혁신이 일어날 수도 있는 기술인 것이다.
기존 SAM 모델은 이미지에서만 동작하던 모델이었는데 이번에 비디오까지 기술을 확장하게 된 것이다. 비디오 Segmentation(이미지에서 픽셀 단위로 관심 객체를 추출 이하 세그멘테이션)을 할때 SAM2 같은 경우 스트리밍 메모리라는 것을 활용하여 실시간으로 비디오 프레임을 처리하고 이전에 있는 프레임들을 계속 기억하고 있다가 계속 트래킹을 할 수 있는 형태로 가고 있는 재미있는 알고리즘인데 이를 쉽게 설명하자면, 수 많은 사람들이 움직이는 영상 중 원하는 사람 한 명을 세그멘테이션하면 해당 되는 사람이 강조가 되는데 그 사람이 잠시 카메라의 사각지대에 들어갔다가 나와도 알고리즘이 기억하고 트래킹을 지속한다는 의미이다. 이를 시연하는 데모 영상에서는 비슷하게 생긴 말 한 무리가 뛰어다니는 영상인데 카메라 밖으로 나갔다가 들어와도 문제없이 트래킹이 계속 되었다. 해당 알고리즘에 대하여는 더욱 자세히 설명하고 싶지만 사진을 사용하지 못하는 관계로 넘어가겠다. 여튼 이 모든 과정이 단순한 사용자의 클릭 한 번으로 시작되고 끝나는 굉장한 기술인 것이다.
두 번째 기술은 Codebook Matching(코드북 매칭)이라는 기술인데, VR 헤드셋과 두 개의 컨트롤러만으로 다리의 움직임까지 상당히 정확하게 추정하는 기술이다. 별것 아닌 것 같은 기술이지만 자세히 설명하자면 현재 VR기기들은 흔히 3-Point-Control(3점 추적) 기술이 적용된 장비로 머리에 쓰는 헤드셋과 양손에 드는 컨트롤러 즉 세점의 위치를 이용해서 전신의 움직임을 예측하는 방식이다. 기존에는 모션과 제어 신호의 맵핑을 별도로 학습하는 방식으로 쉽게 말하자면 A자세를 했을 때의 다리 모양 B자세를 했을 때의 다리 모양을 따로따로 학습시키는 방식으로 기본적으로 시간이 많이 소모되는 효율적이지 않은 방식이었다. 특히나 헤드셋의 메모리가 한정적이고 비효율적이지만 실시간으로 이루어져야 하는 방식이기에 화면에 보이는 결과화면 즉 추론화면이 현실적이지 못한 뒤틀린 모습도 나올 때가 많았다.
그래서 과거와 현재의 차이가 무엇인가 논문을 살펴보자면, 과거에는 내가 움직인 것과 케릭터가 움직인 것을 따로 학습해야 했는데 지금은 통합해서 같이 학습을 하겠다는 것이 근본적인 차이인 것이다.
조금더 구체적으로 들어가자면 컴퓨터가 인식하고 있는 단 3개의 점의 XYZ의 움직임으로 인간의 다음 움직임을 끊임없이 예측하며 가장 자연스러운 다리의 움직임도 동시에 출력하는 방식이다. 이 말로 설명하기 힘든 차이는 논문의 데모 예시를 보면 한 번에 이해가 될 것이다.
사실 다리 추정하는 게 뭐가 그리 어렵냐고 할 수 있겠지만 이게 전체 데이터를 다 모아서 잘 학습해서 정확도까지 맞추는 기술이라 위에서도 말했 듯이 정말 몇 되지 않는 정보 즉 점 3개의 XYZ 위치정보 만으로 굉장히 사실감 있는 표현을 할 수 있는 것이기 때문에 거기에 파생되는 다양한 기술들을 더 기대해 볼 수 있지 않을까 하면서 소개해 봤다.
메타가 다양한 AI 모델을 계속 출시하고 서비스 공개를 하다 보니까 AI 경쟁이 이제부터 시작이구나하는 생각도 한다. AI로 실질적으로 돈을 버는 것이 무엇인가 이런 이야기도 있지만 결국 이런 것들이 사용자들에게 어떤 새로운 경험을 줄 것인가가 더욱 중요하게 여겨져 해당 기업들이 더욱 주목받게 되지 않을까 싶다. 관심 있는 분들을 위해 논문 링크를 남겨 놓겠다.
논문 링크
SAM2
https://ai.meta.com/research/publications/sam-2-segment-anything-in-images-and-videos/
Codebook matching
> comments
댓글
댓글 쓰기