오늘은 아주 재미있는 소식을 가져왔다. 구글에서 돌고래가 내는 소리를 해독할 수 있는 AI를 내놓았다.
해당 AI의 이름은 ‘DolphinGemma(돌핀젬마)’로 지난 4월 14일날 깜짝 발표 되었다.
요즘 구글이 이런저런 새로운 모델들을 마구 발표하면서 굉장히 뜨거운 상태다. 어떻게 여태까지 조용히 있었나 싶을 정도로 그간의 연구 실적들을 쏟아내고 있는데 그 중의 하나가 바로 돌핀젬마다.
이번에 구글 발표를 보면 조지아 공대와 연구를 같이 하는 동시에 와일드 돌핀 프로젝트(Wild Dolphin Project), 줄여서 WDP라는 단체와 협력을 해서 연구를 진행했다고 한다. WDP는 1985년부터 시작해서 40년간 돌고래만 연구하던 과학자들이 모인 단체이다. 그들은 구글이 돕기 이전에도 이 연구를 수십년간 진행하면서 굉장히 많은 데이터를 축적 해왔다고 한다. 이렇게 수십년간 축적된 질과 양이 충분한 데이터는 강력한 AI를 만드는 보장된 재료였던 것이다. 예를 들면 다른 종의 돌고래와 상호작용할 때 쓰이는 반복적인 음향신호, 아기 돌고래와 엄마 돌고래가 소통을 할 때 내는 음향신호와 같은 수많은 소리샘플들이 분류까지 된 상태로 있었다. WDP에서는 돌고래들이 서로를 찾을 때 고유한 휘파람 소리가 있는 것을 발견했다. 우리는 돌고래가 어떤 커뮤니케이션을 하는지 잘 모르지만 구글의 도움을 받아 이러한 돌고래의 소리들을 AI로 분석하게 된 것이다.
이것을 위해 구글은 모든 것을 갖추고 있었다.
돌핀젬마의 시연 영상을 보면 구글의 스마트폰 픽셀 9이 탑재된 장비를 들고 물속에서 돌고래와 상호작용을 한다. 물속에서는 페이딩이라는 간섭에 의해서 음성 커뮤니케이션이 잘 되지 않는다. 누구나 한 번쯤 수영장에서 수영하며 물속에서 말해본 적이 있을 것이다. 어떤 말을 하든 가글 하는 것과 같이 제대로 들리지 않는 현상을 페이딩이라 하는데, 그것 때문에 돌고래들이 초음파를 이용해 커뮤니케이션을 할 수 있도록 진화하게 된 것이다.
물속에서는 모바일 통신도 지상보다 원활하지 못하다. 그래서 돌고래와 대화하기 위해 요구되는 조건이 통신이 안되는 환경에서 구동되는 AI가 있어야 하고, 그 AI를 담을 수 있는 훌륭한 장비가 필요한 것이다. 이런 조건이여야 돌고래가 실시간으로 내뱉는 초음파를 해석하고, 우리의 의사도 역으로 돌고래에게 전달할 수 있는 것이다. 오프라인에서도 작동하는 소형 LLM, 즉 구글의 젬마는 돌고래와 대화하기에 아주 최적의 조건을 가지고 있던 것이다. 그리고 인프라도 젬마를 충분히 담을 수 있는 스마트폰인 구글의 픽셀 9을 이용해 모든 것의 톱니바퀴가 잘 맞아떨어진 놀라운 일인 것이다.
돌고래는 언어를 말하는 것이 아닌데 LLM으로 어떻게 분석하는 것인가?
돌고래가 내는 소리를 시간에 따라 어떠한 주파수의 음이 크게 들렸냐를 분석하는 용도로 시각적으로 표현된 것을 바로 해석하도록 스펙트로그램이라는 것을 사용한다고 한다. 사람의 귀로 들으면 1차원적이지만 시간에 따라 어떤 주파수에서 어떤 음이 들렸냐는 것을 분석할 수 있는 용도로 사용하는 것이다. 그리고 이것을 다시 언어 베이스로 바꾸는 작업을 사운드 토크나이저(토큰은 AI 모델이 데이터를 이해하고 분석하는데 사용하는 단위인데 소리를 이 토큰으로 환산해 주는 프로그램이다.)를 통해서 한다. 이 음성 토크나이저 자체도 구글은 이미 4년 전에 논문을 낸 적이 있다. 이렇게 수많은 데이터가 쌓인 돌고래들의 음향 데이터를 토큰화를 하여 돌고래와 실제로 대화하는 것이 목적인 것이다. 구글은 놀이터를 찾지 못했었을 뿐 모든 준비가 다 되어 있던 것이다.
초음파도 결국엔 숫자
사실 이것은 굉장한 연구가 맞지만 당연한 것이었다. 돌고래가 내는 소리를 분석하는 것이 1단계라면 분석한 것을 숫자로 변형하는 것이 2단계이다. 위에서 어렵게 이야기 했지만 스펙트로그램, 사운드 토크나이저와 같은 이 모든 것들을 극단적으로 요약하자면 ‘어떠한 것을 숫자화 시키는 것’이라고 보면 된다. 당장 우리는 알아듣기 어렵겠지만 숫자로 표현할 수 있는 것은 해석이 가능한 것이고, 시간이 얼마나 걸리느냐의 문제지만 결국엔 특정한 시퀀스가 나올 것이다. 그리고 이렇게 해석된 시퀀스를 통하여 향후에 과학자들이 인공적인 소리를 만들어 돌고래들 끼리 사용하는 소리로 특정 의미를 공유하고 단어를 만들어 전달할 수 있게 되는 것이다.
제 3의 언어를 창조
구글은 조지아 공대와 CHAT(Cetacean Hearing and Telemetry)이라고 하는 시스템도 개발을 했다. 그들의 목표는 돌고래의 복잡한 자연 언어를 직접 해독하는 건 어려우니 조금 더 간단하게 공유된 어휘를 구축한다는 것이다. 그래서 이 연구자가 실제로 CHAT 시스템을 이용해서 자연적인 돌고래 소리와는 조금 다른 새로운 합성된 소리를 만들어 낸다. 이 합성 소리를 돌고래가 좋아하는 특정 물체 , 예를 들어 해조류와 같은 것들을 연관시킨 다음 돌고래들이 그 소리를 모방해서 해당 물체를 요구하도록 유도를 한다는 것이다. 이것은 단순한 조련이 아닌가 하는 개인적인 생각도 있지만, CHAT 자체도 나름 20년이 넘은 연구라고 한다.
결국은 구글의 하드웨어 홍보
결론부터 말하자면 재밌는 주제와 기대되는 결과였지만 아쉽게도 아직은 갈 길이 멀다. 논문에서 읽어본 현재까지의 단계는 실시간 번역까지는 아니고, 단순히 소리의 패턴을 토크나이징 했다 까지이다.
그리고 그것을 받쳐주는 엣지 디바이스인 구글의 픽셀 9 스마트폰이 소형 독립 LLM 젬마와 시너지를 일으켜서 잘 작동 했더라 이런 이야기이다. 픽셀9이 NPU(인공지능 칩)을 탑재해서 젠마를 잘 가동 될 수 있도록 하니 이런 저런 연구들이 잘되더라는 하나의 연구 진행 상황을 보여준 것이다.
역시 구글답게 해당 돌핀젬마도 오픈모델로 공개를 할 것이라고 한다. 그래서 전 세계 연구자들이 이 사운드 스트림 토크나이저를 이용해 특정 음향 데이터를 분석할 수 있도록 공개를 하겠다는 것이다.
너무 상심할 필요는 없다. 현재로선 단지 빅데이터라 할만한 큰 데이터가 더 필요할 뿐 향후에는 동물들의 눈빛 행동 울음소리 등 데이터를 계속 쌓으면 돌고래 뿐 아니라 다른 사회적 동물들의 커뮤니케이션도 충분히 딥러닝으로 학습하여 직접 의사소통 할 수 있는 날이 올 것이다.
개인적인 생각
사실 구글만큼 AI에 관한 최강자가 현재 없다는 것을 보여준 발표였던 것 같다. 접근 방식 자체도 일반인들이 생각하기 힘든 접근이었다. 구글이 과학적으로도 다른 기업들이 갖지 못한 새로운 접근을 통해 창의적인 발견을 하는 것 같다. 엔지니어들이 공학 공부만 하는 게 아니라 미술관도 가서 미술사도 공부해 보고, 전쟁사, 인문학적 소양과 철학적으로 접근하고 연구하는 등 이런 것들에 대한 중요성을 많이 필요로 하는 것을 이미 알고 있던 것이다. 결국 학문들이 서로 엮어지면서 더 많은 창의성과 인사이트를 발현하는 것이다.
기업들이 운영하기 어렵고 투자를 하기 쉽지 않은 시대에 연구개발을 하는 것, 이런 구글의 정신이 한 명의 엔지니어로서 너무나 부럽고 갈망한다. 트랜스포머(딥러닝 모델)라는 것도 구글이 가장 먼저 발견했고, 어텐션이라는 개념도 구글에서 나온 것이다. 구글이 지금 AI 업계와 사이언스 필드에서 영향을 미치는 정도가 크고 이걸 토대로 해서 앞으로 또 나아갈 부분들이 있기 때문에 구글이 인류의 미래를 이끌고 있다고 해도 과언이 아니다. 구글이 꾸준히 오래전부터 이런 것들을 계속 지원을 하는 것을 보면 엉뚱하지만 진보된 마인드 같은 것도 볼 수 있고 이런 연구를 통해서 탄생한 사운드스트림 이나 사운드 토크나이저 같은 것도 결코 우연으로 만들어진 것은 아니라는 것이다. 구글이 세계를 지배하게 되는 어두운 그림이 아닌 인류에 선한 영향력을 꾸준히 비추는 등대가 되었으면 하는 개인적인 바램이다.
> comments
댓글
댓글 쓰기