갑자기 등장한 중국의 딥시크로 인하여, 전 세계적으로 충격을 주고 있다. 논란의 중심에 있는 것은 오픈 소스(코드가 공개된 소프트웨어로 설계도를 누구나 접근해서 열람할 수 있도록 공개된.)로서 어마무시한 성능을 보이는 딥시크 R1이라는 AI모델이다. 해당 모델이 논란이 되었던 것은 현재의 구글, 메타, 오픈AI 같은 선두주자들이 하고 있는 방식과는 완전히 다른 방식으로 훨씬 더 적은 GPU를 활용해서 이러한 성능을 이끌어 냈다는 것이다. 특히나 이런 내용들에 살과 뼈가 붙고 증폭이 되면서 현재 세계적으로 거품이 끼어있다. 논문의 내용을 정확하게 살펴보지 않은 상태로 이런저런 카더라같은 사실 확인이 되지 않은 상태로 ‘야 엔비디아 GPU 똥값 되겠다’ 라던가 ‘ChatGPT 망할거다’ 같은 온갖 이야기들이 막 떠돌고 있다. 특히나 이런 쪽의 이야기에 민감한 주식시장에 큰 영향을 주어 엔비디아의 주식이 12%가량 폭락하는 사태도 같이 발생하였다. 논문을 꼼꼼히 읽어본 입장으로서 너무 우려가 과장되어 있는 것 같아 오늘 딥시크 사태에 대해서 최대한 알기 쉽게 풀이해 보고자 한다.
논란이 되고있는 딥시크 R1이라는 모델에 관한 논문을 보면, R은 상징적으로는 Reinforcement Learning(리인포스먼트 러닝 : 강화 학습)이다. 이 ‘강화 학습’ 만으로 학습된 모델이라는 개념을 처음으로 제시를 했는데, ‘이것이 효율이 아주 좋더라’ 라는 것을 배경에 깔고 넘어가야 엔비디아, 마이크로소프트가 망할지 오픈 AI가 못따라 잡을지 이런걸 판단할 수가 있다. 물론 필자도 100% 정답이라고 장담을 못한다. 하지만 쭉 관심 있게 지켜봐온 사람으로서 최대한 많은 자료조사를 통한 객관적인 판단으로 내놓은 답이다.
다시 돌아와서 이번에 딥시크 R1 이라는 모델을 냈다. 해당 모델은 ‘R1 0’라는 모델의 개선형인데, 여기서 ‘0’ 을 빠르게 설명하자면 이세돌 9단과 싸웠던 알파고의 후기 모델 ‘알파고 Zero’ 의 그 ‘Zero’ 즉 ‘0’ 이다. 이처럼 강화학습을 베이스로한 AI라는 것인데, 사전 학습 없이 강화 학습만을 이용하여 챗GPT의 가장 우수한 모델을 따라잡았다는 것이 현재 가장 놀라운 부분인 것이다.
그러면 질문은 ‘강화 학습은 무엇이고, 지도학습은 무엇일까?’ 로 넘어가게 된다.
최대한 짧고 간단하게 설명하자면 현재 거의 대부분의 AI들이 학습으로 채택되고 있는 방식은 지도학습이다. 이는 수많은 데이터를 통하여 학습하는 것으로, 즉 경험으로 다음을 예측하는 것이다. 예시로 들자면 ‘철수야 이리로 와줄래?’ 라는 문장을 보자. AI 모델 에게 ‘철수야 이리로’ 까지만 알려주고 마지막 문장을 완성 시키는 정답이 있는 과제를 주었을 때, 지도학습으로 대량의 텍스트를 학습하면 할수록 그다음에 오면 어울리는 단어 예측의 정확도가 올라갈 것이다.
딥시크가 채택한 강화학습이라는 것은 처음에 정답이 없는 상태에서 시작한다. 알파고 제로도 마찬가지였다. 바둑을 이세돌 9단이 그동안 두었던 실존했던 정답이 존재했던 기보를 봐가면서 학습을 하던 것이 초기단계였다. 하지만 알파고 제로가 되면서 정답 없이 모델이 스스로 이것저것 시도를 해 보면서 좋고 나쁨이 무엇인지 후에 학습하게 되었는데, 그것이 생각보다 효율적이고 괜찮아서 채택된 것이다. 특히나 차이점으로는 보상이라는 것이 있는데, 정답에 가까운 답변을 할수록 보상(점수)도 높게 나오는 형식으로 제공하였다. 그럼으로써 모델이 환경과 상호작용 하면서 자기가 알아서 성장하는 방식이다.
정리하자면 딥시크 R1은 보통의 기본적인 AI모델들이 하는 다양한 텍스트 및 수많은 정답에 대한 학습을 통해 다음 단어를 예측하는 그런 형태가 아닌 정답이 필요 없이 알아서 보상을 높게 받게끔 유도를 했더니 이렇게 되었다 라는 것이다. 기존의 챗GPT는 RLHF 방식을 사용하였는데 사실상 이것도 강화학습은 맞다. HF가 무엇인가 하면 바로 Human Feedback(휴먼 피드백)이다. 기존 AI모델은 강화학습은 강화학습인데 모델이 환경과 스스로 상호작용하면서 개발되는 방식이 아닌, 철저하게 인간이 피드백을 직접 주면서 강화 학습을 적용하는 방식이다. 이 방식으로 챗GPT의 성능이 상당히 향상되었다. 사람으로 비유하자면 방과후에 학원에 가서 추가로 교육하는 느낌으로 이해 하면된다. 그런데 딥시크 R1 0의 경우에는 사람의 피드백도 아닌 AI가 스스로 보상을 주면서 스스로 학습을 했더니 잘된다는 것이다. 이 부분이 우리가 알아야할 핵심이고, 전세계의 전문가들이 놀라워하는 부분이다.
물론 핵심 질문은 진짜 이 기술이 세상을 뒤엎을 것인가이기에 여기에 포인트를 주겠다. 딥시크 R1의 가장 큰 특징으로는 AI가 AI를 평가하는 방식을 사용하여 인간의 개입 없이 학습을 하는 것인데, 아주 재미있게도 AI가 Aha Moment(아하 모멘트 : 말 그대로 아하! 하는 순간)가 발생 했다라는 것이다. 기존의 AI는 정해진 틀대로 CoT(Chain of Thought : 생각의 연결고리)에 따라 학습을 하는데, R1은 자기가 알아서 계속 강화학습을 해보니 자연스럽게 더 깊은 사고 과정을 거친다는 것이다.
또한 딥시크가 오픈소스로 공개한것은 어쩔 수 없는 유일한, 전략적인 선택이었다. 중국이 인류의 발전을 위해 순수하게 소스를 공유하여 이바지하려는 마음이 아니라 오픈소스를 선택함으로서 이용자 수가 많아지며 데이터를 효과적으로 수집하려는 것이다. 그래서 아이러니하게도 자본주의 사회의 닫힌 모델(챗GPT)와 공산주의 사회의 열린 모델(딥시크)가 탄생한 것이다.
그런데 현재 들고 있는 의문이, 미국을 필두로 한 전 세계적으로 중국에 대한 AI 견제 행정명령으로 인하여 중국이 갖고 있는 GPU가 오래된 것들이 많을 테고 그마저도 숫자가 많지 않을 것이다. 우회 수입하여 가져갔다 해도 한계가 있었을 텐데 이런 좋은 모델을 만들어 여러가지 혁신적인 기술을 선보였다. 그로 인해 빅테크 기업들에서 사용하는 비싼 GPU들이 사실은 영향이 크지 않은 것이 아닌가 소문이 돌고 있는 것이다.
일단 순수하게 강화학습 만으로 강력한 성능을 구현했다는 것은 팩트다. 논문에서 공개한 성능 지표도 다 팩트라고 하자.
현재 딥시크가 공개한 기술이 대체 불가한 기술인가? 답은 아니다. 이미 이들은 논문으로 오픈소스를 공개를 한 상태이고, 다른 기업들이 못따라간다 이런 것은 잘못된 이야기이다. 오히려 현재 수많은 AI 연구원들에게 다른 방식으로 볼 수도 있다는 생산적이고 긍정적인 메세지가 되었다. 놀라운 것은 중국에서 이런 일이 발생했다는 것이다.
NVDIA는 망한다? 이것은 정말 잘못된 추측이라고 생각한다. 현재 나온 최신 AI 기술들이 우리 인류의 마지막 기술이라고 가정한다면 맞는 말이다. 그럼 당연히 값싸고 성능 낮은 GPU를 사용하는 딥시크가 정답이기 때문이다. 아주 잠시만 생각 해봐도 저런 성능 낮은 GPU에서 저런 AI가 나왔는데, 더 좋은 성능을 가진 GPU 또는 AI 칩을 가지고 무얼 만들 수 있을지 조금만 상상 해보면 답은 금방 나온다.
딥시크 사태로부터 우리가 알아야 될 핵심은 ‘저런 낮은 하드웨어로도 강화학습이란 것을 통하여 알고리즘을 최적화를 하다보니 기존의 사전학습을 통해 여러가지 방법으로 AI를 괴롭히던 방식보다 잘 나오는 케이스도 있더라’는 이 메세지 하나밖에 없는 것이다. 정말 좋고 인류에게 도움이 되는 훌륭한 사례임은 부정할 수 없는 팩트이다. 절대 중국의 업적을 폄하하는 것이 아니라 그들은 그냥 좋은 본보기가 되어 주었다.
현재 이순간이 끝이 아니라 우리 인류는 끊임없이 발전하고 있다는 것을 전재로 깔고 생각을 해야된다. 오히려 빅테크 기업들의 넥스트 모델들은 더 비싼 더 좋은 더 많은 장비와 환경 그리고 자본으로 이 기술을 사용해서 더 대단한 무엇인가 나올 그런 AI 붐이 일어날 것이라고 추측한다.
> comments
댓글
댓글 쓰기