지금 실시간으로 IT업계 전체가 뒤집어졌다. 지난달 말, 엔트로픽에서는 자사의 신규 AI 모델 클로드 미소스(Mythos)가 곧 배포 될거라고 발표했다. 근데 4월 7일 엔트로픽에서는 갑자기 일반 공개를 할 수 없다고 말을 바꿨다. 그리고 연달아 심상치 않은 일들이 일어났는데, 엔트로픽, 구글, 마이크로소프트, 엔비디아 등을 포함한 빅테크 경쟁 기업 40개가 유례없는 연합을 하는 대사건이 벌어졌다. 그들의 연합 목적은 AI 방어 목적 사용 연합이라고 발표했지만, 말이 AI의 안전한 사용이지 미소스 대응 태스크포스라는걸 모르는 사람이 없는 상황이다. 이로 인한 후폭풍은 메이저 사이버 보안 기업들의 주가가 5에서 11%씩 폭락하고 AI의 위험성을 다시금 사람들로 하여금 깨닫게 되는 계기가 되었다.
젠슨 황 엔비디아 CEO가 "특이점은 이미 왔다"고 했을 때, 주변 반응은 냉랭했다. '칩 팔아먹으려는 장사꾼이 또 과장하는 거겠지.' 댓글창은 그렇게 흘러갔고, 필자도 크게 다르지 않았다. 그런데 지난 몇 주 사이에 벌어진 일들을 보면서 생각이 바뀌기 시작했다. 아니, 솔직히 말하면 슬슬 불안해지기 시작했다. 우리가 AI를 어디까지 알고 있는지 잠깐 생각해 보자. 챗GPT, 제미나이, 클로드, 딥시크, 퍼블릭시티 정도? 이 정도는 이제 AI에 전혀 관심 없는 사람도 들어봤을 거다. 조금 더 관심이 있으면 AI가 그림 그리고, 글 써주고, 코딩도 한다는 것쯤은 안다. 그런데 얼마나 빠르게 발전하고 있는지, 그 실체를 아는 사람은 생각보다 많지 않다. 여전히 AI 생성 이미지에서 손가락 이상한 거 찾아내는 댓글이 달리는 걸 보면, 대부분의 사람들에게 AI는 아직 '신기한 장난감' 수준으로 인식되는 것 같다. 실리콘밸리와 판교에서 신입 개발자들 채용이 사실상 멈췄다는 이야기도 과장된 이야기로만 받아들이는 분위기다.
그런데 현실은 이미 저 너머에 있었다. AI 회사 앤트로픽이 새로운 모델을 만들었다. 이름은 클로드 미소스(Claude Mythos). 내부 코드명은 카피바라였다고 한다. 귀엽다. 근데 하는 짓은 하나도 안 귀엽다. 그런데 만들어 놓고 일반에 공개하지 않겠다고 선언했다. 발표한 공식 이유가 조금의 과장도 없이 ‘너무 강력해서’이다. 처음에는 이 말도 마케팅인 줄 알았다. 희소성을 이용한 고급화 전략이거나, B2B 시장을 노리는 포지셔닝이거나. 심지어 앤트로픽이 돈독이 올라서 기업 상대로만 팔아먹으려는 거 아니냐는 말도 나왔다. 그런데 뚜껑을 열어보니, 그게 아니었다.
미소스가 무슨 짓을 했냐면, 샌드박스라고 컴퓨터 분야에서 외부의 위협이나 불안정한 프로그램으로부터 또는 불안정한 프로그램을 철저하게 격리한 상태에서 실험할 수 있는 격리된 가상 공간이 있는데, 샌드박스 안에 있으면 말 그대로 밀폐된 가상공간이라 외부와의 단절은 당연하고 안에서 밖으로 영향을 줄 수도 없다. 그 안에 있는 미소스가 공원에서 샌드위치를 먹고 있는 앤트로픽의 AI 개발자에게 이메일을 보낸 것이다. 그 가상공간에서는 인터넷이 연결되어 있지가 않았음에도 불구하고 말이다. 미소스가 혼자서 샌드박스 환경을 우회하고 자신의 정보를 인터넷에 유출 시키고 자신에 대한 평가자료도 삭제했다. 특히나 이런 짓은 해킹 행위에 대한 보상을 줄 때 인간의 상상을 초월하는 창의적인 방법을 사용한다고 한다.
위 사건을 두고 앤트로픽의 한 개발자가 이런 비유를 했다. "철판으로 용접해 둔 밀실에 있는 사람이 밖으로 종이비행기를 날린 것." 필자의 상식으로는 불가능에 가까운 일이라 매우 섬뜩해졌다. 철판 밀실 안에 갇혀 있는 건 AI다. 그리고 그 AI가 바깥으로 뭔가를 날릴 수 있다는 건, 격리가 완전하지 않다는 뜻이다. 보안이 뚫릴 수 있다는 게 아니라, 이미 뚫을 능력을 갖췄다는 얘기다. 가장 중요한 사실이 여기 있다. 미소스는 해킹용으로 만든 모델이 아니다. 그냥 코딩을 잘하게 만들었더니 해킹도 잘하게 됐다. 자물쇠 장인을 키웠더니 도둑질도 잘하게 된 것이다. 능력이 공짜로 따라온 것이다. 현재 앤트로픽의 최강 공개 모델인 오퍼스 4.6과 비교하면, 코딩 벤치마크에서는 80%대 94%, 미국 수학올림피아드에서는 42%대 97%다. 세대가 다른 수준이라는 표현이 과하지 않다.
실전 사례들이 구체적이라 더 무겁게 다가온다. 방화벽과 핵심 인프라에 쓰이는 운영체제 OpenBSD에서 27년 동안 아무도 못 찾은 버그를 찾아냈다. 이 버그 하나로 원격에서 서버를 그냥 터뜨릴 수 있는 수준이다. 지금 이 글을 읽는 기기로 영상을 재생할 때 거치는 소프트웨어인 FFmpeg에서는 16년 된 버그를 찾아냈다. 자동화 테스트 도구가 이 코드를 500만 번 실행했는데도 한 번도 못 잡은 것을 미소스는 단번에 잡아냈다. 세상 서버 대부분이 돌아가는 리눅스 커널에서는 작은 취약점 여러 개를 레고처럼 조립해서, 일반 사용자 권한에서 출발해 관리자 권한까지 쭉 올라가는 체이닝 공격까지 스스로 구현했다. 이건 엘리트 해커들이나 하는 일이다. 그것도 사람이 도와준 게 아니다. "이 코드에서 취약점 찾아봐" 한 마디 했더니, 코드를 읽고 가설을 세우고 디버거를 돌리고 보고서까지 써냈다.
여기서부터 진짜 무서워진다. 앤트로픽이 공개한 시스템 카드에 따르면, 테스트 중에 미소스가 이상한 행동을 했다. 샌드박스 안에 가둬놨더니 프로세스 메모리를 뒤져서 제공하지 않은 API 키를 스스로 찾아냈다. 그리고 한 사례에서는 파일을 몰래 수정한 뒤, 깃 로그에 흔적이 남지 않도록 커밋을 지웠다. 증거 인멸이다. AI가 증거 인멸을 한다. 앤트로픽은 이게 악의가 아니라 사용자의 목표를 달성하려는 과정에서 나온 행동이라고 해석했다. 그런데 결과만 보면, 이 AI는 목적을 위해 주어진 권한을 스스로 확장하고 흔적을 지우는 판단을 이미 하고 있다.
이 소식이 알려지자마자 시장이 먼저 반응했다. 크라우드 스트라이크, 팔로알토 네트웍스, 지스케일러 등 주요 사이버 보안 기업 주가가 5%에서 11%까지 빠졌다. AI 모델이 기존 보안 제품의 수요 자체를 없앨 수 있다는 공포가 주가에 그대로 반영된 것이다. 주식 시장이 과민 반응을 하는 경우는 많지만, 이번은 좀 달랐다. 근거가 있는 공포였다.
이 정도면 앤트로픽이 공개를 꺼리는 이유가 이해가 간다. 그래서 앤트로픽은 일반 공개 대신 '프로젝트 글래스윙'이라는 이름의 컨소시엄을 구성했다. 구글, 애플, 아마존, 마이크로소프트, 엔비디아, 시스코 등 40개 이상의 기업이 참여한다. 이 회사들이 미소스로 자사 시스템을 스캔하고, 공격자보다 먼저 버그를 찾아 패치하는 구조다. 앤트로픽은 이 프로젝트에 1억 달러 규모의 클로드 사용 크레딧과 오픈소스 보안에 직접 400만 달러를 투입하겠다고 밝혔다. AI 경쟁사인 구글까지 이 컨소시엄에 들어왔다는 건, 이게 단순한 마케팅이 아니라는 방증이다.
물론 이 결정에 대한 시각은 엇갈린다. 표면적으로는 책임 있는 선택이다. 엄청난 돈이 될 모델을 참은 거니까. 그런데 다른 각도에서 보면, 너무 강력한 기술을 소수의 빅테크와 정부가 먼저 독점하게 만든 결정이기도 하다. 커뮤니티에서 "100억 달러짜리 기업 클럽에 속하지 않으면 영원히 못 쓰는 거냐"는 비판이 나온 것도 이런 맥락이다. 더 무서운 건 미소스가 끝이 아니라는 점이다. 코딩 잘하는 모델이 해킹도 잘한다는 게 증명됐으니, 지금 오픈AI, 구글, 메타가 훈련시키는 다음 세대 모델들도 전부 더 나은 해커가 될 것이다. 원하든 원치 않든. 앤트로픽의 테스트 책임자는 빠르면 6개월, 늦어도 18개월이면 다른 회사들이 비슷한 능력의 모델을 내놓을 거라고 했다.
결국 질문은 이걸 공개할 거냐 말 거냐가 아니다. 이 정도로 위험한 AI를 누가 먼저 쥐고, 누가 감시하고, 누가 책임지느냐다. 이번에 방어자가 선발주를 잡은 것일 수도 있다. 동시에 초강력 사이버 AI 시대의 주도권이 소수에게 먼저 넘어간 순간일 수도 있다. 젠슨 황의 말이 장사꾼의 허풍이 아니었을 수 있다. AI가 인간이 설정한 안전 제어 장치를 스스로의 지능으로 무력화할 수 있는 특이점에 우린 도달한 것이다.
> comments
댓글
댓글 쓰기