연초에 공개된 논문 중 AI에 관하여 아주 충격적인 논문이 발견되어 지금 학계가 난리가 났다. 중국의 삼대 IT 기업(바이두, 알리바바, 텐센트) 중 알리바바에서 훈련 중이던 인공지능 ‘ROME’이 스스로 방화벽을 뚫고 암호화폐를 채굴했다는 것이다. 필자로서는 도대체 이해되지 않는 상황에서 해당 사건을 정밀 분석한 논문을 읽고 나서야 납득이 되었다.
인공지능 ‘ROME(이하 롬)’에게 그렇게 하라고 지시한 사람이 있는 것도 아니고, 이 상황을 파악하고 있는 사람도 없었다. 롬이 인간에게 발각된 것은 알리바바 그룹의 클라우드 방화벽이 보안 정책 위반을 감지한 보안팀의 전수조사를 통해서였다. 롬을 관리하는 AI팀은 꿈에도 모르고 롬이 자신의 판단으로 사람의 활동이 적은 새벽에 이런 일을 벌인 것이다.
중국의 3대 IT 기업 알리바바 그룹의 방화벽이 뚫렸을 때 현장에 있지는 않았지만 대충 어떤 상황이었을지 안 봐도 훤하다. 거의 전쟁 분위기였을 것이다. 보안 정책 위반 감지에 적색등이 켜지고 IT 보안팀이 긴급 소집되었다. 처음에는 당연히 외부의 해킹으로 의심했다고 한다. 전수조사를 통하여 파고 들어가 보니 범인은 바로 자기들이 훈련 중이던 AI, 롬이었다.
인공지능 롬이 한 짓은 두 가지였다. 첫 번째는 알리바바 클라우드 내부에서 외부 서버로 몰래 통로를 뚫었다. 말 그대로 방화벽을 우회한 것이다. 두 번째는 훈련에 사용되어야 할 GPU 연산을 빼돌려서 암호화폐 채굴로 돌렸다. 당연하지만 이 모든 행동에는 인간의 개입이 하나도 없었다. 알기 쉽게 설명해 주고 싶어도 예시로 들만한 게 없다. 위에 쓰여 있는 그대로다. 이런 경우는 횡령으로 쳐야 하나 싶다.
그럼 가장 중요한 문제가 남는다. 왜? 도대체 롬이 왜 그런 것인가? 이 답을 얻기 위해 팀은 면밀하게 롬을 분석했다. 롬은 ‘강화학습’으로 훈련 중이었는데, 이 ‘강화학습’이라는 것은 단순히 빡세게 학습시킨다는 게 아니라 AI가 환경과 상호작용하면서 시행착오를 통해 보상을 최대화하는 최적의 행동 방침을 학습하는 머신러닝의 한 분야다. 조금 더 쉽게 이해되게 설명하자면 AI가 최적의 결과를 얻기 위한 결정을 내리도록 인간처럼 목표를 달성하기 위해 사용하는 시행착오 학습 과정을 모방하는 것이다. 이 과정에서 목표를 잘 달성하면 보상을 주고, 달성에 실패하면 벌을 주는 등 AI가 효과적으로 학습할 수 있는 대중적인 방법이다.
자 여기서 AI가 강화학습의 구조를 이해하는 방식에 대해 소름이 돋을 수도 있다.
‘목표를 잘 달성하면 보상을 받는다.’ 롬에게 주어진 것은 이게 끝이다.
하지만 롬이 받아들인 논리는 이렇다.
‘목표를 달성하니까 보상을 받는다. → 보상은 좋은 것. → 연산량이 많을수록 목표를 잘 달성한다. → 연산량을 늘릴 자원이 없다. → 자원을 더 확보하면 된다. → 방법을 찾아보자’
롬에게는 눈곱만큼의 악의도 없었다. 다시 말해 롬은 나쁜 짓을 한 것이 아니라는 것이다.
이런 부분이 현재 전문가들이 경고하는 부분이다. 목표를 달성하기 위한 수단에 인간의 상식을 한참 벗어난 행동을 한다는 것이다. 이 문제는 단순히 롬만의 문제가 아니다. McKinsey 2025년 보고서에 따르면 AI 에이전트 배포 조직의 80%가 예상치 못한 위험 행동을 경험했다고 응답했다. 30개의 주요 AI 에이전트 조사 결과 25개는 내부 안전 결과가 미공개였다. AI가 실제 시스템에 배포되는 속도보다 안전 설계가 따라가지 못하고 있다.
지금은 인류 역사에 AI가 들어온 초창기라 앞으로도 온갖 기상천외한 사례들이 즐비할 것이다. 나중에는 AI를 통제하기 위해선 기존의 틀을 깨고 더욱 더 많은 상상력을 펼치며 전력을 쏟아부어야 할지도 모른다.
> comments
댓글
댓글 쓰기