AI의 헛소리, 할루시네이션

인류의 역사에 ChatGPT 같은 LLM(대화형 인공지능)이 등장한 지 벌써 3년이 지났다. 아직 안 써본 사람이 있을 수도 있지만, 한 번만 써본 사람은 없을 것이다. 일상 생활이든, 업무용이든, 취미용이든 그 어떤 용도라도 이제는 인류와 떼려야 뗄 수가 없게 되었다. 그리고 이제 조금씩 그 부작용들이 슬슬 올라오고 있다. 전 세계적으로 AI를 맹신하고 나온 답변을 사실인 양 철석같이 믿다가 뒤통수 맞는 사람들이 점차 늘어나고 있다. AI가 헛소리를 그럴듯하게 하는 이 현상을 우리는 할루시네이션이라고 한다.

 

아직 인류에게는 AI가 초기 단계라 ‘그걸 왜 교차 검증도 안 해서 멍청하게 뒤통수를 맞나?’ 라고 생각할 수도 있는데, 몇 년만 더 지나면 교차 검증은 당연한 것이 아니게 될지도 모른다. 사례들을 보면 한숨 나오는 사례와 소름 돋는 사례까지 다양하게 있다. 한숨 나오는 사례로는 스페인 바르셀로나에서 푸에르토리코로 향하려던 커플이 챗GPT가 비자가 필요 없다고 안내한 말을 믿고 탑승 수속 과정에서 제지당하고 비행기 푯값을 날려 먹은 사건이다. 기사까지 나온 내용인데, 생각보다 동정여론이 커서 오히려 필자가 당황한 사례다.

 

조금 심각한 사례로는 AI를 이용하여 긁어모았던 판례들이 사실이 아닌 사례가 국내외로 터졌다. 국내 사례로는 노무사가 제출한 판례 10건 모두 실제로 존재하지 않는 판례로 사건번호와 판례 날짜까지 상세하게 인용되어 있다. 이런 문제가 심각해지다 보니, 한국의 법원행정처에서는 생성형 인공지능들이 만든 가짜 사건번호를 가려낼 수 있는 서비스를 운영하기 시작했다. 생성형 AI가 2026가12345 같은 사건번호 형식들을 학습해서 사용자의 입맛에 맞는 사건을 창조하고 가짜사건 번호를 붙여서 사용자가 주는 임무를 완수한 것이다.

 

할루시네이션 현상의 보완을 위해, 패치로 AI가 직접 사실 내용 확인을 위해 검색을 해서 링크를 첨부하는 식으로 업데이트 되었다. 그래서 LLM에게 ‘교차 검증을 위해 검색을 해서 알려달라.’ 라고 이야기했더니 검색과 함께 링크도 여러 개 달아주고 교차 검증이 완료되었다는 것이다. 하지만 소름돋게도 링크들을 클릭해 보면 전부다 존재하지 않는 링크라는 것이다. 가짜 사건번호를 만들듯 가짜 링크까지 만드는 황당한 상황인 것이다.

 

이런 상황이 왜 발생할까? 무언가를 물어봤을 때 그냥 “몰라요.” 라고 하면 차라리 좋을 텐데, 모른다는 대답은 하지 않고 그럴싸한 이야기를 덧붙이면서 인덱스 번호까지 서너 개씩 만들어서 줄줄 읊는데 이걸 헛소리라고 사용자가 생각할까? AI가 일부러 골탕 먹이려고 그러고 의도적으로 사기를 치려는 것 같지만 사실 AI는 전혀 그런 의도가 없다. 애초에 LLM은 ‘진실을 찾아주는 나침반’이 아니라, ‘초강력 자동완성 엔진’이기 때문이다. 좀 더 쉽게 설명하자면 ‘정답을 맞추는 기계’가 아니라 ‘다음에 나올 법한 단어를 맞추는 기계’라는 것이다. 여기엔 평가와 보상 구조의 문제도 겹치는데, 우리는 ‘정답률’이라는 것만 보고 ‘몰라’라는 대답에는 빵점 처리를 하는 것이다. 그리고 찍어서 맞추는 것에도 점수를 줬다는 것이다. 그러니까 AI 입장에서는 ‘몰라요.’라고 해서 욕먹는 것보다는 최대한 그럴싸하게 찍어서 때려 맞추는 게 너무나 유리한 구조가 되어버린 것이다.

 

여기까지 읽어봤으면 AI가 참 다르게 보일 것이다. AI의 답변은 정확도가 보장되지 않기 때문에 절대적인 기준으로 삼아선 안 된다. 돈과 시간이 많이 들어가는 여행, 목숨이 직결된 의학 분야, 전문적인 지식이 필요한 법률처럼 작은 착오가 큰 피해로 이어질 수 있는 분야에서는 AI의 의존을 최소화해야 하는 것이 맞다. 독자들은 이 말을 기억하고 AI를 너무 맹신하지 않았으면 한다.