AI와 대화하다 보면 황당한 경험을 하게 될 때가 있다. 분명히 조금 전에 말한 내용인데 AI는 모른다고 한다. "아까 파란색 좋아한다고 했잖아요." "죄송합니다, 저는 그런 내용을 기억하지 못합니다." 필자도 처음엔 그냥 넘어갔는데, 생각할수록 이게 단순히 넘길 문제가 아니었다. 한 시간 넘게 맥락을 쌓아가며 작업하다가 갑자기 앞 내용을 못 알아들을 때의 그 허탈함. AI를 매일 쓰는 사람이라면 누구나 한 번쯤 경험해봤을 것이다. 더 황당한 건 이게 AI가 기억을 저장하지 못해서가 아니라는 사실이다. 기억은 다 어딘가에 있다. 다만 제대로 꺼낼 줄 모를 뿐이다. 이 문제는 생각보다 오래됐고, 생각보다 훨씬 복잡하다. 저장 공간의 문제가 아니다. 구조적인 설계의 문제다.
요즘 AI 업계에서 조용히 주목받는 스타트업이 있다. 슈퍼메모리(SuperMemory)다. 이름부터 직관적이다. 이 회사가 내세운 숫자가 있다. 99%. AI가 장기 기억 과제에서 거의 완벽에 가까운 점수를 냈다는 주장이다. 처음엔 솔직히 마케팅 문구처럼 들렸다. 수많은 스타트업들이 그러하듯 벤치마크 숫자로 포장한 과대광고 아닐까 싶었다. 그런데 들여다볼수록 이야기가 달라졌다. 숫자 뒤에 꽤 진지한 기술적 도전이 담겨 있었다.
정확히는 98.6%와 97.2%다. '롱 메모리 이밸류에이션(Long Memory Evaluation)'이라는 벤치마크에서 받은 점수다. 이 테스트는 단순히 긴 글을 외우는 게 아니다. 500개의 질문으로 정보 추출, 멀티턴 추론, 시간 추론, 지식 업데이트 능력을 종합적으로 평가한다. 과거 정보가 뒤엉켰을 때 어떤 게 유효한 정보인지 가려내는 능력까지 포함된다. 기존 상용 LLM들은 이 과제에서 줄줄이 무너졌다. 슈퍼메모리는 90% 언저리였던 이 벤치마크를 99%까지 끌어올렸다. 작은 차이처럼 보일 수 있지만, 10번 중 한 번 틀리는 AI와 100번 중 한 번 틀리는 AI는 실제 업무 현장에서 완전히 다른 이야기다.
그럼 도대체 기존 AI는 왜 기억을 제대로 못 하는 것일까.
오해를 먼저 하나 짚고 넘어가야 한다. AI가 기억을 '저장 못 한다'는 오해다. 사실 기억은 다 저장돼 있다. 문제는 꺼내는 것이다. 상황에 맞게 정보를 꺼내고, 정렬하고, 최신화하는 능력이 약하다. 예를 들어 파란색을 좋아하다가 빨간색으로, 다시 검은색으로 취향이 바뀌면 기존 시스템은 그냥 세 가지 색깔을 다 좋아한다고 결론 낸다. 창고에 물건이 가득 쌓여 있는데 어디 있는지, 아직 쓸만한지 아무도 모르는 상태와 같다. 기억의 문제가 아니라 판단의 문제다.
이걸 해결하려고 나온 게 RAG(Retrieval-Augmented Generation)다. LLM이 학습하지 못한 최신 정보를 별도의 벡터 데이터베이스에 쌓아두고, 질문이 들어오면 관련 정보를 함께 집어넣어 답변 정확도를 높이는 방식이다. 쉽게 말하자면, AI 옆에 거대한 참고 자료 창고를 만들어 놓고 필요할 때마다 꺼내 쓰는 방식이다. 꽤 오랫동안 AI 메모리 문제의 표준 해법으로 여겨졌고, 지금도 많은 기업들이 이 방식으로 AI 서비스를 운영하고 있다. 필자 역시 처음에는 RAG가 기억 문제의 종착점이 될 거라 생각했다. 그런데 RAG에도 명확한 한계가 있다. 기억을 저장하는 방식이 너무 투박하다. 세션 전체를 통째로 집어넣거나, 문서를 기계적으로 잘라 저장한다. 의미 관계는 고려하지 않는다. 시간 흐름도 무시된다. 결국 RAG는 정보를 '검색'하는 도구에 머물렀을 뿐이다. AI가 무엇을 기억해야 할지 '고르는' 능력은 끝내 주지 못했다. 정보를 쌓는 방법은 알아도, 중요한 것과 낡은 것을 구분하는 방법은 몰랐다.
슈퍼메모리는 저장 방식 자체를 바꿨다.
대화를 통째로 저장하는 대신 '의미 단위'로 쪼갠다. 이걸 원자적 메모리(Atomic Memory)라고 부른다. 단순히 자르는 게 아니다. 각 조각을 해석하고, 정제하고, 모호한 표현은 풀어쓴다. 그리고 조각들 사이의 관계를 추적한다. 업데이트(Update), 확장(Extend), 도출(Derive). 세 가지 방식으로 정보가 서로 연결되고 진화한다. 새로운 정보가 들어오면 기존 기억을 덮어쓰거나, 확장하거나, 새로운 사실을 끌어낸다. 단순 저장이 아니라 기억의 생태계를 만드는 것이다. 사람이 경험을 통해 기억을 재구성하는 방식과 놀랍도록 닮았다.
여기서 특히 주목해야 할 부분이 있다. 슈퍼메모리는 각 기억 조각에 두 종류의 시간 축을 붙인다. 문서가 언급하는 시점, 그리고 이벤트가 실제로 발생한 시점. 언뜻 비슷해 보이지만 이 둘은 전혀 다른 개념이다. 이걸 구분함으로써 대화의 의미론적 시점을 정확하게 파악한다. 이게 시간 추론 점수를 크게 올린 비결이다. 검색도 달라졌다. 원본 청크를 바로 찾는 대신, 의미론적으로 유사한 메모리 단위를 먼저 찾고 거기에 연결된 원본 소스를 결과에 넣는다. 표면적인 단어가 아니라 개념의 유사성으로 검색한다는 뜻이다.
이 전체 구조를 슈퍼메모리는 ASMR이라고 명명했다. Agentic Search and Memory Retriever의 약자다. 이름이 유튜브 장르랑 같지만, 전혀 다른 내용이다. 이 시스템이 작동하는 논리를 쉽게 풀어보면 이렇다.
'여러 에이전트가 역할을 나눈다. → 리더 에이전트가 세션 전체를 읽는다. → 서치 에이전트가 의미를 따라 능동적으로 정보를 뒤진다. → 여러 추론 경로를 앙상블 해서 최종 답변이 나온다.'
혼자 다 하는 게 아니라 팀플레이다. 잘 조직된 팀이 복잡한 프로젝트를 처리하듯, AI도 기억을 다루는 방식을 분업화하기 시작한 것이다. 필자 생각엔 이 부분이 슈퍼메모리가 가진 가장 흥미로운 발상이다. 기억을 관리하는 구조 자체를 에이전트로 풀어냈다는 점에서 말이다.
KV 캐시와 혼동하면 안 된다. KV 캐시는 현재 세션 안에서 단어 간 어텐션 관계를 저장하는 기술로, 빠르지만 세션이 끊기면 끝이다. 슈퍼메모리는 그 위에서 작동하는 외부 메모리 계층이다. 여러 세션, 병렬 에이전트, 서로 다른 타임라인의 정보를 동시에 다룬다. 스케일 자체가 다르다. 메모리 계층으로 보면 슈퍼메모리가 가장 위에서 의미를 판단하고, 그 아래 소프트웨어 오케스트레이션 레이어, 컨텍스트 메모리 스토리지, 마지막으로 연산 처리 하드웨어가 이어진다. 이 전체 스택이 맞물려야 AI가 진짜 기억을 가질 수 있다.
하드웨어 쪽도 함께 움직이고 있다. HBM, LPDDR, GDDR, 낸드 플래시까지 메모리 계층화가 빠르게 진행되고 있다. 엔비디아가 하드웨어 관점에서 메모리 분할을 시도하는 것과 달리, 슈퍼메모리의 접근은 소프트웨어와 알고리즘이다. 하드웨어는 꺼내진 기억을 얼마나 빨리 처리하느냐의 문제, 소프트웨어는 무엇을 꺼낼지의 문제. 이 둘이 맞물려야 에이전트 AI가 완성에 가까워진다. 어느 한쪽만으론 부족하다.
생각해보면 사람도 비슷하다. 기억을 잘 한다는 건 많이 외운다는 뜻이 아니다. 지금 이 순간 무엇이 중요한지 고르는 능력이다. 쓸모없는 건 흘려보내고, 오래된 기억도 지금의 상황에 맞게 재해석할 줄 아는 것이다. AI가 그 능력을 갖추기 시작했다. 99%라는 숫자는 그냥 벤치마크 점수가 아니다. AI가 드디어 '기억하는 방법'을 배우기 시작했다는 신호다. 이 기술이 에이전트 AI 전반에 녹아들 때, 우리가 매일 쓰는 AI의 모습은 지금과 꽤 달라질 것이다. 그리고 그 변화가 지금 이 순간에도 조용히, 그리고 빠르게 쌓이고 있다.AI와 대화하다 보면 황당한 경험을 하게 될 때가 종종 있다. 분명히 조금 전에 말한 내용인데 AI는 모른다고 한다. "아까 파란색 좋아한다고 했잖아요." "죄송합니다, 저는 그런 내용을 기억하지 못합니다." 필자도 처음엔 그냥 넘어갔는데, AI와 대화하면 할 수록 이게 단순히 넘길 문제가 아니었다. 한 시간 넘게 맥락을 쌓아가며 작업하다가 갑자기 앞 내용을 못 알아들을 때의 그 허탈함. AI를 매일 쓰는 사람이라면 누구나 한 번쯤 경험해봤을 것이다. 더 황당한 건 이게 AI가 기억을 저장하지 못해서가 아니라는 사실이다. 기억은 다 어딘가에 있다. 다만 제대로 꺼낼 줄 모를 뿐이다. 이 문제는 생각보다 오래돼었고 생각보다 훨씬 복잡하다. 저장 공간의 문제가 아니라 구조적인 설계의 문제다.
요즘 AI 업계에서 조용히 주목받는 스타트업이 있다. 슈퍼메모리(SuperMemory)다. 이름부터 굉장히 직관적이다. 이 회사가 내세운 숫자가 있다. 99%. AI가 장기 기억 과제에서 거의 완벽에 가까운 점수를 냈다는 주장이다. 처음엔 솔직히 마케팅 문구처럼 들렸다. 수많은 스타트업들이 그러하듯 벤치마크 숫자로 포장한 과대광고 아닐까 싶었다. 그런데 들여다볼수록 이야기가 달라졌다. 숫자 뒤에 꽤 진지한 기술적 도전이 담겨 있었다.
정확히는 98.6%와 97.2%다. '롱 메모리 이밸류에이션(Long Memory Evaluation)'이라는 벤치마크에서 받은 점수다. 이 테스트는 단순히 긴 글을 외우는 게 아니다. 500개의 질문으로 정보 추출, 멀티턴 추론, 시간 추론, 지식 업데이트 능력을 종합적으로 평가한다. 과거 정보가 뒤엉켰을 때 어떤 게 유효한 정보인지 가려내는 능력까지 포함된다. 기존 상용 LLM들은 이 과제에서 줄줄이 무너졌다. 슈퍼메모리는 90% 언저리였던 이 벤치마크를 99%까지 끌어올렸다. 작은 차이처럼 보일 수 있지만, 10번 중 한 번 틀리는 AI와 100번 중 한 번 틀리는 AI는 실제 업무 현장에서 완전히 다른 이야기다.
그럼 도대체 기존 AI는 왜 기억을 제대로 못 하는 것일까.
AI가 기억을 '저장 못 한다'는 오해를 먼저 짚고 넘어가야 한다. 사실 기억은 다 저장돼 있다. 저장은 한다. 문제는 꺼내는 것인데, 상황에 맞게 정보를 꺼내고 정렬하고 최신화하는 능력이 약하다. 예를 들어 파란색을 좋아하다가 빨간색으로, 다시 검은색으로 취향이 바뀌면 기존 시스템은 그냥 세 가지 색깔을 다 좋아한다고 결론 낸다. 창고에 물건이 가득 쌓여 있는데 어디 있는지, 아직 쓸만한지 모르는 상태와 같다. 기억의 문제가 아니라 판단의 문제다.
이걸 해결하려고 나온 게 RAG(Retrieval-Augmented Generation)다. LLM이 학습하지 못한 최신 정보를 별도의 벡터 데이터베이스에 쌓아두고, 질문이 들어오면 관련 정보를 함께 집어넣어 답변 정확도를 높이는 방식이다. 쉽게 말하자면, AI 옆에 거대한 참고 자료 창고를 만들어 놓고 필요할 때마다 꺼내 쓰는 방식이다. 꽤 오랫동안 AI 메모리 문제의 표준 해법으로 여겨졌고 지금도 많은 기업들이 이 방식으로 AI 서비스를 운영하고 있다. 필자 역시 처음에는 RAG가 기억 문제의 종착점이 될 거라 생각했다. 그런데 RAG에도 명확한 한계가 있다. 기억을 저장하는 방식이 너무 투박하다. 의미 관계는 고려하지 않고 세션 전체를 통째로 집어넣거나 문서를 기계적으로 잘라 저장한다. 시간 흐름도 무시된다. 결국 RAG는 정보를 '검색'하는 도구에 머물렀을 뿐이다. AI가 무엇을 기억해야 할지 '고르는' 능력은 끝내 주지 못했다. 정보를 쌓는 방법은 알아도, 중요한 것과 낡은 것을 구분하는 방법은 몰랐다.
슈퍼메모리는 저장 방식 자체를 바꿨다.
대화를 통째로 저장하는 대신 '의미 단위'로 쪼갠다. 이걸 원자적 메모리(Atomic Memory)라고 부른다. 단순히 자르는 게 아니라 각 조각을 해석하고, 정제하고, 모호한 표현은 풀어쓴다. 그리고 조각들 사이의 관계를 추적한다. 업데이트(Update), 확장(Extend), 도출(Derive), 이렇게 세 가지 방식으로 정보가 서로 연결되고 진화한다. 새로운 정보가 들어오면 기존 기억을 덮어쓰거나 확장하거나 새로운 사실을 끌어낸다. 단순 저장이 아니라 기억의 생태계를 만드는 것이다. 사람이 경험을 통해 기억을 재구성하는 방식과 놀랍도록 닮았다.
여기서 특히 주목해야 할 부분이 있다. 슈퍼메모리는 각 기억 조각에 두 종류의 시간 축을 붙인다. 문서가 언급하는 시점, 그리고 이벤트가 실제로 발생한 시점은 언뜻 비슷해 보이지만 이 둘은 전혀 다른 개념이다. 이걸 구분함으로써 대화의 의미론적 시점을 정확하게 파악한다. 이것이 시간 추론 점수를 크게 올린 비결이다. 검색도 달라졌다. 원본 청크를 바로 찾는 대신 의미론적으로 유사한 메모리 단위를 먼저 찾고 거기에 연결된 원본 소스를 결과에 넣는다. 표면적인 단어가 아니라 개념의 유사성으로 검색한다는 뜻이다.
이 전체 구조를 슈퍼메모리는 ASMR이라고 명명했다. Agentic Search and Memory Retriever의 약자다. 이름이 유튜브 장르랑 같지만, 전혀 다른 내용이다. 이 시스템이 작동하는 논리를 쉽게 풀어보면 이렇다.
'여러 에이전트가 역할을 나눈다. → 리더 에이전트가 세션 전체를 읽는다. → 서치 에이전트가 의미를 따라 능동적으로 정보를 뒤진다. → 여러 추론 경로를 앙상블 해서 최종 답변이 나온다.'
혼자 다 하는 게 아니라 팀플레이다. 잘 조직된 팀이 복잡한 프로젝트를 처리하듯, AI도 기억을 다루는 방식을 분업화하기 시작한 것이다. 필자 생각엔 이 부분이 슈퍼메모리가 가진 가장 흥미로운 발상이다. 기억을 관리하는 구조 자체를 에이전트로 풀어냈다는 점에서 말이다.
KV 캐시와 혼동하면 안 된다. KV 캐시는 현재 세션 안에서만 유효한 단기 기억이다. 문장 사이의 관계를 저장해 속도를 높여 주지만 세션이 끊기면 끝이다. 슈퍼메모리는 그 위에서 작동하는 외부 메모리 계층이다. 여러 세션과 병렬 에이전트, 서로 다른 타임라인의 정보를 동시에 다룬다. 슈퍼 메모리는 ‘존재의 맥락’을 완성하는 시스템으로 스케일 자체가 다르다. 메모리 계층으로 보면 슈퍼메모리가 가장 위에서 의미를 판단하고, 그 아래 소프트웨어 오케스트레이션 레이어가 판단된 의미를 바탕으로 데이터를 지휘하고 컨텍스트 메모리 스토리지가 필요한 정보를 공급, 마지막으로 연산 처리 하드웨어가 이 모든 논리를 물리적 힘으로 구동한다. 이 전체 스택이 유기적으로 맞물려야 AI가 진짜 기억을 가질 수 있다.
엔비디아가 하드웨어 관점에서 메모리 분할을 시도하는 것과 달리, 슈퍼메모리의 접근은 소프트웨어와의 알고리즘이다. 하드웨어는 꺼내진 기억을 얼마나 빨리 처리하느냐의 문제, 소프트웨어는 무엇을 꺼낼지의 문제이다. 이 둘이 맞물려야 에이전트 AI가 완성에 가까워진다. 어느 한쪽만으론 부족하다.
생각해보면 사람도 비슷하다. 기억을 잘 한다는 건 많이 외운다는 뜻이 아니다. 지금 이 순간 무엇이 중요한지 고르는 능력이다. 쓸모없는 건 흘려보내고, 오래된 기억도 지금의 상황에 맞게 재해석할 줄 아는 것이다. 이제는 AI가 그 능력을 갖추기 시작했다. 99%라는 숫자는 그냥 벤치마크 점수가 아니다. AI가 드디어 '기억하는 방법'을 배우기 시작했다는 신호다. 이 기술이 에이전트 AI 전반에 녹아들 때, 우리가 매일 쓰는 AI의 모습은 지금과 꽤 달라질 것이다. 그리고 그 변화가 지금 이 순간에도 조용히, 그리고 빠르게 쌓이고 있다.
> comments
댓글
댓글 쓰기