ICML 2025 최고의 논문으로 주목받은 xMemory, RAG의 메모리 딜레마를 완전히 해결할 수 있을까?
대규모 언어 모델 기반 에이전트가 빠르게 발전하는 오늘, AI가 수십 번의 세션에 걸친 대화 이력을 기억하게 하는 것은 에이전트의 실용성을 좌우하는 핵심 요소가 됐다. 몇 달간 함께한 AI 어시스턴트와 대화할 때, 우리는 AI가 앞서 논의한 프로젝트 취향을 기억하고, 우리의 업무 습관을 파악하며, 어떤 대화에서 언급된 중요한 세부 사항도 기억해 주기를 기대한다. 하지만 표준 검색 증강 생성(RAG) 방식은 이런 ‘에이전트 메모리’ 상황에서 놀라울 정도로 큰 한계를 드러낸다.
간과되어 온 근본 문제: RAG와 에이전트 메모리의 ‘유전적 부적합’
xMemory를 깊이 들여다보기 전에, 먼저 이 변화의 핵심 배경을 이해할 필요가 있다. 전통적인 RAG가 애초에 무슨 목적을 위해 설계됐을까? 광범위한 인터넷 문서, 기업 지식 베이스 또는 수백 편에 이르는 연구 논문에서 검색하기 위해 만들어졌다. 이런 상황에서 검색 대상인 텍스트 조각은 서로 다른 출처에서 오며, 주제와 관점도 제각각인 경우가 많다. 바로 그래서 전통적인 ‘top-k 유사도 검색’은 대량의 이질적인 후보군에서 현재 질의와 가장 관련성이 높은 여러 정보를 효과적으로 추려낼 수 있었다.
그러나 에이전트 메모리 상황은 이와 전혀 다르다. 사용자가 에이전트와 몇 주, 심지어 몇 달에 걸쳐 여러 차례 대화를 나눌 때, 저장되는 메모리는 관련성이 높고, 중복이 많고, 시간적으로 촘촘히 연결된다는 점에서 독특한 구조를 이룬다. 예를 들어 사용자가 한 달 동안 같은 프로젝트를 여러 차례 논의한다면, 이 프로젝트에 관한 모든 대화 조각은 의미 공간에 조밀한 ‘구름’을 형성한다. 조각끼리의 유사도는 극도로 높지만, 사용자의 현재 질의와 관련된 핵심 정보는 이 짙은 구름 속 몇 개의 점에 불과할 수 있다.
이렇게 되면 표준 top-5 또는 top-10 검색에서 반환되는 결과는 대개 같은 주제를 다루는 거의 중복된 조각이다. 다시 말해, RAG 시스템이 애써 찾아낸 ‘가장 관련성 높은’ 문맥은 사실 같은 이야기를 반복하는 것에 그쳤고, 정작 필요했던 시간상 앞뒤 연결을 보여 주는 증거 사슬은 알고리즘에 의해 중복 콘텐츠로 간주되어 ‘최적화’되어 버린다.
xMemory 논문의 핵심 통찰은 바로 여기에 있다. 표준 RAG는 ‘이질적인 텍스트 저장소’를 전제하지만, 에이전트 메모리는 본질적으로 ‘동질적인 메모리 흐름’이다. 이러한 근본적인 불일치는 단순히 파라미터를 조정해서는 해결할 수 없다.
xMemory의 핵심 아이디어: 분리와 집계
이 도전에 xMemory는 우아하면서도 통찰력 있는 해법, ‘분리 후 집계(Decoupling-then-Aggregation)’를 제안한다. 핵심은 원시 대화 조각 수준에서 고생하는 대신, 먼저 메모리를 구조화해 정리한 다음 그 구조를 역방향으로 활용해 검색을 설계하는 것이다.
구체적으로 xMemory는 네 단계의 계층형 메모리 구조를 구축한다.
- 원시 메시지(Messages): 사용자와 에이전트 간 실제로 오간 대화 차례
- 에피소드(Episodes): 연속된 여러 차례의 대화를 개괄적인 요약으로 압축해 하나의 완전한 주제 단위를 포착
- 의미 단위(Semantics): 에피소드에서 추출한 재사용 가능한 장기 사실. 예를 들어 사용자의 이름, 근무 기관, 선호 습관 등
- 테마(Themes): 관련 의미 단위를 한데 묶어 더 높은 수준의 개념 집합을 형성
이 계층 구조의 핵심 매력은, 시간의 흐름에 뒤섞여 있던 정보를 ‘분리’한다는 데 있다. 의미 단위는 따로 추출되기 때문에 더 이상 원시 대화 차례에 묶이지 않는다. 동시에 테마 계층의 ‘집계’를 통해 의미 단위 사이의 상위 관계도 만들어진다. 마치 탁한 강물을 먼저 가라앉혀 층을 나눈 뒤, 필요할 때 꺼내 쓰는 것과 같다.
두 단계 적응형 검색: 대표 선택과 불확실성 인식
계층 구조를 만드는 것만으로는 부족하다. 핵심은 이 구조를 바탕으로 어떻게 효율적으로 검색할 것인가다. xMemory는 두 단계의 적응형 검색 전략을 채택한다. 내가 보기에 이 논문에서 가장 눈부신 부분이 바로 이것이다.
첫 번째 단계: kNN 그래프를 활용한 질의 반응형 대표 선택
테마 계층과 의미 단위 계층에서 xMemory는 k 최근접 이웃(kNN) 그래프 구조를 유지한다. 사용자가 질의를 입력하면 시스템은 원본 대화에서 가장 유사한 조각을 바로 찾지 않는다. 대신 먼저 테마 계층에서 ‘대표 선택’을 수행해, 여러 관련 테마 중 서로 다른 지식 방향을 가장 폭넓게 포괄하는 대표 노드를 고른다.
여기서 핵심적인 혁신은 다음 절충 공식이다:
i* = argmax [α × 覆盖增益 + (1-α) × 查询相关性]
시스템은 두 목표를 균형 있게 맞춘다. 한쪽은 현재 질의와 의미상 관련 있는 내용을 선택하는 것이고, 다른 쪽은 선택된 내용이 메모리 속 서로 다른 지식 영역을 충분히 커버해 항상 한 조밀한 영역에만 몰리지 않도록 하는 것이다. 이 과정은 반복적이다. 노드 하나를 선택할 때마다 그 이웃들의 커버리지 상태를 갱신하고, 특정 커버리지 임계값에 도달할 때까지 계속한다.
두 번째 단계: 불확실성에 적응하는 증거 포함
관련 의미 단위를 선택한 다음에는 어떤 구체적인 에피소드를 ‘증거’로 포함할지 결정해야 한다. xMemory의 방식은 매우 정묘하다. 관련 있는 모든 조각을 컨텍스트 윈도우에 한꺼번에 넣는 대신, ‘불확실성 감소’ 원칙에 따라 선별한다.
구체적으로는 각 후보 에피소드에 대해 시스템이 이를 포함할 경우 언어 모델이 답변을 예측할 때의 불확실성이 줄어드는지 평가한다. 어떤 조각을 추가로 포함했을 때 답변의 불확실성이 뚜렷하게 낮아져야 그 조각을 최종 컨텍스트에 넣는다. 이 방식은 ‘필요할 때만 가져오기’를 자연스럽게 실현한다. 답변과 직접 관련된 세부 사항은 남고, 거의 중복된 불필요한 내용은 걸러진다.
실험 결과: 효율과 품질 모두 향상
xMemory는 두 가지 벤치마크 데이터셋에서 충분히 검증됐다: LoCoMo(다중 세션 대화 데이터셋으로 평균 약 300턴의 대화를 포함)와 PerLTQA(개인화된 장기 메모리 질의응답).
결과는 인상적이었다:
- Qwen3-8B 모델에서 xMemory는 평균 BLEU를 28.51에서 34.48로, F1을 40.45에서 43.98로 높였다
- GPT-5 nano에서도 BLEU는 36.65에서 38.71로, F1은 48.17에서 50.00으로 향상됐다
- 가장 놀라운 것은 token 사용 효율이다. Qwen3-8B에서 token 사용량이 9103에서 4711로 줄었으며, 거의 절반이나 감소했다!
이는 xMemory가 답변 품질을 높이면서 비용도 동시에 낮췄다는 뜻이다. 장기 운영이 필요하고 비용에 민감한 에이전트 애플리케이션에 분명히 매우 매력적인 특성이다.
더 깊은 시사점
이 논문을 읽고 나니, 에이전트 분야 전체에 대한 더 깊은 시사점이 떠오른다.
먼저, 이 논문은 중요한 설계 원칙을 드러낸다. ‘메모리를 어떻게 조직하느냐가 검색 효율을 결정한다.’ 에이전트 메모리 시스템을 설계할 때 저장 방식과 인덱싱에만 집중할 뿐, 지식을 어떻게 ‘분리’할지 고민해야 한다. 장기적으로 유효한 일반적 사실과 단기적으로 유효한 대화 문맥을 분리하고, 핵심 개념과 자질한 세부 사항을 나누는 것이다. 이러한 분리 자체가 바로 지능이다.
다음으로, xMemory의 ‘두 단계 검색’은 더 일반적인 설계 패턴도 시사한다. 먼저 상위 수준에서 대표를 선택해 검색 범위를 제한한 다음, 세밀한 불확실성 평가로 내용을 선별하는 것이다. 이런 ‘먼저 큰 틀에서 잡고, 이후 정밀하게 선별하는’ 전략은 제한된 자원을 효율적으로 활용해야 하는 다양한 상황에서 범용성을 갖는다.
마지막으로, 이 논문은 RAG의 경계를 다시 들여다보게 한다. RAG는 강력한 패러다임이지만 만능은 아니다. 애플리케이션 상황의 특성이 RAG의 원래 전제와 맞지 않을 때는 억지로 맞추는 대신, 과감하게 맞춤화하거나 아예 재구성할 필요가 있다.
마무리
ICML 2025의 이 논문은 에이전트 메모리라는 최전선 분야에 강한 활력을 불어넣었다. xMemory는 ‘분리-집계’의 계층형 접근과 ‘대표 선택-불확실성 인식’의 두 단계 검색으로, 동질적인 메모리 흐름에서 표준 RAG가 겪는 딜레마를 성공적으로 해소했다. 무엇보다 답변 품질을 높이면서 token 비용도 크게 줄였다는 점이 인상적이다. 실제 배포를 고민하는 모든 엔지니어에게 간과할 수 없는 매력이다.
장기 메모리가 필요한 AI 에이전트를 구축하고 있거나 검색 증강 기술에 더 깊은 관심이 있다면, 이 논문은 반드시 읽어볼 가치가 있다. 무엇보다 실제로 적용할 수 있는 기술적 해법을 제시할 뿐 아니라, 문제를 바라보는 방식 자체를 보여준다. 기존 방법론이 문제의 본질과 맞지 않는다는 사실을 발견했다면, 문제의 출발점으로 돌아가 시스템 전체를 다시 설계해 보지 않겠는가.