← 목록으로

Memorilla: LLM을 위한 잠재 의미 메모리

요약
  • Memorilla는 문서 임베딩에서 질의 관련 정보를 추출해 고정된 LLM에 16개의 메모리 토큰으로 전달하는 시스템입니다.
  • 이 방식은 긴 문맥을 효율적으로 압축하여 응답 속도를 대폭 단축시키며, 개인화 및 지식 집약적 질의응답에서 기존 방식보다 우수한 성능을 보여줍니다.
  • MEMORILLA는 전체 문서 모음의 임베딩에서 질의에 필요한 정보를 읽어, 가중치가 고정된 LLM에 16개 메모리 토큰으로 전달하는 시스템임
  • 문서는 한 번 인코딩해 재사용하고, 학습 가능한 메모리 모듈이 질의에 따라 모든 문서 임베딩에 어텐션을 적용함
  • 개인화, 장문 이해, 지식 집약적 질의응답 벤치마크에서 Mem0와 MemoRAG 등을 포함한 비교군 중 평균 성능이 가장 높았음
  • 단일 H100에서 문서 512개를 처리한 실험에서는 전체 응답 생성 시간이 전체 문맥 방식의 19.9초에서 0.74초로 줄어, 약 27분의 1 수준이 됨
  • TextWorld에서는 매 턴 경험을 메모리에 추가해 이미 탐색한 방 사이를 반복 이동하는 경향을 줄였으며, 평균 성공률이 전체 이력 기반 문맥 내 학습의 18.6%에서 24.2% 로 높아짐
고정된 LLM에 누적 지식을 전달하는 문제
  • 개인 비서는 수개월간의 대화에서 사용자 이력을 기억해야 하고, 질의응답 시스템은 문맥 창보다 긴 문서를 다뤄야 하며, 에이전트는 이전 관찰을 바탕으로 행동해야 함
  • 가중치가 고정된 LLM은 매개변수에 없는 정보를 문맥으로만 이용할 수 있음. 메모리 시스템은 누적 정보를 인코딩하고 영구 저장한 뒤, 각 질의에 필요한 정보를 문맥에 전달함
  • 핵심 과제는 짧은 문맥을 유지하면서도 계속 커지는 전체 지식 모음에 접근하도록 하는 것임
기존 메모리 방식과의 차이
  • MemGPT, Mem0, A-MEM은 과거 상호작용을 요약이나 구조화된 기록으로 관리하고, MemoRAG는 압축된 전역 메모리로 검색을 안내함
    • 최종적으로는 선택한 텍스트를 문맥에 넣으므로, 선택 과정의 한계를 그대로 가짐
  • ICAE, IC-Former, AutoCompressors, ComMer는 문서를 LLM 임베딩 공간의 소수 소프트 토큰으로 압축하지만, 질의 없이 압축하므로 동일한 토큰이 모든 질문에 대응해야 함
    • xRAG는 질의 관련성을 반영하지만, 검색된 문서 하나만 압축함
  • LongMem, MemoryLLM, M+, Cartridges는 모델별 은닉 상태나 키-값 상태를 저장함
    • 메모리가 특정 모델에 결합되며, LLM이나 보조 네트워크를 학습하거나 문서 집합별 별도 캐시를 학습해야 함
  • MEMORILLA는 문서 임베딩에서 질의 관련 정보를 직접 읽어 고정된 LLM의 입력 임베딩 공간으로 전달함
    • 일부 문서를 텍스트로 넣는 검색 방식이나 질의와 무관하게 문서를 압축하는 방식과 구별됨
    • LLM을 변경하지 않고 기존 능력을 유지하면서, 긴 원문 대신 소수의 질의 관련 잠재 임베딩으로 답변과 의사결정을 지원함
문서 인코딩과 질의별 메모리 읽기
  • 인코딩과 영구 저장 단계에서는 고정된 문서 인코더가 각 문서 청크를 하나의 임베딩으로 변환함
    • 사용자와 LLM의 대화, 책의 장, 건강 기록 등이 문서 모음이 될 수 있음
    • 문서 임베딩 행렬은 질의와 무관하므로 메모리나 보조 저장장치에 한 번 저장하고 재사용하며, 추가되거나 변경된 문서만 다시 인코딩함
    • 질의 임베딩은 현재 질의에 대해서만 계산하며 장기 메모리로 저장하지 않음
  • 학습 가능한 메모리 모듈은 저장된 문서 임베딩 전체를 읽고, 문서 수와 무관하게 정확히 K개의 소프트 메모리 토큰을 출력함
    • 논문에서는 기본적으로 K=16을 사용하며, 4,000배를 넘는 문맥 압축 사례도 있음
  • 메모리 읽기는 다음 네 단계로 구성됨
    • 슬롯 초기화: 문서 모음과 질의 전반에서 공유하는 K개의 학습 벡터를 사용함. 서로 다른 초기값으로 출력 토큰 수를 고정하면서 슬롯마다 다른 정보를 담을 수 있게 함
    • 질의 조건화: 슬롯이 질의 임베딩에 교차 어텐션을 적용함. 질의가 단일 벡터이므로 모든 슬롯에 공통 갱신을 주되, 잔차 연결로 슬롯별 차이를 유지함
    • 문서 검색: Perceiver의 잠재 배열 설계를 따라 여러 교차 어텐션 블록으로 전체 문서 임베딩을 읽음. 각 블록은 잔차 연결과 GELU 활성화를 사용하는 2층 피드포워드 네트워크를 포함하며, 이산적인 상위 k개 선택 대신 연속적인 질의 조건부 읽기를 수행함
    • LLM 공간으로 투영: 정제된 슬롯에 LayerNorm과 학습 가능한 투영을 적용해 LLM 입력 임베딩 차원의 메모리 토큰으로 변환함
LLM 입력과 학습 구성
  • 메모리 토큰을 질의 텍스트 임베딩 앞에 붙여 하나의 입력 시퀀스로 전달함
    • 메모리 토큰과 텍스트 토큰의 임베딩 차원이 같아 LLM의 계층이나 어텐션 메커니즘을 변경할 필요가 없음
    • 결합된 시퀀스에 표준 방식으로 회전 위치 임베딩을 적용하고, 기존 자기 어텐션으로 메모리를 읽음
  • 학습은 정답 토큰의 음의 로그우도를 최소화하며, 손실은 프롬프트나 메모리 위치가 아닌 답변 위치에만 적용함
    • 학습 대상은 메모리 모듈과 LLM 임베딩 공간으로의 투영이며, LLM은 고정함
  • 구현에는 문서와 질의 인코더로 Qwen3-Embedding-4B, 답변 생성기로 Qwen3-8B를 사용함
    • 두 모델 모두 고정하며, 학습 가능한 매개변수는 194,123,776개임
세 단계 학습 과정과 평가 조건
  • 1단계에서는 영어 Wikipedia의 바꿔쓰기 재구성 예제 198만 개로 메모리 모듈을 학습함
    • 지문을 문서 청크로 나누고, 제한된 메모리 토큰 안에 고정된 LLM이 바꿔쓰기를 생성할 만큼의 정보를 보존하도록 함
  • 2단계에서는 독해, 개방형 질의응답, 요약을 아우르는 10개 데이터셋의 134만 개 예제로 학습을 이어감
    • 다양한 원문 구조와 답변 형식을 통해 동일한 유형의 저장 표현에서 서로 다른 정보를 불러오도록 학습함
  • 3단계에서는 평가에 쓰는 8개 벤치마크의 학습 분할을 합친 데이터로 미세 조정함
    • FactKG, TriviaQA, NarrativeQA, PubMedQA, LaMP-4, LaMP-7에는 하나의 다중 작업 체크포인트를 그대로 사용함
    • PersonaMem-v2와 PersonalizationV4에는 벤치마크별 추가 미세 조정을 적용함. 검증 손실이 안정화되기까지 더 많은 에포크가 필요했으며, 다른 벤치마크는 더 일찍 안정화되거나 과적합이 시작됐음
개인화와 질의응답 성능, 처리 비용
  • 8개 벤치마크의 평균 점수와 문서 토큰 수의 기하평균을 비교했을 때, 16개 메모리 토큰으로 Mem0와 MemoRAG 등을 포함한 비교군 중 가장 높은 평균 점수를 기록하며 파레토 전선에 위치함
    • 전체 문맥 방식보다 문서 표현 토큰이 394배 적었음
  • 개인화에서는 직접 명시되지 않은 사용자 선호를 과거 대화에서 파악하거나, 이전 글의 문체를 재현해야 함
    • PersonaMem-v2와 PersonalizationV4는 대화에서 드러난 특성에 의존하는 질문을, LaMP-4와 LaMP-7은 사용자 문체에 맞춘 글쓰기를 평가함
    • 사용자 선호와 질의가 비슷한 표현을 쓰지 않는 경우가 많아 유사도 기반 검색은 관련 정보를 찾아 결합하기 어려움
    • LaMP-4의 ROUGE-L은 18.15로 전체 문맥의 14.21보다 높았고, 문서 토큰은 474배 적었음
  • 지식 집약적 질의응답에 해당하는 FactKG에서는 정확도 84.33% 를 기록함
    • 전체 문맥 방식은 80.43%였으며, MEMORILLA의 문서 표현 토큰 수는 전체 문맥 방식의 108분의 1임
  • 장문 이해에서는 수천 토큰 안에 묻혀 있고 질문과 표현도 다른 정보를 찾아 연결해야 함
    • 원문 페이지와 독립적으로 질문을 작성한 TriviaQA에서 가장 높은 정확 일치 점수 57.00을 기록했으며, 문서 토큰은 전체 문맥보다 743배 적었음
  • 저장소는 밀집 검색 인덱스와 동일한 임베딩을 사용하므로 검색 대비 추가 인코딩 비용이 없음
    • 단일 H100에서 문서 512개를 처리할 때 전체 응답 생성 시간은 0.74초로, 전체 문맥 방식의 19.9초 대비 약 27분의 1 수준임
TextWorld에서 경험을 누적하는 에이전트
  • TextWorld 에이전트는 50턴 안에 방을 탐색하고, 물체를 찾아 사용하며, 여러 단계로 이뤄진 목표를 달성해야 함
    • 이미 방문한 장소와 시도한 행동을 기억해야 하며, MEMORILLA는 매 턴의 기록을 문서 저장소에 추가해 다음 턴에 활용함
  • 평균 성공률은 전체 이력을 문맥에 넣는 문맥 내 학습 방식의 18.6%에서 24.2% 로 높아짐
    • 별도로, 평가용 게임에서 세 번의 시도 중 한 번 이상 성공한 비율은 전체 이력 방식의 25.0% 대비 37.5% 였음
  • 이미 탐색한 방을 반복해서 오가는 경향이 줄었고, 이동 반복에서 벗어나 목표 달성에 필요한 행동 순서를 실행하는 능력이 개선됨
  • 이 결과는 고정된 LLM이 긴 상호작용에서 지식을 누적하고 활용하도록 돕고, 지속적으로 학습하는 AI 시스템으로 나아가는 한 단계임
그냥 목록으로
원문 보기 ↗