← 목록으로
지난 소식
Memorilla: LLM을 위한 잠재 의미 메모리
요약
- Memorilla는 문서 임베딩에서 질의 관련 정보를 추출해 고정된 LLM에 16개의 메모리 토큰으로 전달하는 시스템입니다.
- 이 방식은 긴 문맥을 효율적으로 압축하여 응답 속도를 대폭 단축시키며, 개인화 및 지식 집약적 질의응답에서 기존 방식보다 우수한 성능을 보여줍니다.
- MEMORILLA는 전체 문서 모음의 임베딩에서 질의에 필요한 정보를 읽어, 가중치가 고정된 LLM에 16개 메모리 토큰으로 전달하는 시스템임
- 문서는 한 번 인코딩해 재사용하고, 학습 가능한 메모리 모듈이 질의에 따라 모든 문서 임베딩에 어텐션을 적용함
- 개인화, 장문 이해, 지식 집약적 질의응답 벤치마크에서 Mem0와 MemoRAG 등을 포함한 비교군 중 평균 성능이 가장 높았음
- 단일 H100에서 문서 512개를 처리한 실험에서는 전체 응답 생성 시간이 전체 문맥 방식의 19.9초에서 0.74초로 줄어, 약 27분의 1 수준이 됨
- TextWorld에서는 매 턴 경험을 메모리에 추가해 이미 탐색한 방 사이를 반복 이동하는 경향을 줄였으며, 평균 성공률이 전체 이력 기반 문맥 내 학습의 18.6%에서 24.2% 로 높아짐
고정된 LLM에 누적 지식을 전달하는 문제
- 개인 비서는 수개월간의 대화에서 사용자 이력을 기억해야 하고, 질의응답 시스템은 문맥 창보다 긴 문서를 다뤄야 하며, 에이전트는 이전 관찰을 바탕으로 행동해야 함
- 가중치가 고정된 LLM은 매개변수에 없는 정보를 문맥으로만 이용할 수 있음. 메모리 시스템은 누적 정보를 인코딩하고 영구 저장한 뒤, 각 질의에 필요한 정보를 문맥에 전달함
- 핵심 과제는 짧은 문맥을 유지하면서도 계속 커지는 전체 지식 모음에 접근하도록 하는 것임
기존 메모리 방식과의 차이
- MemGPT, Mem0, A-MEM은 과거 상호작용을 요약이나 구조화된 기록으로 관리하고, MemoRAG는 압축된 전역 메모리로 검색을 안내함
- 최종적으로는 선택한 텍스트를 문맥에 넣으므로, 선택 과정의 한계를 그대로 가짐
- ICAE, IC-Former, AutoCompressors, ComMer는 문서를 LLM 임베딩 공간의 소수 소프트 토큰으로 압축하지만, 질의 없이 압축하므로 동일한 토큰이 모든 질문에 대응해야 함
- xRAG는 질의 관련성을 반영하지만, 검색된 문서 하나만 압축함
- LongMem, MemoryLLM, M+, Cartridges는 모델별 은닉 상태나 키-값 상태를 저장함
- 메모리가 특정 모델에 결합되며, LLM이나 보조 네트워크를 학습하거나 문서 집합별 별도 캐시를 학습해야 함
- MEMORILLA는 문서 임베딩에서 질의 관련 정보를 직접 읽어 고정된 LLM의 입력 임베딩 공간으로 전달함
- 일부 문서를 텍스트로 넣는 검색 방식이나 질의와 무관하게 문서를 압축하는 방식과 구별됨
- LLM을 변경하지 않고 기존 능력을 유지하면서, 긴 원문 대신 소수의 질의 관련 잠재 임베딩으로 답변과 의사결정을 지원함
문서 인코딩과 질의별 메모리 읽기
- 인코딩과 영구 저장 단계에서는 고정된 문서 인코더가 각 문서 청크를 하나의 임베딩으로 변환함
- 사용자와 LLM의 대화, 책의 장, 건강 기록 등이 문서 모음이 될 수 있음
- 문서 임베딩 행렬은 질의와 무관하므로 메모리나 보조 저장장치에 한 번 저장하고 재사용하며, 추가되거나 변경된 문서만 다시 인코딩함
- 질의 임베딩은 현재 질의에 대해서만 계산하며 장기 메모리로 저장하지 않음
- 학습 가능한 메모리 모듈은 저장된 문서 임베딩 전체를 읽고, 문서 수와 무관하게 정확히 K개의 소프트 메모리 토큰을 출력함
- 논문에서는 기본적으로 K=16을 사용하며, 4,000배를 넘는 문맥 압축 사례도 있음
- 메모리 읽기는 다음 네 단계로 구성됨
- 슬롯 초기화: 문서 모음과 질의 전반에서 공유하는 K개의 학습 벡터를 사용함. 서로 다른 초기값으로 출력 토큰 수를 고정하면서 슬롯마다 다른 정보를 담을 수 있게 함
- 질의 조건화: 슬롯이 질의 임베딩에 교차 어텐션을 적용함. 질의가 단일 벡터이므로 모든 슬롯에 공통 갱신을 주되, 잔차 연결로 슬롯별 차이를 유지함
- 문서 검색: Perceiver의 잠재 배열 설계를 따라 여러 교차 어텐션 블록으로 전체 문서 임베딩을 읽음. 각 블록은 잔차 연결과 GELU 활성화를 사용하는 2층 피드포워드 네트워크를 포함하며, 이산적인 상위 k개 선택 대신 연속적인 질의 조건부 읽기를 수행함
- LLM 공간으로 투영: 정제된 슬롯에 LayerNorm과 학습 가능한 투영을 적용해 LLM 입력 임베딩 차원의 메모리 토큰으로 변환함
LLM 입력과 학습 구성
- 메모리 토큰을 질의 텍스트 임베딩 앞에 붙여 하나의 입력 시퀀스로 전달함
- 메모리 토큰과 텍스트 토큰의 임베딩 차원이 같아 LLM의 계층이나 어텐션 메커니즘을 변경할 필요가 없음
- 결합된 시퀀스에 표준 방식으로 회전 위치 임베딩을 적용하고, 기존 자기 어텐션으로 메모리를 읽음
- 학습은 정답 토큰의 음의 로그우도를 최소화하며, 손실은 프롬프트나 메모리 위치가 아닌 답변 위치에만 적용함
- 학습 대상은 메모리 모듈과 LLM 임베딩 공간으로의 투영이며, LLM은 고정함
- 구현에는 문서와 질의 인코더로 Qwen3-Embedding-4B, 답변 생성기로 Qwen3-8B를 사용함
- 두 모델 모두 고정하며, 학습 가능한 매개변수는 194,123,776개임
세 단계 학습 과정과 평가 조건
- 1단계에서는 영어 Wikipedia의 바꿔쓰기 재구성 예제 198만 개로 메모리 모듈을 학습함
- 지문을 문서 청크로 나누고, 제한된 메모리 토큰 안에 고정된 LLM이 바꿔쓰기를 생성할 만큼의 정보를 보존하도록 함
- 2단계에서는 독해, 개방형 질의응답, 요약을 아우르는 10개 데이터셋의 134만 개 예제로 학습을 이어감
- 다양한 원문 구조와 답변 형식을 통해 동일한 유형의 저장 표현에서 서로 다른 정보를 불러오도록 학습함
- 3단계에서는 평가에 쓰는 8개 벤치마크의 학습 분할을 합친 데이터로 미세 조정함
- FactKG, TriviaQA, NarrativeQA, PubMedQA, LaMP-4, LaMP-7에는 하나의 다중 작업 체크포인트를 그대로 사용함
- PersonaMem-v2와 PersonalizationV4에는 벤치마크별 추가 미세 조정을 적용함. 검증 손실이 안정화되기까지 더 많은 에포크가 필요했으며, 다른 벤치마크는 더 일찍 안정화되거나 과적합이 시작됐음
개인화와 질의응답 성능, 처리 비용
- 8개 벤치마크의 평균 점수와 문서 토큰 수의 기하평균을 비교했을 때, 16개 메모리 토큰으로 Mem0와 MemoRAG 등을 포함한 비교군 중 가장 높은 평균 점수를 기록하며 파레토 전선에 위치함
- 전체 문맥 방식보다 문서 표현 토큰이 394배 적었음
- 개인화에서는 직접 명시되지 않은 사용자 선호를 과거 대화에서 파악하거나, 이전 글의 문체를 재현해야 함
- PersonaMem-v2와 PersonalizationV4는 대화에서 드러난 특성에 의존하는 질문을, LaMP-4와 LaMP-7은 사용자 문체에 맞춘 글쓰기를 평가함
- 사용자 선호와 질의가 비슷한 표현을 쓰지 않는 경우가 많아 유사도 기반 검색은 관련 정보를 찾아 결합하기 어려움
- LaMP-4의 ROUGE-L은 18.15로 전체 문맥의 14.21보다 높았고, 문서 토큰은 474배 적었음
- 지식 집약적 질의응답에 해당하는 FactKG에서는 정확도 84.33% 를 기록함
- 전체 문맥 방식은 80.43%였으며, MEMORILLA의 문서 표현 토큰 수는 전체 문맥 방식의 108분의 1임
- 장문 이해에서는 수천 토큰 안에 묻혀 있고 질문과 표현도 다른 정보를 찾아 연결해야 함
- 원문 페이지와 독립적으로 질문을 작성한 TriviaQA에서 가장 높은 정확 일치 점수 57.00을 기록했으며, 문서 토큰은 전체 문맥보다 743배 적었음
- 저장소는 밀집 검색 인덱스와 동일한 임베딩을 사용하므로 검색 대비 추가 인코딩 비용이 없음
- 단일 H100에서 문서 512개를 처리할 때 전체 응답 생성 시간은 0.74초로, 전체 문맥 방식의 19.9초 대비 약 27분의 1 수준임
TextWorld에서 경험을 누적하는 에이전트
- TextWorld 에이전트는 50턴 안에 방을 탐색하고, 물체를 찾아 사용하며, 여러 단계로 이뤄진 목표를 달성해야 함
- 이미 방문한 장소와 시도한 행동을 기억해야 하며, MEMORILLA는 매 턴의 기록을 문서 저장소에 추가해 다음 턴에 활용함
- 평균 성공률은 전체 이력을 문맥에 넣는 문맥 내 학습 방식의 18.6%에서 24.2% 로 높아짐
- 별도로, 평가용 게임에서 세 번의 시도 중 한 번 이상 성공한 비율은 전체 이력 방식의 25.0% 대비 37.5% 였음
- 이미 탐색한 방을 반복해서 오가는 경향이 줄었고, 이동 반복에서 벗어나 목표 달성에 필요한 행동 순서를 실행하는 능력이 개선됨
- 이 결과는 고정된 LLM이 긴 상호작용에서 지식을 누적하고 활용하도록 돕고, 지속적으로 학습하는 AI 시스템으로 나아가는 한 단계임