- Anthropic은 AI 에이전트가 다음 세션을 위해 무엇을 기억하고, 쌓인 기억을 어떻게 정리할지 Claude로 실험함
- 에이전트는 검증된 해결법이나 이어서 할 일을 노트로 남겨 다음 세션에서 다시 활용할 수 있음
- 드리밍(dreaming) 은 세션 사이에 메모를 원본 대화 로그와 대조해 오류를 고치고, 여러 세션에 흩어진 노트를 주제별로 연결하는 과정임. 관련 내용을 위키로 묶어 나중에 찾아보기 쉽게 만들 수 있음
- 내부 문서 평가에서 원문 검색에 위키를 더하자 채점 기준 충족률이 53%에서 최대 61% 로 올랐고, 질문당 약 2만 토큰을 절약함. 한 문서에서 답을 찾을 수 있는 과제에서는 위키의 이득이 뚜렷하지 않았음
- 매 세션에는 꼭 필요한 메모만 자동으로 불러오고, 세부 내용은 필요할 때 찾아 읽게 할 수 있음. 틀리거나 오래된 메모도 다음 세션에 전달될 수 있어 무엇을 얼마나 자주 검증할지와 그 비용은 여전히 설계 과제임
- 에이전트 메모리는 사용자와의 상호작용이나 수행한 과제에서 얻은 지식을 저장해 이후 세션에서 읽을 수 있게 하는 컨텍스트임
- 학습 중 설정되는 모델 가중치의 변화, 단일 대화 안에서의 인컨텍스트 학습, 오래된 대화 턴을 요약으로 대체하는 컨텍스트 압축(compaction)과는 구분됨
- 인간의 해마는 경험을 빠르게 포착하지만, 일부 경험만 장기 지식으로 굳어짐
- 수면이나 조용한 휴식 중 경험을 재생하는 과정이 경험을 정제하고 신피질에 통합하는 데 기여하는 것으로 여겨짐
- 경험 전후의 화학 신호가 중요한 기억을 표시하면, 해당 기억은 오프라인 상태에서 더 자주 재생되는 경향이 있음
- 에이전트도 작업을 로그나 대화 기록으로 남긴 뒤, 유휴 시간에 이를 재검토하는 역할 분담을 활용할 수 있음
- Letta와 UC Berkeley의 수면 시간 연산(sleep-time compute)은 상호작용 사이의 유휴 시간에 기존 컨텍스트를 재구성하는 방식임
- 로그를 검토해 오류를 수정하거나 새로운 노트와 지식 구조를 만드는 과정을 드리밍이라 부르며, Google의 관련 연구도 있음
- Claude는 세션 중 중요한 사건에 표시를 남기거나 메모리 도구로 노트를 저장할 수 있지만, 미래에 무엇이 필요할지 모르는 상태에서 중요도를 판단해야 함
- 메모리 기록은 미래의 필요에 대한 예측이기도 함
- 규칙을 기록하는 것은 같은 패턴이 다시 중요해질 것이라는 예측이며, 검증된 사실을 저장하는 것은 다음 세션에서 재확인 없이 활용할 수 있으리라는 예측임
- CL-Bench 1.0의 데이터베이스 질의 과제에서는 답변 후 정답을 받고, 다음 문제에 활용할 메모리를 작성할 수 있음
- Claude Managed Agents에서 문제마다 새 세션을 시작하되, 메모리 디렉터리는 세션 간 유지함
- 잘못된 답변을 기록하고, 원인 가설을 세우고 검증한 뒤, 다음 답변에 적용할 규칙으로 만드는 학습 루프를 평가함
- 모델별로 메모리를 활용하는 방식이 달랐음
- Sonnet 4.6은 여러 파일에 검증하지 않은 추측을 남기는 단계에 머물렀음
- Opus 4.7은 노트를 하나의 참조 문서로 통합하고 확인된 사실과 미확인 내용을 구분함
- Sonnet 5는 채점된 답을 확인된 것으로 표시하고 오답을 수정함
- Opus 5는 규칙과 검증 근거, 이전 답변, 발견한 함정에 대한 경고를 함께 기록하며 이 모델들 가운데 처음으로 학습 루프를 완성함
- Opus 5.5와 Sonnet 5.5도 검증된 규칙을 기록함. 메모리를 사용한 점수는 Opus 5와 비슷했으며, 메모리 없는 기본 성능은 조금 더 높았음
- Pokémon Red 평가에서는 모델별 한 차례 실행의 약 1만 단계 시점 메모리를 비교함
- Sonnet 3.7은 전투, 아이템, 등장인물 등을 광범위하게 저장해 225개 폴더에 413개 파일을 만들고 배지 1개를 획득함
- Fable 5는 폴더 2개 안의 파일 9개와 최상위 global.md 하나를 작성하고 배지 4개를 획득함
- 과도한 기록은 계속 변하는 게임 상태를 따라가지 못하고 실제 플레이 시간을 잠식함
- Sonnet 3.7은 약 1만 단계에서 네 번째 종합 메모리 폴더를 만들기 시작했고, 이후 17단계 동안 파일 6개를 만들고 9개를 삭제하면서 게임 행동은 전혀 하지 않음
- 소지금이나 현재 위치처럼 매 턴 화면에서 확인할 수 있는 정보는 저장이 중복되는 반면, 스스로 도출한 전략과 검증된 규칙은 기록하지 않으면 사라짐
- Fable 5는 목표와 전략 중심으로 메모리를 구성함
- global.md에는 현재 목표, 체육관 공략 계획, 메모리 사용 규칙을 저장함
- locations에는 경로별 이동 계획, gameplay에는 학습한 게임 전략을 저장함
- Magikarp 포획에 7회 연속 실패한 뒤 대기 입력을 추가해 성공하자, 3회 이상 실패하면 입력 타이밍을 바꾸라는 규칙을 남김
- Opus 5.5도 현재 목표와 다음 행동을 작은 메모리 폴더에 유지하고 계속 갱신하는 방식을 사용해 게임을 완료함
- CL-Bench에서는 메모리 폴더가 있다는 일반적인 안내만으로도 Opus 4.7과 Opus 5의 성능이 눈에 띄게 향상됨
- 무엇을 기록할지 고정 규칙을 하나씩 적용한 실험에서는 “실패만 기록하라”는 지침이 두 모델의 메모리 활용 이득을 크게 줄였음
- 더 강력한 모델에는 중요도를 스스로 판단할 자유를 주는 편이 효과적이었으며, 사전에 정한 규칙이 오히려 성능을 약화할 수 있었음
- 구체적인 유도는 구형 모델에 더 유용했음
- Sonnet 4.6에 답변 전 메모리를 읽고 오답 원인 가설을 명시적으로 검증하도록 지시하자 벤치마크 점수가 거의 두 배가 됨
- 별도 지시 없이 답변 전 메모리를 읽은 비율은 Sonnet 5가 10회 중 9회였고, Sonnet 4.6은 절반 미만이었음
- 최신 Claude 모델에는 사용자가 요청하거나 명백히 기억할 가치가 있을 때 노트를 만들라는 단순한 지침을 주고, 구체적인 판단은 모델에 맡기는 방식을 주로 사용함
- 세션 중 작성한 노트는 처음부터 틀렸거나 환경 변화로 낡았더라도 이후 세션에서 신뢰받을 수 있음. 드리밍은 원본 대화 기록과 대조해 이를 검증할 기회를 제공함
- Pokémon의 Mt. Moon 이동 실험에서 Claude는 서쪽 입구의 PokéCenter를 동쪽에 있다고 잘못 기록함
- 산을 통과하지 않았는데도 완료했다고 판단했고, 되돌아 올라갈 수 없는 턱 아래로 떨어져 이전 경로로 돌아감
- 이동 도구가 낙하를 표시하지 않자, 단순히 서쪽으로 너무 멀리 이동했을 뿐이라고 오해함
- 잘못된 노트가 있는 폴더에 드리밍을 적용하자 Claude가 대화 기록에서 오류를 찾아 수정했고, 이후 Mt. Moon으로 곧장 돌아가 Cerulean City에 도달함
- 수정하지 않은 실행에서는 같은 경로로 세 번 떨어졌음
- 세 번째 실패 후 중단하겠다고 했으나 자동 응답이 계속하도록 지시하자, 회복과 물자 보충을 위해 이전 마을인 Pewter City로 돌아감
- 해당 실행은 Cerulean City에 도달하지 못한 채 종료됨
- 드리밍은 주제별 지식과 관련 노트를 연결하는 위키를 만들 수 있음
- 링크는 메모리 탐색을 위한 지식 지도 역할을 하며, 이후 드리밍에서 페이지를 추가하거나 수정하고 불필요한 내용을 제거함
- 5월에 인수한 소프트웨어 회사 Stainless의 내부 문서 약 35만 파일, 약 4억 2천만 토큰으로 위키를 구축하고 25개 질문으로 평가함
- Opus 5 에이전트들이 최대 128개 세션에 걸쳐 파일 탐색, 연결된 페이지 작성과 수정, 중복 병합, 원문 대조를 수행함
- 공유 로그로 작업을 조율하며 이전 세션의 결과를 이어받았고, 드리밍을 2개 세션에서 128개로 늘리자 위키만 사용하는 평가 점수가 채점 기준의 13%에서 48%로 상승함
- 검색과 위키의 병용이 가장 효과적이었음
- 검색만 사용한 점수는 53%였고, 검색과 위키를 함께 사용한 점수는 위키가 성장하면서 54%에서 61%로 높아짐
- 위키만 사용한 최고 점수는 48%였으며, 검색과 위키를 함께 쓰면 질문당 약 2만 토큰을 절약함
- 합병 문서와 Harvey LAB의 법률 서면 작성 과제로 과제 유형별 차이도 평가함
- 합병 관련 질문 24개 중 절반 이상은 여러 문서의 정보를 종합해야 했고, 상당수는 판단이나 계산도 필요했음
- 이런 항목에서 위키를 참조한 점수는 87%, 검색만 사용한 점수는 73%였음
-
위키가 항상 유리하지는 않았음
- 단일 문서의 텍스트 검색으로 채점 기준을 충족할 수 있는 LAB 과제에서는 뚜렷한 성능 향상이 없었음
- 다른 과제에서는 위키가 원문 문서보다 커져 사실상 추상화 기능을 하지 못함. Borges의 「On Exactitude in Science」에 나오는 제국만큼 큰 지도와 같은 한계임
- 드리밍은 중요한 노트를 메모리 계층의 상위로 올려, 에이전트 하네스가 매 세션 시작 시 컨텍스트에 미리 넣도록 할 수 있음
- Claude가 직접 검색하거나 검색할 정보가 있다는 사실을 미리 알아야 할 필요가 없어짐
- 다만 주입된 메모리는 토큰을 소비하고, 잘못된 노트가 모든 세션에 전달될 수 있으며, 읽었다고 반드시 따르는 것도 아님
- 상위 계층은 작게 유지해야 함
- Claude Code 문서는 지시 파일이 길수록 준수율이 낮아진다고 경고함
- 드리밍은 세부 정보를 하위 계층으로 옮기고 링크를 남겨 상위 계층을 정리할 수 있음
- Claude Code의 자동 메모리도 전체가 아니라 MEMORY.md의 첫 200줄 또는 25KB만 불러오며, 이 부분이 알고 있는 내용과 위치를 가리키는 색인 역할을 함
- 드리밍 지침은 특정 목표에 맞게 메모리의 성장 방향을 조절할 수 있음
- Claude Duet 같은 비서는 지원하는 사람을 중심으로 메모리를 구성하는 것이 유용한 경우가 많음
- 과제별 지침은 어떤 정보가 실제로 중요한지 알려줄 수 있음
- 기업 인수 계약을 분석하는 LAB 과제에서는 여러 에이전트가 공유 계약 조건 표를 동시에 수정하면서 서로의 작업을 덮어썼고, 요약이 부실해지거나 조건이 누락됨
- 초기 위키로 작성한 서면에는 필요한 사실 57개 중 41개, 즉 72%만 들어 있었음
- 초기 지침은 계약 조건이 가장 중요하다는 점이나 위키의 용도를 명확히 하지 않았음
- Claude가 실패를 검토하고 지침 변경을 제안한 뒤 위키를 다시 만드는 개선 루프를 수행함
- 계약마다 별도 페이지를 두고 단일 에이전트가 작성하며, 공유 표에 요약하는 대신 조건을 원문 그대로 인용하도록 바꿈
- 개선된 위키로 작성한 서면은 채점 기준을 100% 충족할 수 있었음
- 세션 간 검토는 개별 세션이 남긴 빈틈도 메울 수 있음
- LAB 위키에는 아직 생성하지 않은 페이지로 향하는 링크가 생기기도 했음
- 두 번째 드리밍 과정에서 한 과제의 누락 페이지 링크 9개를 같은 문서의 기존 페이지로 연결하고, 색인을 포함한 새 페이지 3개를 추가함
- 언제 메모리를 만들지에는 상충관계가 있음
- 작업 중 기록하면 중요한 정보를 즉시 포착해 다음 턴이나 세션에 활용할 수 있지만, 본래 과제에서 주의를 빼앗음
- 드리밍으로 기록을 백그라운드에 넘기면 작업과 분리할 수 있지만, 결과가 즉시 이용 가능하지 않을 수 있음
- 메모리의 최신성과 정확성 유지에는 연산 비용이 필요함
- 처음부터 틀린 규칙이나 환경 변화로 무관해진 정보가 남을 수 있음
- 모든 메모리를 지속적으로 확인하기보다, 변하기 쉬운 정보에 드리밍을 집중하거나 접근 빈도 등에 따라 실행 주기를 조절하는 것이 중요할 수 있음
- 대화 기록 검색 자체를 메모리의 기반으로 삼는 방식도 고려할 만함
- 위키 같은 지식 구조와 검색을 결합하면 효과적인 경우가 있지만, 지식 구조에 오류와 환각이 쌓이지 않도록 유지하는 데도 연산이 필요함
- 어떤 모델도 미래의 대화 내용을 확실히 알 수는 없음. 드리밍은 과거를 돌아보며 메모리를 정리하고 오류를 고쳐 미래 세션에서 더 쉽게 활용하도록 돕지만, 메모리 시스템 설계에는 여전히 열린 문제가 많음
- 구현 자료로 드리밍 시작하기와 지식 위키 예제를 제공함