← 목록으로

컨텍스트 엔지니어링의 현주소

요약
  • 컨텍스트 창이 커지더라도 모델이 과거 패턴에 고착되거나 오류가 발생하는 문제가 존재하므로 정교한 컨텍스트 엔지니어링이 필수적이다.
  • 이를 위해 정보 보강, 도구 선별, 격리, 가지치기 등 다양한 관리 기법을 통해 모델의 지시 준수율을 높이고 성능을 최적화해야 한다.
  • 컨텍스트 엔지니어링은 모델에 필요한 정보를 골라 제공하고, 코드가 처리할 일과 모델이 판단할 일을 나누는 설계 작업
  • 컨텍스트 창이 커져도 잘못된 사실에 고착되거나 지시보다 과거 대화의 패턴을 따르는 문제는 남아 있어, 정보를 많이 넣는 것만으로는 해결되지 않음
  • 정보 보강, 도구 선별, 격리, 가지치기, 외부 저장, 요약이라는 여섯 가지 기법이 에이전트 하네스로 이동하면서 컨텍스트 구성을 점점 더 코드가 담당하고 있음
  • 장기 작업에 특화된 모델에는 학습된 행동 편향과 컨텍스트 관성이라는 문제가 나타남. 학습 환경의 도구 사용 방식에서 벗어나기 어렵거나, 중단해야 할 가설과 하위 작업을 계속 추구함
  • 장기 실행 에이전트에서는 작업 산출물을 보존하고 대화 이력을 초기화하는 방식이 효과를 보임. 개인 에이전트의 기억과 스킬이 장기간 누적되며 충돌하는 문제에도 전략적 망각이 필요
모델이 발전해도 남는 지시 전달의 어려움
  • AGNTCon의 발표 「Context Fails & Fixes」는 컨텍스트 엔지니어링의 발전 과정과 모델의 새 역량이 만들어내는 실패 유형을 짚음
  • The Context Engineering Handbook 출간을 논의하던 2025년 6월, 빠르게 낡는 AI 교재의 수명이 쟁점이 됨
    • 모델이 좋아져도 무엇을 해야 하고 하지 말아야 하는지 명확하고 일관되게 지시하고 잡음을 제거하는 일은 계속 어려울 것이라는 판단에서 집필을 추진함
    • 사람끼리도 지시와 개념 전달에 어려움을 겪지만, 모델은 사람이 아니므로 구축 방식, 최적화, 학습에서 비롯되는 고유한 실패 유형을 이해해야 함
긴 컨텍스트가 모든 것을 해결하지는 못함
  • 2024년 말의 “RAG는 죽었다”는 기대는 컨텍스트 창이 충분히 커지면 정보를 선별하거나 에이전트 시스템을 만들 필요 없이 모든 것을 넣을 수 있다는 생각에 기반함
  • Gemini 1.5를 기점으로 약 12만 8,000토큰에서 100만 토큰 규모의 컨텍스트 창으로 도약함
    • Gemini 1.5 Pro 홍보 자료는 100만 토큰 창을 강조하고 연구실의 1,000만 토큰 모델도 예고함
    • Llama 4 Scout가 먼저 1,000만 토큰 창을 제공했지만 추론 실행이 어려웠고 널리 자리 잡지 못했으며, 이후 다른 Llama도 나오지 않음
  • 컨텍스트에 모든 것을 넣고 모델이 정리하게 하는 접근은 오류가 들어갈 공간도 늘림. 긴 컨텍스트 자체는 만능 해결책이 아님
기존의 네 가지 컨텍스트 실패 유형
  • 컨텍스트 오염(context poisoning) 은 환각이나 잘못된 사실처럼 들어가면 안 되는 정보가 컨텍스트에 유입돼 모델이 이를 벗어나지 못하는 현상임
  • 컨텍스트 주의 분산(context distraction) 은 컨텍스트가 길어지면서 모델이 기본 지식보다 컨텍스트에 더 집중하는 현상임
  • 컨텍스트 혼동(context confusion) 은 현재 문제와 무관한 사실이 답변에 영향을 주는 현상임
    • 모델이 사용자에 관해 세운 가정이 답변을 바꾸며, 그 영향 방식은 충분히 이해되지 않음
    • 발표자는 업무 대화와 아들과 진행하는 프로젝트의 기억이 섞이는 것을 피하려고 ChatGPT와 Claude의 메모리를 꺼 둠
  • 컨텍스트 충돌(context clash) 은 하네스 안의 도구 호출, 스킬, 다른 정보가 예상하지 못한 방식으로 서로 충돌하는 현상임
Pokémon과 번역 실험에서 드러난 실패
  • Pokémon Red와 FireRed의 차이가 Gemini 2.5의 컨텍스트를 오염시킴
    • 1996년 Game Boy용 Pokémon Red와 2004년 Game Boy Advance용 Pokémon FireRed는 본질적으로 같은 게임임. FireRed에서는 색상과 오디오가 개선됐지만 경비원에게 줘야 하는 음료도 레모네이드에서 아이스티로 바뀜
    • Gemini 2.5의 Pokémon 플레이 사례에서 모델은 구버전을 플레이하면서도 학습 가중치에 들어 있던 FireRed의 차 관련 과제를 수행하려 함
    • 잘못된 목표가 할 일 목록에 들어가자 수 시간 동안 차를 찾거나 경비원에게 주려 하며 벗어나지 못함
    • Pokémon은 비교적 통제된 환경이고 진행 속도가 빠르지 않아 에이전트 벤치마크로 활용됨
  • Carolina Camassa와 Derek Shiller의 Do as I Say, Not as I Do 는 지시와 상충하는 대화 사례가 모델 행동을 어떻게 바꾸는지 실험함
    • 모든 질문을 러시아어로 번역해 답하라고 지시한 뒤, 대화 이력에 프랑스어로 답한 사례를 넣음
    • 이 사례들은 새 지시가 아니지만, 수가 늘수록 시험한 모든 모델에서 원래 지시를 따르는 비율이 떨어짐
    • Gemma 3 12B는 소수의 상충 사례만으로 지시 준수율이 절반 아래로 내려갔고, Opus 4.6도 더 많은 사례가 쌓이면 같은 문제를 보임
  • 프런트엔드 디자인이나 CSS를 반복 수정하는 대화에도 잘못된 예시가 누적돼 모델 행동에 영향을 줄 수 있음
  • Gemini 2.5 기술 보고서는 100만 토큰 창과 향후 200만 토큰 가능성을 다뤘지만, 부록의 Pokémon 실험에서는 컨텍스트가 10만 토큰을 상당히 넘으면 새로운 계획보다 과거 행동을 반복하기 시작함
  • 발표자는 코딩 중 컨텍스트가 20만~30만 토큰에 이르면 상태를 확인하고, 큰 작업을 앞두고 약 25만 토큰이 쌓였다면 초기화하는 개인적 기준을 사용함
여섯 가지 컨텍스트 관리 기법
  • 컨텍스트 보강(context augmentation) 은 RAG와 스킬 등을 통해 문제에 필요한 정보를 가져옴
  • 도구 구성 선별(tool loadout) 은 모델에 노출할 도구와 스킬을 골라 과부하를 방지함
    • 에이전트 성능이 갑자기 나빠진 한 기업에서는 소프트웨어가 시작할 때 엔지니어마다 600개 스킬을 로드하고 있었으며, 이를 필터링할 필요가 있었음
  • 컨텍스트 격리(context quarantine) 는 하위 에이전트나 동료 에이전트가 같은 환경에서 빈 대화 이력으로 작업하게 함
  • 컨텍스트 가지치기(context pruning) 는 더 이상 필요하지 않은 정보를 제거함
    • Claude Code와 Codex는 컨텍스트 압축의 초기 단계에서 불필요해진 도구 결과를 제거하기도 함
  • 컨텍스트 외부 저장(context offloading) 은 Markdown 파일이나 데이터베이스처럼 환경 안에 정보를 저장해 나중에 다시 접근하게 함
  • 컨텍스트 요약(context summarization) 은 흔히 압축(compaction)으로 부르는 방식임
  • 새로운 문제가 등장해도 이 기본 도구 모음은 유지됐으며, 점점 더 많은 처리가 하네스 안으로 이동함
DSPy 에이전트에 관리 기법을 넣는 방법
  • DSPy는 AI 워크플로와 에이전트를 만들고 행동을 명세하는 데 활용되며, 시연에서는 에이전트를 while 루프로 구성함
    • ReAct 모듈에 요청, 원하는 응답, Python 함수 형태의 도구를 제공하고 루프를 돌며 대화 이력을 누적함
    • 큰 모델은 Claude Sonnet 4.5, 작은 판단 모델은 Jev를 사용하며, Jev는 다른 소형 LLM으로 대체할 수 있음
    • 기본 에이전트는 약 12줄이며, 보조 모델을 빼면 더 짧아짐
  • 도구 선별은 요청과 각 도구를 Jev에 전달해 필요성을 판단하고, loadout 함수가 전체 도구를 순회해 상위 도구 집합을 반환하도록 구현함
  • 컨텍스트 격리는 빈 대화 이력으로 시작하는 하위 에이전트를 주 에이전트가 호출할 수 있는 도구로 노출하면 됨
  • 가지치기는 대화 이력의 각 차례를 Jev에 전달해 여전히 필요한지 판단하고 불필요하면 삭제함
    • 구현을 단순하게 하거나 정교하게 할 수 있지만 프롬프트 캐싱을 고려해야 함
  • 압축은 오래된 대화를 요약하고 그 요약에서 새 컨텍스트를 시작함
    • 먼저 판단 모델로 관련성을 평가해 이력을 줄인 다음 요약하면 더 유용한 요약을 만들 수 있음
  • 네 가지 개선을 하나의 루프에 넣는 데 필요한 변경은 약 16줄로, 기본 패턴 자체는 단순함
프롬프트에서 컨텍스트, 하네스로 이동하는 역할
  • 용어는 빠르게 변하지만 목표는 좋은 응답을 위한 정보 선택으로 유지됨
    • 2023년에는 이를 프롬프트 엔지니어링이라 불렀음
    • 2025년의 컨텍스트 엔지니어링은 사람이 프롬프트를 작성하는 데서 시스템이 컨텍스트를 동적으로 조립하는 방향으로 자동화를 확대함
    • 더 많은 처리를 컨텍스트 밖의 코드로 옮기면서 하네스 엔지니어링이라는 이름을 사용하기 시작함
  • Stewart Brand의 인용문은 미래가 만들어지는 곳을 찾으려면 언어가 발명되고 변호사들이 모이는 곳을 보라고 함
  • 실제 작업은 컨텍스트 조립을 확률적 모델 호출에서 결정론적 코드로 점점 더 옮기는 것임
장기 작업 모델이 만든 새로운 실패 유형
  • 2026년에는 긴 컨텍스트에 모든 정보를 넣는 대신, 모델이 하네스를 운용하고 자신의 컨텍스트를 관리하도록 학습하는 방식이 지배적인 패턴이 됨
  • METR의 작업 시간 지표에서 GPT-5는 약 3.4시간, Gemini 3.1은 6.4시간, Opus 4.6은 약 12시간에 도달함
    • 이는 하네스를 사용한 결과이며, 모델이 하네스를 더 잘 활용하게 된 것이 장기 실행을 가능하게 함
    • 논의는 며칠 동안 실행하는 에이전트와 에이전트 군집으로 확장되고 있음
  • 첫 번째 문제인 가중치와의 싸움(fighting the weights) 은 요청한 행동이 학습된 행동과 충돌해 모델이 지시를 따르지 않는 현상임
    • 하네스 활용 학습이 특정 도구와 환경에 대한 과적합으로 이어질 수 있음
    • Haiku나 Luna 같은 작은 모델은 Playwright MCP 도구 호출을 첫 시도에 잘못하고 매개변수를 수정해 복구하는 경우가 있음
    • 학습 환경의 비슷하지만 다른 도구에서 익힌 편향과 싸워야 하는 문제는 사용자뿐 아니라 모델 연구소와 제품 개발팀에도 해당함
  • Claude Code의 시스템 프롬프트와 도구 지시 에는 독립적인 도구 호출을 병렬 실행하라는 요청이 여러 차례 반복됨
    • 오랫동안 직렬 실행 중심이었던 학습 환경이 행동 편향으로 남았기 때문임
    • 예시에서는 해당 지시가 각각 7회, 4회, 2회, 3회 반복됨
    • 프롬프트에 반복과 대문자 강조가 많다면 학습된 행동을 지시로 극복하려는 상황일 가능성이 있음
  • 두 번째 문제인 컨텍스트 관성(context inertia) 은 가설, 하위 작업, 목표에 과도하게 집중해 멈춰야 할 시점 이후에도 계속 추구하는 현상임
컨텍스트 관성에 대응하는 초기화와 망각
  • Anthropic의 자기 복제 연구 에서 사용한 Memento 하네스는 장시간 실행한 에이전트가 하나의 하위 작업이나 해법에 고착되는 문제를 겪음
    • 해결책은 90분마다 짧은 메모를 작성하고 컨텍스트를 비우는 것임
    • 환경과 작업 결과는 보존하되 진행 중인 대화를 없애 새 관점에서 다시 시작하게 함
  • Microsoft Research의 Fork-and-Flush 는 자동 연구 실험에서 큰 개선 이후 긴 정체 구간이 생기는 현상을 살펴봄
    • 정체 중에도 에이전트는 작업했지만, 새로운 대안을 탐색하기보다 기존 아이디어에 점점 더 작은 변경만 가함
    • 좋은 코딩 에이전트를 만들기 위한 끈기와 목표 집중력이 오히려 탐색을 방해할 수 있음
  • UC Berkeley의 Shangyin Tan이 주도한 Scaling Discovery Requires Forgetting 도 환경의 산출물을 유지하면서 주기적으로 컨텍스트를 지우는 방식을 사용함
    • 망각을 적용한 실험에서는 컨텍스트를 비울 때마다 성능이 다시 뛰어오르는 양상을 보임
  • 복잡하고 지속적인 작업을 수행하는 새 모델에도 대응 수단은 격리, 외부 저장, 누적 이력 삭제라는 기존 기법임
  • 코딩 에이전트가 이상하게 행동할 때 컨텍스트가 80만 토큰 쌓였다면 초기화가 해결책일 수 있음
    • 발표자의 개인적 경고 기준은 약 20만 토큰이며, 보편적인 성능 한계를 뜻하는 수치는 아님
다음 문제로 예상하는 장기 기억의 충돌
  • 모델에 추가한 해결책은 새로운 문제를 만듦
    • 긴 컨텍스트는 더 많은 정보를 허용하지만 잘못된 정보도 함께 수용함
    • 에이전트형 모델은 장기 작업과 컨텍스트 관리를 가능하게 하지만, 필요 이상으로 작업을 지속하거나 학습된 하네스 방식 때문에 사용자 선호를 무시할 수 있음
  • 2027년의 후보 문제는 개인 에이전트의 기억과 스킬 누적임
    • Hermes, OpenClaw, Dot, Bot, Muse 같은 하네스를 6개월 넘게 실행해 본 사람은 아직 많지 않음
    • 발표자가 Hermes를 6개월 운용한 경험에서는 스킬에 특이한 수정이 쌓이면서 문제 해결 방식이 시간이 지날수록 나빠질 수 있었음
    • 범용 에이전트가 비슷한 문제를 서로 다른 방식으로 해결하면서 지시와 기억이 누적되고 충돌함
  • 기억을 강화하는 만큼 전략적 망각도 고려해야 함
    • 지나치게 구체적인 기억이 장기간 쌓이면 서로 충돌하고 복잡해지며, 이를 어떻게 관리할지는 아직 해결되지 않음
    • 이것이 다음 컨텍스트 문제가 될 가능성이 있지만, 확정된 결과는 아님
코드와 모델의 경계를 정하는 일
  • 모델 역량이 발전할 때마다 모델에 위임할 일과 시스템이 강제할 일의 경계가 달라짐
  • 출력은 컨텍스트와 가중치에 의해 결정되므로 두 요소를 함께 이해해야 함
    • 기술 보고서를 읽고 학습 데이터와 과제가 얼마나 관련 있는지 확인하면 실패를 디버깅할 때 유용한 모델을 머릿속에 만들 수 있음
    • 사람이 직접 선택하든 하네스가 조립하든 목표는 적절한 모델에 적절한 컨텍스트를 제공하는 것임
  • 더 큰 모델을 쓰거나 더 오래 추론하게 하거나 컨텍스트를 개선할 수 있으며, 이 가운데 컨텍스트 개선은 저렴하고 빠른 선택지임
  • 지능형 애플리케이션, 하네스, 워크플로를 만드는 일의 핵심은 언제 코드로 결정론적으로 처리하고, 언제 모델이 확률적으로 판단하게 할지 선택하는 것임
그냥 목록으로
원문 보기 ↗