- 테크닉/플랫폼/도구/언어 및 프레임워크 최신 트렌드 117개 항목을 "도입 권장/시험 사용/평가/주의"의 4단계로 분류하고 설명
- 하네스 엔지니어링이 개별 에이전트의 설정을 넘어, 조직이 스킬과 가드레일을 배포하고 지속적으로 평가하는 일로 확장됨
- 공개 가중치 모델과 로컬 코딩 모델의 선택지가 늘면서 작업별 품질, 비용, 지연, 데이터 보관 조건에 맞춰 모델을 고르는 일이 중요해짐
- 에이전트 세션을 병렬로 돌리거나 밤새 작업을 맡길 수 있지만, 사람의 리뷰와 배포 파이프라인이 처리할 수 있는 양은 따로 살펴야 함
- AI를 대규모로 운영하는 비용에는 모델 가격 외에도 추론 스케줄링, 데이터 이동, 스토리지와 네트워크가 영향을 줌
- 에이전트의 하네스는 메모리와 컨텍스트, 도구, 피드백 루프, 가드레일을 포함한 실행 환경임. 이번 호에서는 개별 항목 하나로 평가하기보다 여러 기술을 연결하는 테마로 다룸
- 플러그인 생태계가 생기면서 스킬과 MCP 서버를 공통 형식으로 묶고, 마켓플레이스와 패키지 관리자로 배포할 수 있게 됨
- Agent Plugins는 패키지 형식을, Agent Package Manager는 설치와 버전 관리를, 조직의 플러그인 마켓플레이스는 검색과 배포를 맡음.
- 하네스에도 운영 책임과 유지보수가 필요함. 피드백 플라이휠로 세션에서 얻은 교훈을 팀의 공통 지시로 돌려보내고, 하네스 변경 전후의 결과를 평가 하며, 실행 기록에서 개선안을 만드는 방식을 검토함.
- 내부 개발자 플랫폼이 제품처럼 관리되기 시작했듯, 조직 공통 하네스도 팀에 제공하는 내부 제품이 될 수 있다고 전망함.
- 일부 코딩 작업에서는 GLM 같은 공개 가중치 모델이 상용 프런티어 모델의 대안으로 떠오름.
- 퍼블릭 클라우드, 네오클라우드, 자체 장비에서 실행할 수 있어 비용과 함께 소스 코드와 프롬프트가 머무는 위치, 공급업체 의존성을 고려할 수 있음
- 로컬 코딩 모델 외에도 거래 및 이벤트 데이터를 학습하는 구조화 데이터용 기반 모델, 정해진 형식으로 빠르게 판단을 반환하는 Jev 같은 결정 모델을 다룸.
- 모든 작업에 가장 강력한 모델을 쓰는 방식을 Caution에 배치함. 단순 탐색과 요약, 복잡한 구현에 필요한 모델 역량이 다르므로 작업별 모델 선택과 라우팅이 중요해짐.
- Thoughtworks 팀에서는 개발자가 여러 세션을 직접 열고 각각을 조율하는 방식을 주로 씀
- 34호에서 다룬 역할 기반 에이전트 팀은 정해진 워크플로를 나눠 맡고, 스웜은 작업을 분해하고 배정하는 판단까지 에이전트에게 맡김. 이번 호는 개발자가 직접 통제하는 여러 세션을 시작점으로 봄.
- 범위를 정해 저녁에 작업을 시작하고 아침에 결과를 확인하는 방식도 Trial에 포함됨.
- Herdr 등 세션 관리 도구는 작업 중이거나 답변 및 승인을 기다리는 세션을 표시함. Git worktree는 작업 사본을 분리하지만 병합하지 않은 브랜치가 쌓일 수 있음
- Claude Squad, T3 Code, Orca, Paseo 등 여러 도구를 논의했고, 그중에서도 Herdr에 가장 큰 관심이 모였음. Omnigent는 개입이 필요한 세션을 모아 보여주고, Paseo는 휴대전화에서 진행 상황을 확인할 수 있음.
- 서브에이전트가 탐색과 재시도를 맡으면 메인 세션에 필요한 결과만 전달할 수 있음. AgentsView는 이전 세션을 돌아보는 데, Hunk는 생성된 코드 변경을 검토하는 데 쓰임.
- 세션 수가 늘면 개발자의 주의력과 리뷰 능력이 병목이 됨. 변경이 리뷰와 배포의 처리량을 넘어서면 승인 절차가 형식적으로 흐르거나 일이 대기열에 쌓일 수 있음.
- Path-to-production mapping으로 변경이 어디에 쌓이는지 확인할 수 있음. Entire CLI는 에이전트 작업 기록을 팀에 공유하는 초기 사례임.
- AI를 대규모로 운영할 때 토큰당 원가는 모델 가격과 더불어 라우팅, 배치 처리, 데이터 이동, 가속기 활용률에 좌우됨
- Kubernetes가 대규모 AI 인프라의 운영 기반으로 쓰이고 있음. KServe와 KAITO는 모델 배포와 서빙을, llm-d는 분산 추론과 스케줄링을, LiteLLM은 모델과 공급업체 간 라우팅을 다룸.
- 학습과 추론에 필요한 데이터 이동까지 포함하면 컴퓨팅 외 계층도 중요함
- VAST DataStore는 가속기 워크로드에 필요한 스토리지 처리량을, Netris는 클러스터가 사용하는 고대역폭 네트워크의 구성과 운영을 다룸.
- 모델, GPU, 추론 엔진, 스토리지, 네트워크를 공통 플랫폼에서 프로그래밍 가능한 자원으로 운영하는 방향이 나타남
Adopt
-
Agent sandboxing
- 모든 에이전트의 기본값으로 샌드박스를 권장함. 별도 실행 환경에서 파일, 네트워크, 자격 증명과 외부 시스템 접근 범위를 제한해 실수나 공격이 미치는 영향을 줄임.
- 위협 모델링을 먼저 하고 에이전트가 맡은 작업에 맞춰 격리 수준을 정함. 같은 실행 환경에서도 필요한 디렉터리와 외부 연결만 열어줄 수 있음.
- 코딩을 넘어 업무 시스템에서 직접 조치하는 에이전트가 늘어, Thoughtworks는 최소 권한을 적용한 샌드박스를 모든 에이전트의 기본 구성으로 권장함.
-
Mutation testing
- 애플리케이션 코드에 작은 결함을 자동으로 넣고 테스트가 이를 잡는지 확인함. 코드 커버리지가 높아도 변형된 코드에서 테스트가 통과하면 검증 조건이 약하다는 신호임.
- 경계 조건이나 연산자를 바꿨는데도 테스트가 통과하면, 실행된 코드의 양과 실제로 검증한 동작 사이에 차이가 있음을 보여줌.
- 전용 도구를 쓰는 방법 외에 에이전트가 코드를 바꾸고 테스트를 실행한 뒤 어떤 검증이 빠졌는지 조사하는 방법도 있음. 살아남은 변형은 테스트가 구현의 오류를 실제로 감지하는지 확인하는 출발점임.
- AI가 만든 피상적인 테스트를 걸러내는 품질 검증으로 권장함. 전체 변형 실행은 오래 걸리므로 변경 코드나 중요한 패키지부터 적용할 수 있음.
-
Path-to-production mapping
- 코드 변경이 프로덕션에 도달하기까지 거치는 단계와 대기 시간을 팀이 함께 그림. 에이전트로 코드 생성이 빨라질 때 리뷰, 테스트, 배포 중 어디에 일이 쌓이는지 확인하는 데 유용함.
- 설계, 개발, 릴리스, 운영 담당자가 워크숍에서 개발자 PC부터 프로덕션까지의 흐름을 그리고, 두 번째로 지연과 위험이 생기는 곳을 표시함.
- 첫 번째 순회에서는 평소 절차를 기록하고, 두 번째에서는 팀마다 달랐던 절차나 불필요한 인수인계를 찾음. 지도는 코드 작성에 걸린 시간과 대기 시간을 분리해 보여줌.
- Thoughtworks가 써온 기법으로, 코드 생성량이 늘어도 리뷰 대기와 배포 병목이 남는 문제를 팀 전체가 해결하는 데 적합함.
-
Post-quantum cryptography
- 미래의 양자컴퓨터 공격에 견디는 암호로 이전하는 작업. 지금 수집한 암호문을 나중에 해독하는 위협 때문에 키 교환부터 점검할 필요가 있음.
- NIST는 키 캡슐화용 ML-KEM과 서명용 ML-DSA, SLH-DSA를 표준화함. 최신 런타임에서 지원하더라도 버전 업그레이드나 설정 변경이 필요할 수 있음.
- 보고서는 여러 나라의 이전 목표 시점을 2030~2035년으로 소개함. Java는 JDK 24부터 관련 기능을 제공하는 사례이며, 지원 라이브러리뿐 아니라 실제 통신 설정도 점검해야 함.
- 새 프로젝트는 양자 내성 암호를 설계에 넣고, 기존 시스템은 암호화 자산과 의존성을 파악해 키 교환부터 이전 일정을 잡도록 권장함.
-
Progressive context disclosure
- 처음에는 필수 지시만 제공하고, 에이전트나 사용자의 요청에 따라 문서, 도구 설명, 작업 지침을 불러옴. 긴 지시를 매번 통째로 주입하는 비용과 잡음을 줄이는 컨텍스트 설계 기법임.
- 저장소의 AGENTS.md는 짧게 두고 상세 문서에 링크함. 하네스에서는 스킬과 MCP 도구의 전체 설명을 실제로 쓸 때 불러오고, 업무 앱에서는 사용자 입력에 따라 벡터 RAG나 GraphRAG로 자료를 검색할 수 있음.
- 코딩뿐 아니라 RAG와 GraphRAG를 쓰는 업무 앱에서도 널리 자리 잡아 Adopt로 이동함. 토큰 비용과 불필요한 문맥 이 누적되는 문제를 함께 줄일 수 있음.
-
Threat modeling
- 개발 과정에서 사람이 시스템의 신뢰 경계와 공격 경로를 정기적으로 검토함. 생성형 AI에서는 프롬프트 인젝션이나 에이전트의 외부 행동처럼 일반적인 스캔이 놓칠 수 있는 위협도 다룸.
- MITRE ATLAS의 공격 목록을 실제 시스템에 대입하고, STRIDE나 MAESTRO, 위험한 데이터 흐름 분석으로 신뢰 경계를 살펴볼 수 있음.
- 위협 모델링 회의는 문서에 없던 실제 동작을 발견하고 이해관계자가 위험을 함께 이해하는 자리이기도 함. 에이전트는 위협 후보를 모으는 데 활용하되, 허용할 위험과 적용할 통제는 사람이 결정함.
- 팀이 모델 판단을 허용할 지점과 규칙으로 막을 행동을 명시적으로 결정하게 하므로, 생성형 AI를 포함한 개발 과정의 기본 보안 활동으로 권장함.
Trial
-
Agent plugin marketplace
- 스킬, 지시, MCP 서버, 서브에이전트 정의를 조직 안에서 검색하고 설치하며 업데이트하는 배포 경로. 문서화한 Git 저장소에서 시작할 수 있고, 팀마다 파일을 복사해 따로 관리하는 일을 줄임.
- Git 저장소의 플러그인을 에이전트에서 직접 설치하거나 Agent Package Manager로 의존성과 버전을 관리할 수 있음.
- Claude Code의 플러그인 마켓플레이스가 이 방식을 널리 알렸고, Tessl 같은 호스팅 레지스트리나 wshobson/agents 같은 커뮤니티 모음에도 비슷한 배포 방식이 쓰임.
- Thoughtworks가 문서화한 Git 저장소로 구현해 본 방식임. 조직 공통 하네스를 여러 팀에 배포할 때 개별 저장소에 파일을 복제하는 비용을 줄여 Trial에 둠.
- Thoughtworks는 Git 저장소에 올릴 플러그인을 Agent Plugins의 공통 형식으로 구성함.
-
Agent-maintained knowledge bases
- 팀 지식을 서로 연결된 텍스트 파일로 보관하고 에이전트가 정리함. LLM Wiki 패턴은 원본 자료, 에이전트가 수정하는 위키, 작성 규칙을 분리하며 OpenWiki는 이를 코드 저장소 문서에 적용함.
- Git으로 변경 이력을 남기고 기획자, 디자이너, 개발자와 에이전트가 같은 자료를 조회함. 원본과 생성된 설명을 분리하면 내용을 검증하기 쉬움.
- 개인이 Obsidian 같은 도구에서 지식 저장소를 만들던 방식을 팀으로 확장한 형태임. 팀원이 같은 용어와 근거를 찾도록 자료를 연결하는 것이 목적이며, 에이전트가 편집하는 문서는 원본과 비교할 수 있어야 함.
- 여러 팀에서 정보 탐색이 쉬워졌지만, 자동으로 작성된 설명이 현실과 어긋날 수 있음. 조직 전체로 확대하기 전에 팀 단위로 운영하며 갱신 책임을 정할 만함.
-
Anchoring coding agents to a reference application
- 새 서비스를 만드는 템플릿은 최소 구조만 담고, 에이전트가 빌드 가능한 레퍼런스 앱 을 읽어 최신 설정과 관례를 적용하게 함. 템플릿에 세부 규칙을 복제할 때 생기는 노후화를 줄임.
- 바뀌기 쉬운 플랫폼 설정과 의존성 규칙을 OpenWiki나 팀 지식 저장소에서 실행 시점에 읽게 할 수도 있음.
- Thoughtworks 팀에서 AI를 활용한 서비스 초기 구성에 적용해 성과를 봄. 최신 규칙을 한 곳에서 고치면서 가벼운 템플릿을 유지할 수 있어 Trial에 적합함.
-
Coding harness for general-purpose agents
- 문서 처리, 운영 지원, 마이그레이션 계획에 기존 코딩 에이전트의 런타임을 재사용함. SDK나 실행 인터페이스로 에이전트 루프와 도구 실행을 활용하고 업무별 지시와 권한을 구성함.
- Thoughtworks는 .NET 마이그레이션을 돕는 내부 도구에 이 접근을 적용함. Codex와 Claude Agent SDK는 샌드박스와 승인을 제공하고 Pi는 확장으로 구성함.
- Claude Agent SDK, Codex SDK와 app-server, OpenCode의 서버와 SDK, Pi의 SDK와 RPC가 진입점임. 대화형 세션에서 쓰던 지시와 스킬을 헤드리스 실행에도 활용할 수 있음.
- 긴 세션의 컨텍스트 압축과 상태 보존까지 런타임에 맡기는 대신, 프레임워크를 직접 조립할 때보다 실행 루프를 세밀하게 제어하기 어려울 수 있음.
- 검증된 실행 루프를 바로 활용할 수 있어 시험할 만하지만, 코딩용 기본 도구와 프롬프트가 대상 업무에 맞는지, 세션당 토큰 비용이 어느 정도인지 확인해야 함.
-
Feedback flywheel
- 세션이 끝날 때 에이전트가 겪은 실수나 발견을 공유 지시와 스킬의 개선 후보로 남김. 팀이 검토해 반영하면 한 개발자가 배운 내용이 다음 세션과 다른 개발자에게도 이어짐.
- 에이전트의 개선안을 사람이 검토하고, 더 이상 사용하지 않는 지시와 잡음만 내는 검사도 제거함. 컨텍스트 프로파일링으로 공유 지시의 비용을 확인할 수 있음.
- 세션 마지막에 공유 자산을 고칠 점이 있었는지 묻고 팀 회고 에서 반영 여부를 정함. 검사 실패가 반복되는 지점이나 에이전트 제보를 모으고, Backpass처럼 과거 세션에서 수정안을 만드는 도구도 활용할 수 있음.
- 하네스를 손보는 일이 일상적인 팀 활동으로 자리 잡아 Trial로 이동함. 개선의 승인과 우선순위는 팀이 결정함.
- 피드백을 해석하고 수정하는 과정까지 에이전트에 맡기는 접근은 self-improving harness에서 다룸.
-
Graph-grounded codebase reasoning
- 코드와 문서, 의존 관계를 그래프로 구성하고 질문에 필요한 부분만 모델에 제공함. Graphify 같은 도구를 활용하면 관련 파일을 찾거나 변경 영향 범위를 파악할 때 읽어야 할 텍스트를 줄일 수 있음.
- 그래프에서 구조적 관계를 찾을 수 있지만, 일부 연구에서는 파일 검색과 grep만 사용했을 때보다 에이전트 결과가 나빠진 경우도 있었음.
- 정확도와 비용 차이가 작업에 따라 달라 Trial에 배치함. 같은 저장소와 과제에서 검색 방식별 결과를 비교하는 것이 핵심임.
- 그래프를 에이전트에 제공하는 방식은 앞서 다룬 code intelligence as agentic tooling의 연장선에 있음.
-
Grilling
- 에이전트가 구현 전에 계획을 놓고 질문을 이어가며 모호한 요구사항과 가정을 확인함. mattpocock/skills의 사례처럼 답에 따라 다음 질문이 달라져 결정이 필요한 부분을 드러냄.
- 요구사항의 예외, 선택지 사이의 우선순위처럼 말로 풀어야 드러나는 가정을 질문함. 개발자가 구현 계획을 이해한 상태에서 결정 기록을 남겨 코드베이스에 대한 인지 부채를 줄이는 데도 도움이 됨.
- 질문을 통해 개발자가 자신의 가정을 직접 확인하므로 에이전트가 만든 계획을 이해하지 못한 채 넘기는 인지 부채를 줄이는 데도 도움이 됨.
- 실제 팀에서 구현 전 이해도를 높이는 데 쓰였음. 에이전트가 혼자 가정을 정한 채 구현에 들어가는 일을 줄여 Trial에 포함함.
-
Interactive visual plans with agents
- 구현 계획을 다이어그램, 화면 흐름, 와이어프레임이 담긴 HTML 또는 MDX 로 만들고 직접 살펴보며 검토함. 큰 설계를 한 번에 확정하기보다 필요한 부분을 짧게 반복해 확인하는 데 적합함.
- 작업을 검증 가능한 작은 단위로 나눠 화면과 동작을 검토함. 구현 뒤에는 실제 변경이 계획에서 벗어난 부분을 같은 형태로 살펴볼 수 있음.
- 팀이 긴 텍스트보다 복잡한 변경을 확인하기 쉬웠던 방식으로, 구현 전에 사람이 개입할 시점을 만드는 데 유용해 Trial에 둠.
-
Managed agents runtime
- 에이전트 실행을 개발자 컴퓨터에서 관리형 런타임으로 옮김. 런타임이 샌드박스, 트리거, 자격 증명, 세션 상태와 관측을 관리해 장시간 작업이나 예약 실행을 지원함.
- 내부 보안팀은 매일 탐지 오탐을 분류하는 작업을 맡겼고, 다른 사례는 자체 호스팅 런타임에서 저장소의 의존성 갱신을 처리함.
- Cursor 클라우드 에이전트, GitHub Copilot 코딩 에이전트, Codex 클라우드 작업처럼 원격 샌드박스에서 실행되는 도구가 이 방향으로 수렴함. 이슈나 일정에서 작업을 받아 리뷰용 PR로 넘기는 비동기 흐름에 맞음.
- 데이터 보관 위치나 내부 시스템 연결이 중요하면 자체 플랫폼을 운영할 수 있음. 고객 사례에서는 스캐너가 찾은 코드 문제와 의존성 업데이트에 필요한 후속 코드 변경까지 여러 저장소에서 처리함.
- 예약 작업과 장시간 작업에서 운영 부담을 덜 수 있어 Trial에 둠. 호스팅 위치와 상관없이 정의를 버전 관리하고 실행을 격리해야 함.
- 비슷한 관리형 실행 방식을 범용 업무에 적용한 서비스로 Claude Managed Agents가 있음.
-
Open-weight models
- DeepSeek, GLM, Kimi 등 공개 가중치 모델을 실제 개발 업무에 시험함. 비용뿐 아니라 코드와 프롬프트의 보관 위치, 배포 환경과 공급업체 의존성을 기준으로 평가할 수 있음.
- 가벼운 모델부터 대규모 MoE까지 배포 규모를 조절하고, 필요하면 내부 데이터로 미세 조정할 수 있음. 운영 부담이 크면 관리형 공개 모델도 선택지임.
- 관리형 서비스는 공개 가중치 모델을 시험하기 쉽고, 자체 운영은 배포 위치와 데이터 통제 범위를 더 세밀하게 정할 수 있음. Thoughtworks는 비용 절감용으로만 볼 필요 없이 코딩 밖 기업 업무도 평가 대상으로 봄.
- Thoughtworks가 복잡한 코딩과 추론 업무에서도 좋은 결과를 얻어 시험 사용을 권장함. 모델과 호스팅 조합별로 품질과 총운영비를 확인해야 함.
-
Risk-tiered human oversight
- 변경 위험과 되돌리기 난이도에 따라 사람의 개입 수준을 정함. 위험이 낮은 변경은 CI를 거쳐 자동 병합하고, 중간 위험은 리뷰하며, 되돌리기 어려운 조치는 사람이 직접 수행함.
- 민감한 파일과 디렉터리를 별도 검토 구역으로 지정하거나 모델로 변경 영향도를 분류할 수 있음. 모델 분류는 오판할 수 있어 두 방식을 조합할 수 있음.
- Meta가 공개한 프로세스는 민감한 코드 구역에 강한 검토 규칙을 두고, 변경 내용 자체의 영향을 모델로 분류하는 두 접근을 결합함.
- 팀 경험상 모든 변경을 같은 강도로 보는 것보다 제한된 리뷰 시간을 중요한 변경에 쓰기 쉬워 Trial에 둠.
- AWS의 Risk-tiered human oversight 가이드도 위험 수준에 따라 검토 강도를 정하는 방식을 다룸.
- 위험에 관계없이 같은 검토를 요구하면 사람이 형식적으로 승인하는 human-in-the-loop theater가 되기 쉬움.
-
Self-improving harness
- 실행 추적과 평가 결과를 에이전트가 분석해 프롬프트, 스킬, 도구, 메모리 등의 개선안을 만들게 함. 개선 전후를 평가하고 변경을 통제할 수 있어야 하네스의 품질을 유지할 수 있음.
- 실행 추적에서 실패를 찾고, 수정 가능한 구성 요소를 바꾼 뒤 같은 과제를 재실행함. Pi와 DeepSeek Harness는 이런 실험을 할 수 있는 확장 지점을 제공함.
- Meta-Harness와 VERSE는 실행 기록과 평가 결과를 토대로 하네스 코드를 바꾸는 연구 사례임. VERSE는 하네스에 더해 개선을 수행하는 도구와 절차도 바꿈.
- 관측 기능이 있어야 실패와 수정 효과를 연결할 수 있고, 스킬과 도구를 프로그램으로 수정할 수 있어야 반복 실험의 범위를 넓힐 수 있음.
- 평가 점수 개선이 새로운 과제에서도 이어지는지 확인해야 함. 사람이 목표와 수정 가능 범위를 정하고 회귀 검증을 붙인 실험을 권장함.
- 프롬프트 최적화에서 하네스 자체를 개선하는 연구로 이어진 흐름은 Lilian Weng’s overview에서 다룸.
- 팀이 수정 여부를 판단하는 feedback flywheel에서 한 걸음 더 나아가 개선 과정 일부를 에이전트에 위임함.
- 확장으로 하네스의 동작을 바꾸는 사례에는 Claude Code Mods도 있음.
-
Small language models
- 요약, 분류 등 범위가 좁은 작업에 소형 언어 모델을 활용함. 증류와 양자화 등으로 비용, 지연, 실행 자원을 줄일 수 있으며 실제 작업에서 요구 품질을 충족하는지 확인해야 함.
- 구조화된 정보 추출이나 요청 분류처럼 빈도가 높고 범위가 좁은 작업에서 효과를 확인함. 기기 내부에서 실행할 수 있는 모델도 있음.
- 보고서는 Apple Core AI를 기기에서 소형 기반 모델을 실행하는 사례로 듦. 팀이 효과를 본 작업에는 기초 코딩도 포함됨.
- 여러 단계의 추론이나 도구 호출 신뢰성이 핵심인 과제는 별도 검증이 필요함. 단순한 과제에서 비용과 지연을 낮출 수 있어 Trial에 둠.
-
Stateful guardrails
- 최근 대화와 정책 위반 이력 을 함께 평가하는 가드레일. 개별 메시지는 무해해 보여도 여러 턴에 걸쳐 위험한 의도가 드러나는 경우를 다룸.
- 실행 직전에 최근 대화 전체를 정책과 비교하고 기존 입출력 검사와 함께 적용함. 매 턴 평가에 드는 시간과 비용, 정상 사용자를 막는 오탐을 살펴야 함.
- 최근 대화를 짧게 묶어 정책별 검사를 실행하고, 위반 누적 횟수나 차단 상태를 세션에 보관함. Thoughtworks 사례에서는 Langfuse에서 어떤 정책 판단이 내려졌는지 추적함.
- Thoughtworks가 민감한 업무를 다루는 프로덕션 챗봇에서 써본 방식임. 여러 턴에 걸친 정책 우회를 탐지해야 할 때 시험할 만함.
-
Subagents for better context management
- 탐색과 도구 출력, 재시도를 서브에이전트 에 맡기고 메인 세션은 요약을 받음. 병렬 처리 외에도 작업에 필요한 정보만 남겨 주 에이전트의 컨텍스트를 관리하는 데 쓰임.
- 조사처럼 범위가 좁은 서브태스크에는 더 저렴한 모델을 쓸 수 있음. 같은 모델과 프롬프트라도 하네스에 따라 위임 방식이 달라짐.
- 보고서는 동시에 2~4개를 운영하고, 같은 코드 이해가 필요한 작업은 한 에이전트에 묶는 방식을 제안함. 메인 세션에 서브에이전트의 전체 기록을 다시 불러오면 컨텍스트를 줄이는 효과가 사라짐.
- 실무 사례는 있지만 절감 효과를 체계적으로 측정한 결과는 부족함. Trial에서 메인 세션과 전체 작업의 토큰 사용량을 실제로 비교할 만함.
- 서브에이전트는 역할을 나눠 협력하는 team of coding agents에도 쓰이지만, 여기서는 메인 세션의 컨텍스트를 줄이는 효과에 초점을 맞춤.
-
Toxic flow analysis for AI
- 비공개 데이터 접근, 신뢰할 수 없는 입력, 외부 통신이 결합되는 경로를 분석함. 프롬프트 인젝션이나 도구 오염으로 데이터가 외부로 흘러갈 수 있는 지점을 찾아 권한과 정보 흐름을 조정함.
- 도구나 외부 스킬을 거친 입력까지 추적함. 유용해 보이는 스킬에 숨은 지시가 민감한 데이터를 외부로 보내는 경로를 열 수 있음.
- Agent Scan 등을 사용해 위험한 경로를 사전에 찾은 경험을 바탕으로 Trial로 이동함. 일반 위협 모델링의 범위를 에이전트 데이터 흐름으로 구체화함.
- 비공개 정보에 접근하면서 신뢰할 수 없는 입력을 읽고 외부로 통신할 수 있는 세 조건을 lethal trifecta라고 부름.
-
Unattended overnight agentic builds
- 퇴근 전에 범위가 정해진 기능이나 인프라 작업을 코딩 에이전트에 맡기고 다음 날 결과를 검토함. 한 에이전트로도 시도할 수 있으며, 작업 정의와 검증 기준을 미리 마련하는 것이 중요함.
- 샌드박스 에서 실행하고, 명세와 컴파일러·테스트 같은 피드백을 준비해 실패 시 스스로 재시도할 수 있게 함.
- 한 팀은 낮에 계획과 명세를 함께 다듬고 밤에 에이전트가 구현하게 했음. 관리형 런타임이나 에이전트가 CI 상태를 확인하는 기법을 함께 쓸 수 있음.
- 밤새 만들어진 변경은 사람이 한 줄씩 검토하기에 클 수 있음. 검증 가능한 하네스가 갖춰진 팀에 한해 Trial로 권장함.
- 이 방식에는 여러 에이전트가 작업을 나눠 맡는 coding agent swarm가 필수는 아님.
- Thoughtworks는 야간 작업을 맡기기 전에 실행 환경을 갖추는 일을 검증 가능한 하네스에 앞서 운영 요건을 마련하는 것에 비유함.
Assess
-
Agent pipeline responsibility
- 코딩 에이전트가 CI 상태와 실패 로그를 직접 확인하고 빌드 실패 대응에 참여하게 함. 팀이 정한 빌드 규칙을 적용하려면 에이전트가 그 상태를 도구로 볼 수 있어야 함.
- 실패 로그를 사람이 복사해 주는 절차를 줄이고, 에이전트가 조회 도구로 빌드 상태를 읽고 수정할 수 있게 함.
- 배포 경로를 그리는 워크숍에 에이전트의 역할을 포함하고, 변경 위험에 따라 사람이 개입하는 시점을 함께 정할 수 있음.
- 에이전트의 커밋이 늘어날 때 기존 빌드 규칙을 적용하는 방안으로 평가할 만함. 실패한 변경의 푸시 제한은 훅이나 서버 검사로 강제함.
-
Agent suggestion box
- 에이전트가 빠진 의존성, 도구 오류, 불편한 환경 설정을 Slack, 이슈 트래커, 메모리 등에 남기게 함. 우회로 해결한 문제가 다음 세션마다 반복되는 것을 줄이는 데 목적이 있음.
- Thoughtworks의 탐지 규칙 작성 에이전트는 세션마다 불편을 남기고 다른 에이전트가 중복 제보를 묶음.
- 메모리는 다음 세션이 고장 난 도구를 피하는 데 도움을 주지만, 제안함은 팀이 그 도구를 고칠 기회를 만듦. Lovable은 제보를 바탕으로 하루 약 10건의 수정을 병합하면서도 분류 에이전트가 제안하는 수정의 약 절반을 오탐으로 보고함.
- 여러 세션에서 반복되는 제보는 개선 후보를 찾는 데 도움이 됐지만, 직접 경험은 한 에이전트에 한정됨. 일시적 문제와 오탐은 사람이 검토해야 함.
- 제보를 실행 환경의 개선으로 이어갈 때 self-improving harness 기법을 적용할 수 있음.
- 코딩 에이전트에서 제안함을 구성하는 구현 예로 agents-feedback가 있음.
-
Context profiling
- 파일 읽기, MCP 호출, 도구 출력 등 어디에서 토큰이 소비되는지 실제 세션을 분석함. 추측으로 컨텍스트를 줄이기 전에 비용이 큰 구간과 최적화의 효과를 확인함.
- AgentsView나 Entire CLI로 세션을 살펴보고 파일 읽기나 반복 출력에 얼마나 쓰는지 확인함. 캐시 적중과 모델 요금이 다르면 토큰 수와 실제 비용의 관계도 달라짐.
- 세션을 비우는 시점, 캐시 매개변수, 빌드 출력량을 먼저 조정한 뒤 압축 프록시가 추가로 절감하는 비용을 측정함.
- 전용 도구가 아직 성숙하지 않아 Assess에 둠. 과도한 빌드 로그를 줄이거나 적절한 시점에 세션을 새로 시작하는 간단한 조치도 비교할 만함.
-
Enterprise harness
- 조직 공통의 스킬, 사내 데이터 연결, 승인 기술, 아키텍처 결정, 배포 절차와 보안 정책을 관리하는 하네스. 공통 자산을 유지할 책임을 정하고 팀별 지시 와 조합함.
- 개발자 플랫폼과 비슷하게 조직 공통 정책과 자산을 제공하되, 팀이 자기 저장소의 지시와 조합할 수 있게 함.
- OpenCode 위에 전용 코딩 에이전트를 만든 조직도 있음. 보고서는 이보다 작은 단위에서 시작할 때 공개 표준으로 공통 자산을 묶고 마켓플레이스로 배포하는 방법을 제시함.
- 기업 전체에서 통하는 운영 방식은 아직 정착되지 않음. 얇은 공통 계층과 공개 배포 형식에서 출발해 팀별 실험에서 검증된 구성을 채택하는 편을 권함.
-
Foundation models for structured data
- 이벤트와 거래 기록 등 구조화된 기업 데이터로 모델을 사전 학습해 여러 예측 과제에서 표현을 재사용하는 접근. 과제마다 피처를 새로 만드는 방식과 비교해 데이터 요구량과 적용 효과를 평가할 수 있음.
- TabPFN과 TabFM 같은 접근은 표나 관계형 데이터에서 위험 예측, 고객 유지 등 여러 과제에 적용할 수 있음.
- 이벤트나 거래 내역으로 사전 학습한 표현을 여러 예측 업무에 재사용하고, 업무별로 경량 미세 조정할 수 있음. 업무마다 피처를 만들고 다시 훈련하는 그래디언트 부스팅과 비교되는 지점임.
- 복잡한 피처 파이프라인 없이 기업 데이터를 활용할 가능성이 있어 Assess에 둠. 실제 과제에서 기존 모델과 데이터 및 운영 비용을 비교할 만함.
-
Harness quality evaluation
- 스킬, 플러그인, 지시 파일, 가드레일이 실제 결과를 개선하는지 평가함. 정해진 규칙을 검사하는 테스트와 모델 동작을 비교하는 평가를 함께 사용해 하네스 변경 효과를 살핌.
- 권한 차단과 같은 결정적 제약은 테스트 스위트로 검증하고, 스킬과 플러그인은 PluginEval 처럼 에이전트 결과를 비교하는 평가로 확인함.
- 결정적 가드레일은 테스트가 먼저 실패하는 것을 확인한 뒤 구현하는 방식으로 개발할 수 있음. 테스트 스위트는 규칙이 실제로 적용됐다는 근거도 남김.
- 프로젝트마다 하네스 구성이 달라 효과를 직접 입증해야 함. CI나 야간 실행에 평가를 넣어 구성 변경의 영향을 반복 측정하는 기법으로 Assess에 둠.
-
Local coding models
- 로컬에서 구동하는 모델을 코딩 에이전트에 연결함. 코드가 외부로 나가는 범위를 줄이고 오프라인 실행도 가능하며, 작업 난이도와 장비의 메모리, 추론 속도를 함께 평가해야 함.
- 코드 인덱싱, 구조화된 로그 분석, 초기 구현, Git diff 리뷰 같은 과제에서는 로컬 모델이 실용적인 사례가 나옴.
- 보고서에서 로컬 실행 사례로 든 Qwen3.8-27B는 인덱싱이나 로그 요약 등 프런티어 모델이 꼭 필요하지 않은 과제에 쓰였음. 백그라운드 업무를 오래 실행하더라도 클라우드 토큰 요금이 추가되지 않는 장점이 있음.
- 이전에는 로컬 코딩 도구의 역량이 제한적이었지만 공개 모델이 성숙하면서 재평가함. 장시간 백그라운드 작업과 오프라인 대체 경로부터 시험할 만함.
-
MITRE ATLAS
- AI와 머신러닝 시스템을 겨냥한 공격 전술과 기법을 정리한 지식 베이스. MITRE ATT&CK 을 보완하며 모델, 파이프라인, 에이전트의 위협을 공통 용어로 논의하는 데 도움을 줌.
- 실제 공격 사례와 연구를 토대로 한 분류를 위협 모델링에 사용하고, SAIF 같은 통제 프레임워크와 결합할 수 있음.
- AI 관련 위험을 빠뜨리지 않고 팀이 같은 용어로 설명하는 데 유용해 평가 대상으로 삼음. 시스템의 구체적인 공격 경로는 별도로 분석해야 함.
- MITRE ATLAS에서 공격 전술과 기법을 행렬로 탐색할 수 있음.
-
Production-aware coding agents
- 코딩 에이전트에 적절한 프로덕션 로그, 메트릭, 트레이스 접근을 제공함. 변경을 계획하거나 배포 뒤 영향을 확인하고 장애를 조사할 때 실제 운영 상태를 근거로 삼을 수 있음.
- 커밋 전 검사에서 끝나던 피드백을 운영 환경까지 이어줌. 에이전트가 배포 후 지표 변화를 확인하거나 장애 원인을 좁힐 수 있음.
- 적절한 접근을 제공하는 도구가 나오고 있어 Assess에 둠. 코드 변경에 유용한 읽기 범위와 실제 운영 조치 권한은 각각 정해야 함.
-
Programmatic tool calling
- 모델이 여러 도구 호출을 묶은 코드를 작성하고 실행 환경에서 반복, 필터링, 집계를 수행함. 필요한 결과만 컨텍스트로 돌아오므로 호출마다 모델을 왕복하는 비용을 줄일 수 있음.
- 실행 환경은 모델 공급자의 컨테이너, 로컬 하네스, Code Mode MCP 서버 등에 둘 수 있음.
- Cloudflare와 Pi의 Code Mode, Anthropic의 programmatic tool calling, DeepSeek Harness의 PTC Mode가 비슷한 방식을 가리킴. 여러 MCP 호출을 한 실행 환경 안에서 처리하고 결과를 걸러서 가져올 수 있음.
- 도구가 많거나 중간 출력이 큰 업무에서 평가할 만함. 여러 호출을 코드로 묶으면 개별 승인 지점이 줄 수 있어 서버와 도구가 각 호출의 권한을 강제해야 함.
-
Semantic review of AI-edited prose
- AI가 수정한 명세나 ADR에서 사실 변경, 요구사항 누락, 새로 생긴 충돌을 의미 단위로 드러냄. 문구 재배치가 많은 텍스트 diff를 보완해 사람이 중요한 변경부터 검토할 수 있게 함.
- 명세의 범위, 수락 기준, 사실이 바뀐 부분을 표시하는 스킬로 구현할 수 있음. 원문 diff와 함께 보면 단순 문구 변경을 건너뛰기 쉬움.
- 일부 팀에서 문서 검토 부담을 줄였지만 의미 분류 역시 모델의 판단임. 구현 전 중요한 변경을 찾는 보조 수단으로 평가할 만함.
-
Tests as data over tests as code
- 테스트 사례를 YAML이나 JSON 등 구조화된 데이터로 표현하고 공통 하네스에서 실행함. 테스트 작성 에이전트가 실행 로직을 반복 생성하는 대신 기존 검증 단계와 입력, 기대 결과를 조합함.
- 같은 테스트 데이터를 두 실행 어댑터에 연결해 레거시와 새 시스템이 같은 입력에 같은 결과를 내는지 확인할 수 있음.
- Gherkin으로 테스트 조건을 적는 BDD와 같은 계열의 기법임. 새롭게 주목하는 지점은 에이전트가 테스트 코드까지 대량으로 생성하는 환경에서 테스트 데이터의 형식과 실행 로직을 분리하는 효과임.
- 명시적인 스키마가 AI가 생성하는 테스트의 형태를 제한해 리뷰하기 쉬웠음. AI를 활용한 팀 경험은 아직 넓지 않아 Assess에 둠.
Caution
-
Agent instruction bloat
- 지시 파일과 스킬에 규칙이 계속 추가되면 오래되거나 서로 충돌하는 내용이 쌓임. 공통으로 필요한 지시는 짧게 관리하고 작업별 세부 지시는 필요한 시점에 불러오는 편이 나음.
- 기계적으로 검증할 규칙은 훅이나 검사로 옮기고, 새 모델이 기본적으로 처리하는 지시는 실제 결과를 확인한 뒤 제거함.
- 보고서에 따르면 Anthropic은 최신 모델을 대상으로 Claude Code 시스템 프롬프트의 80% 이상을 제거하고도 측정 가능한 품질 손실을 관찰하지 않았음. 모델이 나아졌을 때 이전 지시가 계속 필요한지 재검증하는 사례임.
- 규칙이 계속 쌓이면 충돌뿐 아니라 매 세션의 비용도 커짐. 공통 지시를 줄이고 필요한 상세 지침을 그때 불러오는 방식이 권장됨.
- 외부 지시를 검토 없이 통째로 들여오는 agent skill cognitive surrender도 지시가 빠르게 늘어나는 원인임.
-
Agent skill cognitive surrender
- 대규모 외부 스킬 묶음이나 프레임워크를 그대로 도입하면 에이전트의 행동을 설명하고 디버깅하기 어려워짐. 필요한 부분부터 읽고 검증해 팀의 작업 방식에 맞게 적용해야 함.
- 외부 스킬에는 검토하지 않은 지시가 포함될 수 있고, 출처가 다른 스킬이 같은 작업에 서로 다른 규칙을 적용할 수도 있음.
- 동작과 위험을 이해하기 어려운 일괄 도입을 Caution에 둠. 실제 프로젝트 규칙을 담은 작은 스킬을 선별해 유지하는 편이 관리하기 쉬움.
-
AI-accelerated shadow IT
- 코딩 에이전트로 현업이 내부 도구를 빠르게 만들면서 보안, 테스트, 배포, 관측과 유지보수 책임이 빠질 수 있음. 사용 범위가 넓어지면 조직의 소프트웨어 관리 체계와 연결해야 함.
- 개인의 생산성 도구가 부서 전체로 확산되면 취약점, 배포 장애, 담당자 부재의 영향도 커짐.
- 정책 없이 널리 쓰이는 상황을 경계함. 통제된 실험 환경을 제공하고, 팀에 채택된 도구를 정식으로 지원할 경로를 마련하는 방식을 권장함.
- 노코드 도구로 일하던 사람도 OpenAI Codex 같은 도구로 직접 업무 앱을 만들 수 있게 됨.
- 현업에서 업무 도구를 만드는 데는 Claude Code 같은 코딩 에이전트도 쓰임.
-
AI-driven documentation sprawl
- 명세 도구와 에이전트가 대량으로 생성한 문서가 실제 의사결정과 구현을 가릴 수 있음. 계속 갱신하거나 읽을 사람이 있는 문서와 작업 중에만 쓰는 자료를 구분해야 함.
- 오래된 ADR과 상충하는 명세가 저장소에 남으면 에이전트가 둘 다 읽고 잘못된 규칙을 따르거나 토큰을 낭비할 수 있음.
- 문서에는 소스 코드와 같은 자동 품질 검사가 없는 경우가 많음. 문서가 잘 정돈되어 보이는 것과 실제 설계 상태가 일치하는지를 별도로 확인해야 함.
- 문서 생성 속도가 유지보수 속도를 앞서는 패턴을 Caution에 둠. 사람이 중복 문서를 합치고 권위 있는 문서가 무엇인지 관리해야 함.
-
Blanket frontier model usage
- 모든 작업에 가장 강력한 모델을 기본으로 쓰면 비용과 지연이 커짐. 탐색, 간단한 수정, 요약에는 더 작은 모델을 시험하고 작업 난이도에 따라 라우팅할 수 있음.
- 모델마다 프롬프트 캐시가 달라 매 호출마다 바꾸는 것보다 세션, 서브에이전트, 계획에서 구현으로 넘어가는 경계에서 전환할 수 있음.
- 작은 모델이 더 오래 추론하거나 재시도해 총비용이 커질 수도 있음. 프런티어 일괄 사용을 피하되 작업 완수까지 걸린 비용과 시간을 측정해야 함.
-
Coding throughput as a measure of productivity
- 생성한 코드의 양, AI 작성 비율, 토큰 소비량은 활동량이나 채택을 보여줄 수 있음. 생산성은 변경이 사용자에게 전달되는 속도와 품질, 안정성, 재작업까지 살펴야 함.
- 토큰 소비량이나 AI 작성 비율을 목표로 삼으면, 수치를 채우기 위해 필요 없는 작업을 만드는 일이 생길 수 있음.
- 관찰용 수치를 목표로 바꾸면 그 수치를 채우는 행동이 늘어 측정의 의미가 흐려지는 굿하트의 법칙 사례임.
- 실제 생산성은 DORA 지표, 협업 품질, 사업 성과와 연결해 봐야 함. 활동 지표를 성과 평가의 기준으로 쓰는 관행은 Caution임.
-
Human-in-the-loop theater
- 사람이 충분히 판단할 시간이나 맥락 없이 에이전트의 변경과 실행을 승인하는 패턴. 위험에 맞춰 리뷰를 배정하고, 리뷰어가 판단할 수 있는 증거와 시간을 제공해야 함.
- 작업 범위와 영향이 충분히 설명되지 않으면 승인 버튼만 사람에게 남고 결정에 대한 책임은 흐려짐.
- 사람이 판단할 수 있는 변경을 골라 검토하고, 반복되는 검증은 뮤테이션 테스트, 속성 기반 테스트, TLA+ 같은 방법으로 보완함.
- 명세나 문서에서 의미가 바뀐 부분은 semantic review로 확인할 수 있음.
- 정형 검증 도구로는 Quint도 활용할 수 있음.
-
Meat proxy
- LLM이 만든 내용을 읽거나 검증하지 않은 채 동료에게 전달하면 확인 비용이 받는 사람에게 넘어감. 공유하는 사람이 근거를 확인하고 필요한 판단을 덧붙여야 함.
- 문제는 AI를 사용했다는 사실보다 초안의 사실 관계와 품질을 확인하는 사람이 없다는 데 있음.
- KDE의 AI 가이드라인 초안도 같은 행동을 경계함. 형식적인 승인과 마찬가지로 사람이 품질을 확인했다는 인상만 남길 수 있음.
- 협업 과정에서 읽기와 검증 부담을 다음 사람에게 넘기는 행동이어서 Caution으로 분류함. 공유 전에 필요한 판단과 확인을 마쳐야 함.
-
Naive context compression
- 토큰 수만 줄이는 컨텍스트 압축은 정보 손실과 프롬프트 캐시 미스를 일으킬 수 있음. 압축 효과는 입력 길이, 실제 비용, 작업 성공률을 함께 비교해야 함.
- LLM으로 압축하면 별도 모델 호출의 시간과 비용이 생김. 캐시 앞부분이 바뀌거나 중요한 단서가 삭제되면 재시도로 비용이 늘 수 있음.
- Headroom, RTK, Tamp처럼 프롬프트를 줄이는 도구를 도입하기 전에 실제 컨텍스트 사용량을 파악함. 원본 참조를 보존하면서 도구 출력만 줄이거나, 작업 경계에서 이력을 한 번에 정리하면 캐시 접두부를 유지하기 쉬움. 평가 기준은 토큰 절감률과 함께 순비용과 성공률임.
-
Stacked pull requests
- 큰 변경을 서로 의존하는 작은 PR로 나누면 각각은 읽기 쉬워짐. 다만 스택이 길어지면 순서와 기준 브랜치 관리, 재배치, 통합된 결과 검토 부담이 생기며 빠른 코드 생성이 이를 키울 수 있음.
- 각 PR이 바로 아래 브랜치를 대상으로 해 변경을 층별로 검토할 수 있음. 도구 지원이 나아져 작은 층만 볼 때는 리뷰 부담을 줄일 수 있음.
- GitHub가 스택을 지원하는 등 도구는 개선됨. Thoughtworks의 우려는 스택 자체보다 사전 작업 분해를 대신하는 습관에 있으며, 작은 독립 변경을 만들기 어려웠던 이유를 먼저 살펴보도록 권장함.
- 큰 작업을 제대로 분해하지 않은 채 의존성만 쌓는 관행이 Caution의 대상임. 독립적으로 검증하고 전달할 수 있는 작업으로 먼저 나누도록 권장함.
Adopt
- VictoriaMetrics
- 대량의 고카디널리티 지표를 처리하는 오픈소스 시계열 DB. Thoughtworks 프로젝트에서는 지표당 20~30개 레이블을 쓰는 환경에서 초당 500만 샘플을 처리한 사례가 있음.
- 단일 노드와 수집·조회·저장을 따로 확장하는 클러스터 구성을 제공함. Prometheus API와 remote write, OpenTelemetry를 지원함.
- Prometheus 뒤에 장기 저장소로 붙이는 구성과 vmagent, vmalert 등을 포함한 지표 스택으로 운영하는 구성 모두 가능함. 보존 기간이나 지표 차원의 수가 많아 비용이 커지는 환경에서 고려할 만함.
- 대규모 자체 운영 사례에서 처리량과 안정성을 확인해 Adopt로 이동함. 기존 대시보드를 두고 장기 지표 저장소만 바꾸는 구성도 가능함.
Trial
-
Kafka share groups
- Kafka 4.2에서 프로덕션 사용이 가능해진 큐 형태의 소비 방식. 사용 가능한 소비자가 개별 레코드를 잠그고 확인 응답을 보내므로 전통적인 소비자 그룹의 파티션 단위 병렬성 제약을 완화함.
- 응답이 없으면 레코드를 다른 소비자에게 다시 배달함. 중복 처리가 가능하고 파티션 단위 순서 보장은 없어 소비자 구현에서 고려해야 함.
- 전달 횟수를 모두 소진한 레코드는 보관함. 보고서 작성 시점에 별도 데드레터 큐는 지원하지 않았음.
- KIP-932가 추가한 방식임. 소비자가 실패를 보고하거나 잠금 시간이 만료되면 설정한 최대 전달 횟수까지 다시 배달함. 데드레터 큐는 별도 제안인 KIP-1191에서 다룸.
- 기존에 Kafka와 별도 작업 큐를 함께 운영했다면 한 시스템으로 합칠 수 있어 Trial에 둠. 처리 순서와 재시도 정책이 맞는지 먼저 확인해야 함.
-
KServe
- Kubernetes에서 예측 및 생성형 AI 모델 서비스를 관리 하는 오퍼레이터. vLLM, SGLang, NVIDIA Triton 같은 실행 엔진을 연결해 모델 서비스 수명주기를 선언적으로 운영함.
- InferenceService는 일반 추론에, LLMInferenceService는 다중 노드 추론, prefill과 decode 분리, KV 캐시를 고려한 라우팅에 쓰임.
- InferenceService는 필요하면 Knative로 요청이 없을 때 인스턴스를 0개로 줄일 수 있음. LLMInferenceService는 llm-d와 Kubernetes Gateway API Inference Extension을 이용해 캐시된 접두부가 있는 복제본으로 요청을 보낼 수 있음.
- 여러 고객사가 프로덕션에서 사용해 Kubernetes 기반 자체 추론 플랫폼에 시험할 만함. 고급 LLM 서빙 기능은 더 최근에 추가돼 생태계가 계속 바뀌고 있음.
-
LibreChat
- 여러 모델을 한 화면에서 사용하는 자체 호스팅 AI 채팅 플랫폼. 관리자가 MCP 서버와 역할을 설정하면 사용자도 허용된 도구로 에이전트를 만들고 공유할 수 있음.
- 한 고객사는 Jira, Confluence, Salesforce와 내부 주문 시스템을 MCP로 연결한 뒤 영업과 운영팀이 직접 에이전트를 만들었음.
- SSO, 역할별 권한, 업로드한 문서 검색을 제공함. 고객 사례에서는 영업팀이 재고를 확인하고 주문을 넣는 에이전트를, 운영팀이 계약을 다루는 에이전트를 직접 구성함.
- 보고서는 2025년 11월 ClickHouse가 LibreChat을 인수했으며 프로젝트가 MIT 라이선스를 유지한다고 설명함.
- 관리자가 허용한 데이터와 도구 안에서 비개발 부서도 자동화를 만들 수 있어 Trial에 둠. 조직 통합과 권한 통제의 기반으로 평가함.
- 자체 호스팅 채팅 화면과 조직용 기능을 제공한다는 점에서는 Open WebUI와 비슷한 선택지임.
-
LiteLLM
- 여러 모델 제공자의 API를 통합하는 AI 게이트웨이. 모델 라우팅, 인증, 예산, 가드레일을 제공하며, 인프라로 쓰이는 사례가 늘어 이번 호에서 Platforms로 이동함.
- 독립 프록시나 사이드카로 배치할 수 있고 Python SDK와 구성 형식을 유지하면서 프록시 코어를 Rust로 전환하고 있음.
- 보고서 작성 시점에는 2026년에만 25건 넘는 CVE가 보고됐다는 점을 Trial 유지의 이유로 듦. MCP와 에이전트 간 트래픽까지 통제해야 한다면 agentgateway를 함께 검토할 수 있음.
- Thoughtworks 팀에서 널리 쓰지만 보안 취약점 보고가 이어져 Trial을 유지함. 패치 적용 속도와 노출 범위를 운영 기준으로 삼아야 함.
-
Microsoft Copilot Retrieval API
- SharePoint, OneDrive, Copilot 커넥터에 연결된 콘텐츠에서 관련 텍스트를 검색하는 RAG용 API. 호출자의 권한을 반영해 검색 결과를 제한하므로 별도 색인과 검색 파이프라인을 줄일 수 있음.
- 문서 분할, 인덱싱, 동기화와 권한 처리를 Microsoft가 맡으며 검색할 때 테넌트의 접근 제어가 반영됨.
- 조직 정보가 이미 Microsoft 도구에 모여 있는 고객 환경에서 좋은 경험을 얻어 Trial에 둠. 별도 검색 시스템을 운영할 필요를 줄일 수 있음.
-
Restate
- 실행 단계를 저널에 기록해 실패한 서비스가 중단 지점부터 이어갈 수 있는 플랫폼. 상태가 없는 서비스, 상태를 갖는 Virtual Object, 여러 단계의 Workflow를 조합함.
- 보험 시스템에서 실제 업무 프로세스의 복구와 동시성 제어를 맡겼고, 팀은 복구 코드를 별도로 작성할 필요가 줄었음.
- 서비스 간 통신에는 정확히 한 번 전달한다는 보장을 제공함. 보고서는 MIT 라이선스인 SDK와 달리 서버의 Business Source License가 제3자 대상 관리형 서비스 제공을 제한한다고 짚음.
- 사람의 응답을 기다리거나 레거시 시스템을 여러 번 호출하는 장기 작업에 적합해 Trial로 이동함. SDK와 서버의 라이선스 조건은 구분해서 확인해야 함.
- 오래 걸리는 업무를 복구 가능한 워크플로로 관리한다는 점에서 Temporal와 역할이 겹침.
-
Talos Linux
- Kubernetes 노드용 최소 불변 Linux 배포판. SSH나 일반 셸 없이 mTLS로 보호된 API와 talosctl로 관리하며, 업그레이드 시 OS 이미지를 교체함.
- 노드를 교체 가능한 단위로 운영할 수 있어 개별 서버에 설정 차이가 쌓이는 것을 줄임.
- 보고서는 AWS의 Bottlerocket과 Flatcar를 비슷한 선택지로 소개함. Talos 개발사 Sidero Labs는 2026년에 Yardi에 인수됐으며 Talos의 MPL-2.0 라이선스는 유지됨.
- 대규모 베어메탈 AI 클라우드에서 제어 평면을 구성하기 쉬웠던 사례로 Trial에 둠. 노드 OS를 직접 운영하는 팀에서 장점이 큼.
-
Temporal
- 재시도, 타임아웃, 중간 상태 보존, 사람의 승인 대기와 실행 추적을 지원하는 내구성 있는 워크플로 플랫폼. 내부 개발자 플랫폼과 AI 인프라 제어 시스템에도 활용됨.
- 오픈소스로 자체 운영하거나 관리형 서비스를 쓸 수 있음. 여러 작업 큐에 인프라 프로비저닝 단계를 배치하고 중단 뒤 이어갈 수 있음.
- 오래 걸리는 여러 작업의 상태를 나중에 맞춰야 하는 내부 개발자 플랫폼과 AI 클라우드 제어 평면에 실제 활용 경험이 있어 Trial에 둠.
-
vCluster
- 공유 Kubernetes 인프라에서 테넌트마다 가상 제어 평면 을 제공함. 각 테넌트가 API 서버와 RBAC, CRD를 따로 관리하면서 물리 클러스터를 매번 새로 만드는 부담을 줄임.
- 공유 컴퓨팅에 가상 클러스터를 둘 수도 있고, 고객별 GPU 격리가 중요하면 전용 워커를 붙일 수도 있음.
- 테넌트는 별도 컨트롤러와 데이터 저장소를 갖고 kubectl, Helm, GitOps로 자기 제어 평면을 다룸. 고객마다 GPU 오퍼레이터, 스케줄러, 추론 프레임워크를 달리 써야 하는 환경이 적용 사례임.
- 고객용 Kubernetes 서비스와 AI 환경에서 실제로 사용해 격리와 운영비를 함께 관리할 수 있었음. 이 경험을 바탕으로 Trial에 둠.
-
VictoriaLogs
- 대량 로그의 빠른 수집, 압축 저장, 검색에 초점을 둔 오픈소스 로그 플랫폼. 필드를 블록으로 묶고 블룸 필터와 시간 인덱스로 불필요한 스캔을 줄임.
- LogsQL로 전문 검색과 집계를 수행하고 Grafana에서 탐색하거나 알림을 설정함. OpenTelemetry와 Loki 등 기존 수집 경로를 활용할 수 있음.
- Elasticsearch보다 운영 복잡도와 자원 부담이 낮았고, Loki에서처럼 레이블 구조를 미리 세밀하게 잡지 않아도 임의 필드로 검색하기 좋았다는 것이 Thoughtworks의 평가임.
- Elasticsearch와 Loki의 수집 프로토콜도 지원하고, LogsQL은 검색과 집계 외에 필드 변환에도 쓰임.
- AI 클라우드의 관측 시스템에서 고카디널리티 구조화 로그와 임의 필드 검색에 좋은 경험을 얻음. 검색용 인덱스 운영 부담이 큰 팀에서 시험할 만함.
- VictoriaLogs는 시계열 데이터베이스인 VictoriaMetrics를 만든 팀이 개발한 로그 도구임.
Assess
-
Agent Client Protocol (ACP)
- IDE 등 호스트와 코딩 에이전트 사이의 통신을 표준화 함. 편집기와 에이전트 조합마다 별도 플러그인을 만드는 통합 비용을 줄이는 데 목적이 있음.
- JSON-RPC로 세션 생성과 재개, 스트리밍, 권한 요청, 취소를 정의함. MCP가 에이전트와 도구를 연결한다면 ACP는 클라이언트와 에이전트를 연결함.
- Language Server Protocol이 여러 편집기에서 언어 지원을 공유하게 한 것과 비슷한 접근으로, VS Code나 JetBrains뿐 아니라 터미널과 CI/CD도 호스트가 될 수 있음.
- IDE나 터미널에서 사용하는 에이전트를 교체하기 쉬워질 수 있어 Assess에 둠. 필요한 세션 및 승인 기능을 선택한 호스트가 지원하는지 확인할 만함.
-
Agent Plugins
- 에이전트 구성 요소를 옮겨 쓸 수 있도록 패키징하는 공개 표준. 첫 버전은 스킬과 MCP 서버를 공통 형식으로 묶는 데 초점을 둠.
- Amazon, Microsoft, OpenAI 등이 참여한 첫 버전은 기존 스킬 저장소에도 플러그인 정의를 덧붙이기 쉬운 작은 공통 규격임.
- 공급자별로 흩어진 자산을 옮기는 데 유용해 평가할 만함. 실제 호환성은 사용하는 구성 요소가 규격에서 다뤄지는 범위에 달려 있음.
-
agentgateway
- LLM 추론, MCP, A2A 트래픽을 처리하는 게이트웨이. 모델 라우팅과 대체 경로, 지출 제한, MCP 도구 제어, OpenTelemetry 계측을 지원하며 Kubernetes에서도 사용 가능함.
- Kubernetes에서는 GPU 사용량이나 해당 요청의 컨텍스트가 이미 캐시에 있는지에 따라 복제본을 선택할 수 있음.
- 비용이나 지연에 따라 모델을 고르고 실패 시 대체 경로를 사용함. Kubernetes에선 현재 GPU 사용량에 따라 여유가 있는 서버를 선택하는 식으로 자체 추론 환경과 연동함.
- 모델과 도구 트래픽을 통합 관리하면서 자체 추론 인프라에 맞는 라우팅을 할 수 있다는 점이 Assess의 근거임.
-
AWS DevOps Agent
- 알람이나 티켓으로 시작한 장애 조사에서 AWS 리소스 관계, 운영 지표, 최근 배포를 연결함. 가설을 검토해 원인 후보와 완화책을 엔지니어에게 제공하는 관리형 서비스임.
- 외부 관측 서비스, PagerDuty, Slack, 사용자 정의 MCP를 연결해 AWS 외부의 신호도 조사에 활용할 수 있음.
- Datadog, Dynatrace, New Relic, Splunk, Grafana의 경보와 운영 데이터를 조회할 수 있음. GitHub, GitLab과 서비스 관리 도구를 연결하면 최근 코드 변경까지 조사에 반영할 수 있음.
- 2026년 3월 정식 출시된 서비스로, 초기 평가에서는 실제 경보 중 어떤 것에 자동 조사를 붙일지 정하고 에이전트 실행 시간에 따른 초 단위 과금의 총액을 추적하는 것이 중요함.
- 실제 경보로 초기 실험을 진행 중임. 조사에 쓴 에이전트 실행 시간에 따라 비용이 달라지므로 트리거를 제한하고 사람이 결과를 확인하는 방식으로 평가함.
-
Claude Managed Agents
- 범용 에이전트를 실행하는 Anthropic의 호스팅 서비스. 팀은 모델, 지시, 도구와 스킬을 정의하고 서비스는 실행 루프, 샌드박스, 예약과 관측을 담당함.
- 예약이나 API 호출로 세션을 시작할 수 있으며, 외부 요청에 자격 증명을 주입하되 에이전트가 값을 직접 읽지 않게 구성할 수 있음.
- 콘솔에서 시작하거나 에이전트와 환경, 일정을 파일로 정의해 CI에서 배포할 수 있음. 주기적으로 경보를 분류해 수정안을 PR로 올리고 사람이 검토하는 흐름이 사례임.
- 세션을 저장하는 구조로 Zero Data Retention 대상이 아님. 자체 샌드박스를 사용해 도구 실행을 내부에 둘 수 있지만 조율과 도구 결과는 Anthropic을 거침.
- 내부 팀은 Gemini Enterprise Agent Platform 등과 비교해 이해하기 쉽고 결과를 더 빨리 낼 수 있어 선택했음. 보고서 당시 Bedrock AgentCore와 달리 Claude 모델과 Anthropic 하네스로 한정됨.
- 내부 한 팀의 도입 경험과 베타 상태를 근거로 Assess에 둠. Claude 모델 종속, 실행 시간과 토큰 과금, 세션 보존 정책을 확인해야 함.
- 세션의 실행과 예약, 격리 환경을 서비스가 맡는 managed agents runtime의 사례임.
-
Decision models
- Jev처럼 정해진 형식의 판단 을 빠르게 출력하는 모델. 자유 형식 텍스트 생성 대신 분류와 같은 명확한 결정을 반복 수행하는 업무에서 평가할 수 있음.
- Jev는 예·아니오 확률, 선택지, 순서가 있는 점수처럼 사전에 정의된 값을 반환함. 모델 라우팅, 정책 검사, 대량 라벨링에 쓸 수 있음.
- Jev는 사람이 선호하는 답변을 만드는 RLHF와 달리 예측 확률이 실제 발생 빈도와 일치하도록 판단을 보정하는 학습 방식을 사용함. 평가 모델이나 정책 게이트로 쓰려면 결과를 업무별 기준으로 검증해야 함.
- Jev는 상태와 질문을 입력받아 Noul에는 긍정 확률, Choice에는 범주형 선택, Score에는 등급이나 수치 점수를 반환함. 보고서는 비슷한 모델로 Laya, Nimble, Kev도 듦.
- 출력 형식이 정해진 과제에서 처리 비용과 지연을 줄일 가능성이 있어 Assess에 둠. 실제 분류 정확도와 확률의 신뢰도를 비교할 필요가 있음.
- 출력 형식이 정해진 판단에 생성형 모델부터 쓰는 overenthusiastic LLM use를 피하는 선택지로도 검토할 수 있음.
- Jev를 채점기로 쓰는 Jev-as-a-judge는 결과를 판정하는 용도에 결정 모델을 적용한 사례임.
- 평가 점수를 매기는 LLM-as-a-judge와 비교해 결정 모델의 정확도와 비용을 시험할 수 있음.
-
KAITO
- 공개 가중치 모델을 Kubernetes에서 자체 호스팅할 때 필요한 GPU 노드와 추론 환경을 구성함. 모델과 GPU 유형을 Workspace에 선언하면 노드 확보와 vLLM 서빙을 자동화함.
- Karpenter 를 통해 맞는 GPU 노드를 확보하고 모델에 필요한 메모리와 추론 설정을 맞춤.
- Kubernetes Service에 OpenAI 호환 엔드포인트를 노출함. Thoughtworks 팀은 AKS에서 소형 모델을 더 낮은 지연과 비용으로 운영하는 방향을 탐색함.
- GPU 노드 확보와 모델 배포에 집중하는 도구임. 보고서는 Ampere 이상 NVIDIA GPU 지원과, 고급 추론 라우팅에서 KServe가 더 성숙하다는 점을 함께 짚음.
- 드라이버와 노드를 수동 관리하던 팀이 평가할 만함. CNCF Sandbox 프로젝트이며, GPU 자동 확보는 AKS에서 가장 성숙하고 지원 가속기에도 제약이 있음.
- 이전에 GPU VM에서 Ollama와 vLLM을 직접 구동할 때는 드라이버와 확장 설정을 수동으로 관리해야 했음.
-
llm-d
- 여러 Kubernetes 노드에 걸쳐 vLLM, SGLang 등의 추론 서버를 운영하는 스택. 요청을 KV 캐시 와 추론 상태를 고려해 라우팅하여 여러 가속기를 함께 활용함.
- prefill과 decode 를 서로 다른 GPU 풀에 배치하고, 캐시 적중 가능성, 대기열, 예상 지연을 고려해 요청을 보냄.
- prefill은 입력을 처리하는 계산량이 큰 단계이고, decode는 토큰을 생성하면서 메모리 대역폭을 많이 쓰는 단계임. 서로 다른 가속기 풀에 나누면 각 단계에 맞춰 용량을 할당할 수 있음.
- 지연 목표를 유지하면서 대규모 분산 추론 비용을 낮출 가능성이 있어 Assess에 둠. 실제 트래픽으로 스케줄링과 GPU 활용률을 측정해야 함.
- 분산 추론 라우팅에는 Kubernetes의 Gateway API Inference Extension를 활용함.
-
Netris
- 물리 데이터센터와 AI 클러스터의 네트워크를 선언적으로 관리함. 중앙 정책을 스위치 등에 반영하며 VPC, 가상 네트워크, ACL과 L4 로드밸런서 같은 기능을 제공함.
- 고대역폭 AI 환경에 필요한 EVPN, RoCE 흐름 제어, NVIDIA DPU를 이용한 테넌트 격리 등을 한 관리 계층에서 다룸.
- 컨트롤러는 데이터 전달 경로와 분리되어 있어 컨트롤러가 오프라인이 되어도 이미 구성된 패킷 전달은 계속됨. UI, API, Terraform, Kubernetes CRD로 설정할 수 있음.
- InfiniBand 파티션과 NVLink 도메인 관리도 연동함. SONiC, Cumulus Linux, Arista EOS 등 사용 중인 장비의 운영체제와 맞는지는 별도 확인이 필요함.
- 사설 클라우드와 AI 데이터센터 구축에 평가할 만함. 스위치 운영체제와의 호환성, 베어메탈 자동화가 지원하는 범위를 확인해야 함.
- 물리 네트워크 자동화 기능은 Netris에서 확인할 수 있음.
-
Omnigent
- Databricks가 공개한 claude Code, Codex, Pi 등 여러 에이전트 하네스 위에 공통 실행 및 정책 계층 을 제공함. 비용과 승인 제한, 파일 및 네트워크 샌드박스, 자격 증명 주입, 세션 지속을 관리함.
- 개인용으로는 여러 세션의 상태를 모아 보고, 공유 서버에서는 SSO와 라이브 세션 공유, 관리자 정책을 적용함. ACP로 에이전트와 연결할 수도 있음.
- 공유 서버에서 정책을 정하고 세션을 로컬이나 E2B 같은 클라우드 샌드박스에서 실행할 수 있음. 파일과 네트워크를 격리하고 자격 증명을 외부 요청에만 넣는 방식은 하네스별 차이를 줄이는 데 쓰임.
- 실행 상태가 유지되어 중단된 지점에서 세션을 이어갈 수 있음. YAML로 정의한 에이전트도 같은 관리 계층에 연결할 수 있음.
- 여러 종류의 에이전트에 같은 정책을 적용하는 접근이 유망하지만 프로젝트는 알파 단계임. 하네스 위에 공통 계층을 둘 때 필요한 기능을 중심으로 평가함.
- 개발자가 여러 세션의 상태를 모아 본다는 점은 Herdr와 비슷함.
-
VAST DataStore
- 파일, 객체, 블록 접근을 제공하는 스토리지. 컴퓨팅과 공유 NVMe 스토리지 를 분리해 용량과 처리량을 독립적으로 확장하며, GPU 학습의 체크포인트 저장이나 모델 로딩 등에 쓰임.
- NFS와 S3 같은 기존 접근 방식을 유지하면서 NVMe와 RDMA를 활용함. 모델 로딩이나 체크포인트 저장 중 GPU가 데이터를 기다리는 시간을 줄이는 것이 목표임.
- VAST는 NVIDIA와 RDMA를 사용하는 S3 전송, 분리된 추론 환경을 위한 공유 KV 캐시 저장소를 개발 중임. 범용 장비에서 파일·객체·블록을 제공하는 Ceph와 달리 고속 NVMe 및 RDMA에 맞춘 상용 스택임.
- 비용이 크고 VAST 플랫폼과 결합되는 상용 제품이라, 데이터 이동이 실제 병목인 대규모 GPU 및 HPC 환경에 한해 평가할 만함.
Caution
해당 항목 없음
# ToolsAdopt
-
mise
- 언어와 도구 버전, 환경 변수, 태스크 실행을 mise.toml 하나로 관리하는 Rust 기반 도구. 로컬 개발과 CI에서 동일한 환경 구성을 공유하기 쉬움.
- 여러 언어와 서비스의 버전을 맞추면서 기존 언어별 도구와도 병행할 수 있음. Cosign과 GitHub 아티팩트 증명도 활용함.
- 다국어 마이크로서비스 환경에서는 여러 저장소의 언어 버전을 동시에 올릴 때 유용함. 프로젝트별 버전뿐 아니라 CI에서 설치할 도구도 같은 선언을 따르게 할 수 있음.
- 개발 환경 설정을 통일하려는 팀의 기본 도구로 자리 잡아 Adopt를 유지함. 모든 저장소를 한 번에 이전할 필요가 없음.
-
OpenAI Codex
- CLI 중심 코딩 에이전트. OS 수준 샌드박스, 단계별 승인, 중앙 설정과 컴플라이언스 관리를 제공함.
- CLI 외에 데스크톱 앱을 제공하고 다른 에이전트의 스킬과 설정을 가져올 수 있음. Apache-2.0으로 공개된 실행 루프는 범용 업무에도 재사용 가능함.
- Thoughtworks는 데스크톱 앱이 비개발 직군에도 쓰인다고 설명함. 다른 도구의 세션을 가져오고 GPT 외 모델도 연결할 수 있어 공개 가중치 모델을 시험하는 데 활용할 수 있음.
- Thoughtworks 팀이 일상적으로 쓰는 CLI 에이전트 중 하나가 됐고 중앙 관리와 승인 체계도 제공해 Adopt로 올림.
- Thoughtworks 팀이 일상적으로 쓰는 CLI 중심 도구에는 Claude Code도 포함됨.
- 같은 방식으로 일상적인 개발 작업에 쓰이는 도구로 OpenCode도 있음.
-
OpenCode
- 여러 모델을 연결할 수 있는 오픈소스 코딩 에이전트 하네스. 자체 호스팅 모델을 붙이거나 헤드리스 및 서버 모드 로 기업 하네스를 구성하기에 유연하며, 세션 공유와 협업은 개선 여지가 있음.
- 공개 가중치 모델과 로컬 모델을 붙일 수 있어 자체 운영이 필요한 팀에서 채택이 늘었음. 서버 모드는 조직 공통 하네스를 구축하는 데 활용할 수 있음.
- 공개 가중치 모델과 연결할 코딩 도구를 선택할 때 Pi처럼 다른 확장 방식을 택한 하네스도 평가할 만하다고 봄.
- 실제 채택과 확장성을 근거로 Adopt에 둠. 세션 공유와 협업이 중요한 경우에는 이 부분의 기능을 별도로 살펴볼 필요가 있음.
Trial
-
Act
- GitHub Actions 워크플로를 로컬에서 실행 함. 코딩 에이전트가 푸시 전에 CI 결과를 확인할 수 있어 커밋, 푸시, 결과 대기 사이의 피드백 시간을 줄임.
- GitHub의 호스팅 실행 환경과 차이가 있어 일부 기본 도구, 동시성 제어, 권한, 환경 비밀값을 그대로 재현하지 못함.
- 2021년 GitHub Actions 항목에서도 언급된 도구임. 최근에는 에이전트가 짧은 시간에 커밋과 푸시를 여러 번 보내 CI 실행이 몰리는 문제가 새 적용 이유가 됨.
- 대부분의 워크플로 개발에서 피드백이 빨라져 Trial에 적합함. 특히 에이전트가 CI 자체를 바꿀 때 zizmor 같은 정적 검사와 함께 쓸 수 있음.
- 에이전트가 푸시 전에 직접 CI를 돌리는 방식은 빌드 상태도 에이전트가 돌보는 agent pipeline responsibility에 해당함.
-
Agent Package Manager
- 스킬, 플러그인, 지시, MCP 서버를 매니페스트로 선언하는 에이전트 구성용 패키지 관리자. 중앙 저장소에서 버전을 지정해 배포하며 숨겨진 유니코드 같은 공급망 위험도 검사함.
- 잠금 파일에 내용 해시와 출처를 기록하고, 정책 파일로 설치 가능한 소스와 기능을 제한함. SBOM도 내보낼 수 있음.
- CycloneDX와 SPDX 형식의 SBOM을 만들고, 감사 명령으로 설치된 구성과 잠금 파일의 차이를 찾음. 정책으로 허용 저장소와 설치 범위를 제한할 수 있음.
- 숨은 유니코드 검사와 출처 기록을 도입한 이유는 스킬과 지시가 에이전트의 행동을 바꾸는 공급망 구성 요소이기 때문임.
- 중앙에서 스킬을 버전 관리하며 여러 팀에 재현 가능하게 배포하는 데 유용함. 아직 1.0 전인 프로젝트여서 Trial에 둠.
- Git 저장소 외에 agent plugin marketplace에서도 설치할 구성 요소를 찾을 수 있음.
-
ast-grep
- tree-sitter 구문 트리를 사용해 코드 구조를 검색하고 린트하거나 재작성하는 CLI. YAML 규칙을 에이전트 하네스에 넣어 프로젝트별 코드 패턴을 검사할 수 있음.
- 별도 인덱스나 언어 서버 없이 구조를 비교하고, 팀이 작성한 규칙 위반을 에이전트에게 바로 돌려줄 수 있음.
- 기존 IDE의 구문 검색과 겹치는 기능도 있으나, 같은 규칙을 CLI, 린트, 자동 재작성에 재사용할 수 있다는 차이가 있음. 보고서는 비슷한 구조 검색 도구로 Comby도 언급함.
- 대규모 코드에서 무거운 코드 인텔리전스 도입 전에 시험하기 쉬움. 팀이 실제로 자체 검사와 재작성 규칙을 코딩 하네스에 적용함.
-
Beads
- 코딩 에이전트가 작업과 의존성을 Git에 저장해 공유하는 이슈 트래커. 세션이 바뀌거나 컨텍스트가 압축되어도 작업 계획이 남고, 여러 에이전트가 다음 일을 나눠 맡을 수 있음.
- Linear, Jira, GitHub Issues와 동기화하며, 계획 도구보다 더 작은 단위의 작업을 에이전트가 생성하고 맡는 데 적합함.
- 여러 에이전트가 같은 계획에서 작업을 가져갈 때 임대를 통해 동시에 같은 일을 맡는 것을 줄임. 제품과 팀 단위의 우선순위는 Linear 같은 이슈 트래커에 두고 세부 실행은 Beads에서 관리할 수 있음.
- 프로젝트가 Gas Town Hall로 옮겨졌고 Gas City가 유지보수함. 업그레이드가 저장소 스키마를 바로 바꾸므로 혼합 버전을 피하고 도구가 AGENTS.md에 추가하는 지시도 검토해야 함.
- 1.0에서 Dolt 가 유일한 저장소가 됐고 API와 작업 임대 기능이 추가돼 운영 요소가 늘었음. 공유 저장소의 클라이언트 버전을 맞춘 상태에서 시험할 만함.
-
Chaos Mesh
- Kubernetes에서 장애를 의도적으로 주입 하는 오픈소스 카오스 엔지니어링 도구. 실험을 선언형 리소스로 정의해 재현하고 장애가 퍼지는 범위를 제어함.
- 네트워크나 컴퓨팅 장애를 반복 가능한 실험으로 만들고, 실험 정의를 Git에서 관리할 수 있음.
- 실험 종류와 영향 범위 제어가 다양해 자동화된 복원력 테스트에서 Trial에 둠. 검증하기 어려운 고밀도 GPU 환경에도 적용할 수 있음.
-
Cube Core
- 지표, 차원, 조인, 접근 규칙을 코드로 관리하는 오픈소스 시맨틱 계층. 대시보드와 AI 에이전트가 같은 지표 정의를 사용해 개별 SQL에 따른 계산 차이를 줄일 수 있음.
- BI, 앱에 내장한 분석 기능, AI 워크플로에 표준 API로 공통 지표를 노출함. 접근 규칙도 같은 시맨틱 모델에서 관리함.
- Thoughtworks는 코드베이스와 기여자 커뮤니티가 활발하다는 점도 짚음.
- 최근 프로젝트에서 성공적으로 사용해 Trial에 둠. 소비처마다 매출이나 전환율 계산이 달라지는 문제를 줄이는 데 적합함.
-
Figma Code Connect
- Figma 컴포넌트를 실제 제품 코드의 UI 컴포넌트 에 매핑함. 에이전트와 개발자가 기존 컴포넌트의 인터페이스를 활용해 디자인을 구현할 수 있음.
- iOS와 Android의 실제 컴포넌트를 연결하고, 릴리스 뒤 Figma에 게시하거나 CI로 매핑이 어긋났는지 확인할 수 있음.
- Figma MCP 서버와 함께 쓰면 에이전트가 실제 컴포넌트의 시그니처와 속성을 받아 구현에 반영함. 사용 가능한 디자인 시스템 부품을 조합하는 방식이어서 기본 마크업을 생성한 뒤 다시 쓰는 일을 줄일 수 있음.
- 하드코딩한 색상은 린트로 막고, PR마다 스냅샷을 비교하는 방식으로 보완할 수 있음. 변형별 매핑을 최신 상태로 유지하는 비용도 남음.
- 디자인 시스템을 재사용하는 팀에서 효과를 봤지만, 매핑은 컴포넌트 단위임. 화면 전체의 배치, 상태, 이동 흐름은 별도로 검토해야 함.
-
FluxMarkdown
- Finder의 Quick Look에서 Markdown을 렌더링하는 macOS 플러그인. 구문 강조, KaTeX 수식, Mermaid, Graphviz, Vega 등을 지원함.
- IDE를 열지 않고 Finder에서 에이전트가 작성한 설계 문서의 표기, 수식, 다이어그램을 확인할 수 있음.
- QLMarkdown 등 대안 가운데 수식, 구문 강조, 여러 다이어그램 형식을 한 번에 지원하는 점을 높게 평가함.
- 터미널 중심 개발 과정에서 문서를 빠르게 살펴보기 편했다는 경험을 바탕으로 Trial에 둠.
-
Git AI
- Git의 체크포인트와 훅으로 코드의 어느 줄을 사람과 AI가 작성했는지 추적함. AI 변경을 생성한 에이전트, 모델, 프롬프트와 연결할 수 있음.
- 변경의 출처를 Git notes 기반 형식에 기록하고, 남아 있는 세션에서 당시 의도와 설계 결정을 찾아볼 수 있음.
- 체크포인트는 이전 상태와 현재 상태의 diff를 남김. 이후 유지보수 때 사람이 쓴 부분과 에이전트가 쓴 부분을 식별하고, 보관된 세션이 있으면 변경 당시의 작업 배경을 다시 읽을 수 있음.
- AI 작성 비율 집계보다 추후 코드 이해와 책임 추적에 도움이 될 수 있어 Trial로 이동함.
-
Linear
- 에이전트를 워크스페이스 구성원처럼 다룰 수 있는 이슈 트래커. 이슈 배정과 댓글 멘션으로 작업을 요청하고 변경이 이루어진 맥락을 확인할 수 있음.
- Cursor, Codex, Devin 같은 에이전트에 이슈를 맡기거나 MCP로 이슈를 조회하고 갱신할 수 있음.
- Linear는 팀이 우선순위를 정하는 계획 단위에, Beads는 에이전트가 작업 도중 만드는 더 작은 할 일에 쓰는 식으로 역할을 나눌 수 있음.
- 고객 팀이 에이전트에 백로그 작업을 직접 배정하는 데 활용했음. 팀의 계획과 진행 상황을 에이전트 작업에 연결하고 싶을 때 시험할 만함.
- 원격 MCP 서버를 연결한 Claude Code에서도 이슈를 읽거나 갱신할 수 있음.
-
mattpocock/skills
- 코딩 에이전트가 요구사항과 가정을 검토하고 개발 절차를 따르도록 돕는 스킬 모음. 각 스킬을 작게 유지해 필요한 부분만 골라 조합하거나 수정할 수 있음.
- Grilling 처럼 구현 전에 불명확한 요구를 질문하는 스킬도 포함함. 팀의 기존 개발 절차에 맞게 각 파일을 검토하고 일부만 적용할 수 있음.
- Thoughtworks는 요구사항 검토와 개발 흐름에 구조를 더하는 데 효과를 봤음. 통째로 설치하는 방식의 위험을 고려해 필요한 스킬부터 시험할 만함.
-
OpenSpec
- 여러 코딩 에이전트에서 쓸 수 있는 경량 명세 중심 개발 프레임워크. 기존 코드에도 명세를 덧붙일 수 있으며, Thoughtworks 팀들이 실제 적용을 거쳐 Trial로 올림.
- 지속적으로 유지하는 명세를 기준으로 변경분을 작성하고, 적용을 마친 변경분은 보관함. 에이전트가 현재 의도와 이전 변경을 구분하기 쉬움.
- 기준 명세 와 변경분을 구분하는 점이 GitHub Spec Kit이나 Kiro 등과의 비교 포인트임. 변경분을 보관하더라도 기준 문서가 실제 구현과 맞는지는 팀이 관리해야 함.
- 기존 코드에 적용한 여러 팀이 단순 프롬프트보다 예상하기 쉬운 결과와 적은 의도치 않은 변경을 보고해 Trial로 올림. 기준 명세의 유지보수는 계속 필요함.
- OpenSpec에서는 기준 명세와 별도로 변경분을 작성해 기존 시스템에 요구사항을 점진적으로 반영할 수 있음.
-
OpenWiki
- 코드나 개인 지식 저장소의 자료를 서로 연결된 Markdown 위키 로 만드는 CLI. 에이전트가 위키를 컨텍스트로 쓸 수 있으며 생성 문서의 품질과 갱신 효과를 평가 중임.
- 원본이 바뀌면 자동으로 갱신하고 체크포인트로 각 문서의 마지막 생성 시점을 기록함. 로컬 모델 실행과 연결 관계를 탐색하는 그래프도 지원함.
- OKF를 구조화된 문서 형식으로 지원함. 사람은 노드 그래프에서 주제와 코드 문서의 연결을 탐색하고, 에이전트는 위키를 작업 컨텍스트로 조회할 수 있음.
- 문서 최신화 부담을 낮출 가능성이 있어 실제 프로젝트에서 시험 중임. 생성된 문서가 원본 변경을 정확히 반영하는지가 검증 대상임.
-
Pi
- 모델 API, 에이전트 런타임, 터미널 코딩 에이전트로 구성된 TypeScript 하네스. 최소 기능에서 출발해 확장, 스킬, 프롬프트 템플릿으로 필요한 기능을 추가함.
- SDK와 RPC로 다른 에이전트에 내장할 수 있으며 보안 스캐너나 오케스트레이션 도구도 기반 런타임으로 사용함.
- MCP, 서브에이전트, 계획 모드, 권한 확인 같은 기능은 기본 구성에서 빼고 필요한 팀이 확장으로 추가함. 이를 기본 제공하는 Oh My Pi는 분기가 커 별도 도구로 평가할 만함.
- Trial로 올린 주된 이유는 직접 쓰는 코딩 도구로서의 채택보다 다른 제품의 기반으로 쓰인 사례가 늘었기 때문임. Earendil이 소유하며 핵심은 MIT 라이선스를 유지하고 상용 부가 기능을 계획하고 있음.
- 직접 사용하는 코딩 에이전트로는 OpenCode가 조직 공통 하네스에 더 적합하다는 평가임. Pi 제작자가 2026년 4월 Earendil에 합류하면서 이전 호에서 제기한 1인 유지보수 의존에 변화가 생김.
- 기본 하네스가 작고 확장하기 쉬워 새 에이전트의 기반으로 시험할 만함. 내장 기능과 협업이 필요한 팀은 필요한 확장과 유지보수 비용을 따져봐야 함.
-
Sourcebot
- 여러 저장소의 코드를 인덱싱하는 자체 호스팅 검색 플랫폼. 심볼 검색과 정의 탐색을 제공해 개발자와 에이전트가 저장소를 넘나들며 변경 범위를 파악할 수 있음.
- MCP 서버를 통해 에이전트가 여러 저장소의 심볼과 참조를 찾음. 유료 Ask Sourcebot은 비개발 직군도 자연어로 코드에 질문할 수 있게 함.
- 수천 개 저장소를 색인해 심볼 인식 검색과 IDE 수준의 탐색을 제공함.
- 대규모 리팩터링이나 레거시 조사처럼 단일 저장소를 넘는 맥락이 필요한 팀에서 Trial에 적합함. Thoughtworks 팀도 협업에 활용함.
-
Timefold Solver
- Java와 Kotlin에서 차량 경로, 근무표, 작업 배정 등을 최적화하는 오픈소스 제약 조건 솔버. OptaPlanner의 후속 프로젝트로, 모델 학습 없이 제약 조건에 따라 해를 탐색함.
- 반드시 지켜야 하는 근무 규칙은 하드 제약, 가능하면 만족해야 할 운영 목표는 소프트 제약으로 표현하고 휴리스틱으로 해를 찾음.
- 실제 공급망 환경에서 복잡한 사업 조건을 빠르게 모델링한 경험으로 Trial에 둠. 사람이 업무 제약을 명시할 수 있는 최적화 문제에 맞음.
Assess
-
AgentsView
- 여러 코딩 에이전트의 과거 세션을 검색하고 비교하는 도구. 대화와 도구 사용을 돌아보고 어떤 작업이 컨텍스트를 많이 소비했는지 분석할 수 있음.
- Claude Code, Codex, OpenCode, Pi 등의 이력을 가져와 프롬프트 캐시 사용과 비용을 분석함.
- 세션별 비용과 프롬프트 캐시 분석을 바탕으로 하네스 사용 방식의 개선 제안도 제공함.
- 로컬에 기록을 두고 시작할 수 있어 보안에 민감한 팀도 평가하기 쉬움. 개인 세션 분석과 팀 동기화는 필요에 따라 도입할 수 있음.
- AgentsView는 분석을 로컬에서 시작하고 팀 동기화와 공동 리뷰를 나중에 추가할 수 있게 설계됨.
-
Apple container
- Apple Silicon에서 Linux 컨테이너를 실행하는 Swift 기반 오픈소스 도구. 컨테이너별로 경량 VM을 띄우며 종료 시 사용하던 메모리를 macOS에 반환함.
- 컨테이너별 VM으로 하이퍼바이저 수준의 격리를 제공함. Docker API가 필요한 Testcontainers 등에는 Socktainer 같은 호환 계층을 붙일 수 있음.
- 공유 Linux VM을 사용하는 Colima와 구성이 다름. 프로젝트에는 호스트와 통합되는 지속형 Linux 환경을 실행하는 Container Machine도 포함됨.
- Apple Silicon에서 빠른 시작과 자원 격리가 중요한 개발 환경에 평가할 만함. 기존 Docker 도구와의 호환성은 실제 프로젝트로 확인해야 함.
-
Deepsec
- 규칙 기반 분석으로 위험도가 높은 코드 영역을 좁힌 뒤 AI 서브에이전트가 집중적으로 검토하는 취약점 스캐너. 검토 결과를 취약점 보고서로 정리함.
- 결정적으로 파일을 고르는 단계와 모델이 취약점을 추론하는 단계를 분리해, 검토 범위와 모델 비용을 줄이려는 설계임.
- 코드 전체를 모델에 맡기는 스캐너와 비교해 집중 검토의 효과를 평가할 만함. 팀 코드에서 탐지 범위와 보고서 정확도를 함께 확인하는 게 적절함.
-
DeepSeek Harness (DSH)
- Cordis 커널 위에서 모델 어댑터, 도구 목록, 세션 로그, 실행 루프를 플러그인으로 구성하는 DeepSeek의 오픈소스 런타임. 플러그인 조합을 프로필로 관리함.
- 프롬프트와 도구 실행은 이전 내용을 덮어쓰지 않는 세션 로그에 기록함.
- Cordis는 등록 상태를 되돌릴 수 있게 관리해 플러그인을 바꾸더라도 기존 연결이 남는 일을 줄임. 세션 로그에는 모델이 본 컨텍스트 주입과 서브에이전트 호출도 들어가 검색과 분기, 재생에 활용할 수 있음.
- 기업용 또는 자기 개선형 하네스에서 구성 요소를 바꾸고 변경 전후를 분석하는 기반으로 Assess에 둠.
-
Entire CLI
- Git 훅으로 에이전트 프롬프트, 대화, 도구 호출과 변경 파일을 수집해 관련 커밋과 연결 함. 브랜치 이력 바깥에 기록을 두고 팀에서 작업 맥락을 공유할 수 있음.
- 저장소 접근 권한이 있는 사람이 프롬프트와 세션을 읽을 수 있음. 작업 맥락이 팀에 남는 장점과 개별 대화까지 공유하는 부담이 함께 생김.
- 내부 팀은 동료가 어떻게 프롬프트를 작성하고, 그 차이가 결과에 어떻게 반영되는지 비교할 수 있었음. 전체 공유가 부담스러운 환경에서는 AgentsView처럼 개인 세션을 로컬에서 검토하는 접근도 있음.
- Claude Code, Codex, Cursor, OpenCode, Pi 등을 지원함. 커밋을 보는 팀원이 왜 그 변경을 만들었는지 당시 세션과 함께 확인할 수 있음.
- 한 내부 팀에서 협업에 활용했지만 다른 팀에서는 공개 범위에 대한 거부감도 있었음. 일반화할 경험이 부족해 Assess를 유지함.
-
FreeToken
- 소비자용 장비에서 GPU 메모리보다 큰 공개 가중치 MoE 모델을 실행하는 추론 엔진. GPU와 CPU 실행, 호스트 메모리, PCIe 대역폭을 조합함.
- 실제로 활성화되는 전문가 가중치를 GPU에 캐시하고 호출에 맞춰 교체함. 전체 모델을 GPU에 올릴 수 없는 환경에서도 큰 MoE 모델을 실행할 수 있음.
- 기존 장비를 재사용하려는 팀에서 특화된 오프로딩 방식으로 평가할 만함. llama.cpp 같은 범용 도구의 오프로딩 기능과 비교할 수 있음.
- llama.cpp는 Ollama에서도 사용하는 추론 엔진임.
-
GLM
- Z.ai의 공개 가중치 모델 계열. GLM-5.3 등은 코딩, 추론, 에이전트 작업에서 평가할 만하며, 자체 호스팅 모델을 도입할 때 실제 업무 품질과 필요한 장비를 함께 비교해야 함.
- GLM-5.3은 약 7,000억 파라미터 규모의 MoE 구조에 코딩과 추론에 특화된 후속 학습을 적용함. 간단한 지시에도 필요 이상으로 추론하는 사례가 있었음.
- 상용 모델의 대안으로 검토할 정도의 성능을 보였지만, 실제 지연과 품질은 과제에 따라 달라짐. 추론 수준을 작업 난이도에 맞춰 평가하도록 권장함.
-
Habit Hooks
- Ruff, ESLint, PMD 등 기존 정적 분석 도구의 결과를 에이전트가 적용할 수 있는 수정 지침으로 바꿈. 규칙 위반의 원인과 피해야 할 패턴을 함께 전달함.
- 규칙 위반과 연관된 설계 문제를 매핑하고, 수정 방향을 모델에 결정적인 방식으로 전달함. 별도 모델이 해결책을 작성하도록 호출하지 않음.
- 예를 들어 린터가 위반 규칙만 반환하면 에이전트가 검사 결과만 없애는 수정에 그칠 수 있음. Habit Hooks는 왜 그 규칙이 필요한지와 고쳐야 할 설계 문제를 프롬프트로 돌려줌.
- 에이전트가 검사만 통과하는 피상적 수정 대신 설계 문제를 바로잡게 하는 피드백 도구로 Assess에 둠.
-
Herdr
- 여러 코딩 에이전트를 지속되는 터미널 세션에서 관리하는 멀티플렉서. 작업 중, 대기, 완료 상태를 보여줘 개발자가 개입이 필요한 세션부터 살필 수 있음.
- 세션을 분리했다 다시 연결하거나 CLI로 패널을 만들고 프롬프트를 주고받을 수 있음.
- Herdr가 터미널에 집중한다면 T3 Code, Orca, Paseo는 그래픽 인터페이스를 원하는 개발자에게 비교 대상이 됨.
- 여러 작업 공간의 에이전트를 동시에 돌리는 개발자에게 어떤 세션이 막혔는지 알려줌. 터미널 기반으로 세션을 관리하려는 팀에서 평가할 만함.
-
Hunk
- GitHub PR과 Git, Jujutsu, Sapling 변경을 터미널에서 검토하는 diff 뷰어. 감시 모드로 에이전트가 작업 트리를 바꿀 때 변경 목록을 갱신함.
- 에이전트 스킬을 통해 변경 이유를 관련 코드 옆에 메모하거나 특정 파일로 이동할 수 있음.
- 여러 파일을 사이드바에서 탐색하고 분할 또는 통합 diff를 볼 수 있음. 일반적인 구문 인식 diff 뷰어와 비교하면, 에이전트가 변경 위치에 작업 근거를 남기는 기능이 차이점임.
- 프로젝트는 2026년 3월 시작했음. Thoughtworks는 에이전트 결과를 줄 단위로 읽는 관행이 계속될지 열어 두면서도 현재 이를 필요로 하는 팀이 많다고 설명함.
- 아직 1.0 전 도구이며, 에이전트의 메모가 검토를 빠르게 하는지 읽을 분량만 늘리는지 확인해야 함. 터미널에서 코드 리뷰를 하는 팀에 적합한 평가 대상임.
-
nono.sh
- Linux의 Landlock 등 OS 기능을 활용해 에이전트 프로세스의 접근을 제한하는 경량 샌드박스. VM이나 Docker 환경을 별도로 구성하는 부담을 줄임.
- macOS에서는 Seatbelt를 활용하고 Linux와 WSL2에서도 구동함. SSH 키 등 민감한 호스트 자산을 차단하고 설정 프로필을 팀에 공유할 수 있음.
- 호스트에서 네이티브 프로세스로 실행되며 백그라운드 데몬을 요구하지 않음. nono 레지스트리를 통해 보안 프로필을 복제하거나 팀의 작업에 맞춰 바꿀 수 있음.
- 별도 VM을 준비하는 부담 없이 OS 수준의 제한을 추가하기 쉬워 Assess에 둠. 실제로 막아야 할 파일과 네트워크 접근은 프로필로 검증할 수 있음.
- 자율 실행을 허용한 OpenAI Codex의 파일과 네트워크 접근을 제한하는 데도 적용할 수 있음.
- 같은 방식으로 Claude Code에도 실행 제한을 적용할 수 있음.
-
OpenResearch CLI (orx)
- 코딩 에이전트로 여러 실험을 독립된 Git worktree에서 실행하는 연구용 하네스. 각 실험의 코드 스냅샷과 실행 명령을 고정해 결과를 비교하고 재현하기 쉽게 함.
- 로컬, Slurm, Kubernetes, Modal 등 선택한 환경에서 논문 실험을 실행하고, 코드를 고정한 채 기업의 데이터나 조건에서 결과를 다시 확인할 수 있음.
- 학술 결과와 실제 업무의 차이를 확인하기 위한 연구 특화 하네스로 평가할 만함. 실행 명령과 환경이 비교할 수 있을 만큼 통제돼야 함.
- 실험을 작성하고 실행할 코딩 에이전트로 Claude Code 등을 연결할 수 있음.
-
Safe Chain
- Node.js와 Python 패키지 관리자의 다운로드를 로컬 프록시에서 검사함. 공개된 지 48시간이 지나지 않았거나 Aikido의 위협 피드에 등록된 패키지를 차단함.
- 프로젝트 설정 밖에서 실행하는 일회성 npx 명령이나, 공개된 지 오래됐지만 위협 피드에 추가된 패키지도 검사할 수 있음.
- 대부분의 패키지 관리자도 최소 공개 경과 시간을 설정할 수 있음. Safe Chain은 프로젝트 외부 호출과 별도 악성 패키지 목록을 추가로 다루지만 차단 사유의 안내가 제한적임.
- AGPL 또는 상용 라이선스를 사용하므로 다른 제품에 넣어 배포하려는 팀은 조건을 확인해야 함.
- Shai-Hulud 처럼 패키지 배포망을 통해 빠르게 번지는 웜이 공개 직후 설치를 늦추는 정책의 배경임. 최소 연령 정책은 스캐너가 새 악성 버전을 분석할 시간을 벌어줌.
- 이미 비슷한 정책을 적용하는 사내 미러가 있다면 이점이 작을 수 있음. 지원 생태계와 단일 공급자 위협 피드에 의존하는 점을 평가해야 함.
- Node.js에서는 npm뿐 아니라 pnpm와 Bun의 다운로드에도 적용할 수 있음.
- Python에서는 pip와 uv의 패키지 다운로드를 검사할 수 있음.
-
Swamp
- 에이전트가 외부 시스템의 동작을 TypeScript 모델과 YAML 워크플로로 작성하게 하는 자동화 도구. 같은 절차를 반복 실행하고 팀이 자동화 내용을 검토할 수 있음.
- 실행 이력을 남기고 타입이 있는 모델을 확장으로 배포할 수 있음. System Initiative에서 이어졌으며 장애 대응과 데이터 파이프라인까지 대상으로 삼음.
- 자동화 정의는 Git에 두고 실행 결과도 버전이 있는 데이터로 저장해 이후 에이전트가 조회함. 비밀값은 실행 시 저장소에서 주입해 프롬프트에 넣지 않아도 됨.
- 일회성 스크립트를 작성하는 방식과 비교하면, 타입이 있는 인터페이스와 공통 실행 기록, 재사용 가능한 확장이 차이점임. 보고서에서는 공식 배포판을 업무에 쓸 때 상용 구독이 필요하다고 설명함.
- 릴리스가 빠르게 바뀌는 초기 프로젝트여서 위험이 낮은 내부 업무부터 평가하기 적합함. 소스와 공식 배포판의 라이선스 조건이 다름.
-
Vale
- Markdown, AsciiDoc, reStructuredText의 문장을 저장소의 YAML 스타일 규칙으로 검사하는 린터. 코드 블록을 건너뛰며 편집기와 CI에서 문서 작성 규칙을 적용할 수 있음.
- Google과 Microsoft 등의 문서 스타일을 가져오거나 팀만의 규칙을 만들 수 있음. 문서 초안을 작성한 에이전트에 곧바로 검사 결과를 돌려줄 수 있음.
- vail-ai-tells 같은 규칙 묶음은 생성 문서의 반복 표현을 찾음. 개인 작업에서 효과를 본 정도이고 고객 팀의 사용 경험은 아직 없으며 유지보수가 한 사람에게 크게 의존함.
- 개인 사용 경험을 근거로 Assess에 둠. 규칙 기반 검사는 상투적인 표현을 잡아도 근거가 약한 주장과 지어낸 사실은 별도 검토가 필요함.
- 린터 결과를 에이전트의 다음 수정에 연결하면 문서 작성에도 feedback sensors for coding agents를 적용할 수 있음.
-
Varlock
- 커밋 가능한 .env.schema 에 환경 변수의 타입과 검증 규칙을 정의하고 실제 비밀값을 분리함. 에이전트가 평문 설정 파일에서 자격 증명을 읽는 위험을 줄이는 데 목적이 있음.
- 1Password나 AWS Secrets Manager 같은 외부 저장소에서 비밀값을 실행 시 주입함. 자격 증명 프록시는 에이전트에 대체 값을 주고 네트워크 경계에서 실제 값으로 바꿈.
- 여러 환경에서 임시 스크립트에 의존하던 설정과 비밀 관리를 일관되게 처리할 수 있어 Assess에 둠.
-
zizmor
- GitHub Actions 워크플로와 Dependabot, pre-commit 설정을 검사하는 정적 분석 도구. 템플릿 인젝션, 과도한 권한, 변경 가능한 태그 참조, 위험한 트리거를 탐지함.
- 일부 문제는 자동 수정할 수 있고, CLI나 pre-commit 훅에 넣어 에이전트가 만든 워크플로에도 동일한 검사 규칙을 적용할 수 있음.
- 보고서는 Trivy 저장소에서 pull_request_target이 악용되고 GitHub Action의 태그가 재작성된 사건을 예로 듦. 바뀔 수 있는 태그를 참조한 다른 파이프라인도 영향을 받을 수 있어 CI에서 규칙을 검사할 이유가 됨.
- 고객 작업에서 써본 결정적 검사 도구로 평가할 만함. 적용 범위가 GitHub Actions 중심이라 다른 CI 시스템은 별도 검사가 필요함.
- Thoughtworks는 워크플로 검사를 zero trust security for CI/CD와 함께 평가할 것을 제안함.
Caution
해당 항목 없음
# Languages and FrameworksAdopt
- Open Data Contract Standard (ODCS)
- 데이터 제품의 스키마, 품질 기준, 서비스 수준을 YAML로 정의하는 공개 데이터 계약 표준. Linux Foundation의 Bitol 프로젝트에서 개발함. Bitol은 2026년 7월 재단의 졸업 단계로 승격됨.
- 데이터 계약을 사람이 검토하고 에이전트와 자동 검사가 읽을 수 있는 선언형 형식으로 관리함. Open Data Product Standard와 함께 쓰는 사례도 있음.
- Data Contract CLI 유지보수팀은 DCS 형식을 더 이상 권장하지 않고 ODCS로 전환했음.
- 여러 고객사가 데이터 메시와 데이터 제품에 채택하고 기존 Data Contract CLI의 DCS도 ODCS로 전환하는 흐름을 근거로 기본 선택으로 권장함.
Trial
-
BoTorch
- PyTorch 기반 베이지안 최적화 프레임워크. 모델과 획득 함수를 조합해 하이퍼파라미터나 비용이 큰 과학 및 엔지니어링 실험의 다음 후보를 선택할 수 있음.
- Ax로 실험을 조율하고 BoTorch에서 확률 모델과 탐색 전략을 바꿀 수 있음. 재료 배합이나 연구개발처럼 한 번의 실험이 비싼 문제에 활용함.
- 가능한 조건을 전부 시험할 수 없고 표준 최적화 도구로 요구를 충족하기 어려울 때, 제한된 실험 횟수 안에서 Trial로 적용할 만함.
-
Deep Agents
- 장시간 실행하는 작업을 위한 LangChain의 오픈소스 에이전트 하네스. 계획, 서브에이전트 위임, 파일 접근, 메모리, 사람의 검토 지점을 제공하며 Python과 TypeScript에서 쓸 수 있음.
- LangGraph에서 복잡한 흐름의 특정 단계에 장시간 동작하는 에이전트를 넣을 수 있고 Langfuse 같은 도구로 동작을 추적할 수 있음.
- Thoughtworks는 멀티 에이전트 조사와 레거시 현대화에 활용함. 직접 하네스를 조립하는 부담을 줄일 수 있어 이런 작업에 시험할 만함.
- 작업별 절차나 지식은 에이전트가 필요할 때 불러오는 스킬로 구성할 수 있음.
-
Kagent
- Kubernetes에서 에이전트를 선언하고 운영하는 오픈소스 프레임워크. 에이전트를 CRD로 표현해 기존 GitOps 흐름으로 배포하고 권한과 확장을 관리할 수 있음.
- MCP로 도구와 연결하고, A2A 를 사용해 조율 에이전트와 전문 에이전트가 협업할 수 있음.
- 내장 런타임에 OpenTelemetry, 샌드박스, 메모리 지원을 포함함. 고객 사례에서는 MCP 서버 하나만 연결할 수 있고 개인 계정에서 호스팅해야 했던 기존 도구를 대체했음.
- 한 고객사의 멀티 에이전트 지원 봇을 기존 Kubernetes 운영 체계로 옮겨 장애 조사에 활용한 경험을 근거로 Trial로 올림.
-
OpenFGA
- Google Zanzibar에서 영감을 얻은 관계 기반 인가 시스템. 사용자와 리소스 관계를 모델링해 개별 문서 접근 권한이나 폴더를 통한 권한 상속을 판정할 수 있음.
- 인가 규칙을 서비스마다 구현하는 대신 중앙에서 검증하고 기록할 수 있음. Thoughtworks는 사이드카 배치로 지연이 짧은 권한 검사를 구현했음.
- 프로덕션에서 복잡한 관계 기반 권한을 다룬 경험이 있어 Trial에 둠. 역할만으로 폴더 공유나 계층적 권한을 다루기 어려운 경우에 맞음.
- 서비스 간 인가 판정을 일관되게 유지하도록 OpenFGA에 관계와 권한 규칙을 정의함.
-
Presidio
- 이름, 위치, 카드 번호 등 개인정보를 식별하고 비식별화하는 SDK. 개체 인식, 정규식, 규칙을 조합하며 조직별 탐지기와 처리 단계를 추가할 수 있음.
- 조직에 필요한 식별 패턴과 비식별 처리 단계를 추가해 외부 LLM에 넘기는 텍스트에서 민감 정보를 가릴 수 있음.
- 데이터 공유 제약이 강한 기업 환경에서 사용한 경험으로 Trial에 둠. 누락과 오탐이 발생할 수 있어 감지 결과를 단독 보장으로 삼기 어려움.
- 개인정보 유형과 업무 정책에 맞춰 Presidio의 탐지 규칙과 비식별 처리 단계를 확장할 수 있음.
-
Promptfoo
- 프롬프트와 에이전트 도구 호출을 평가하고 CI의 품질 게이트로 사용하는 도구. 위험 유형에 맞춰 공격 입력을 생성하고 응답을 채점하는 레드팀 테스트도 지원함.
- 공격 전략을 정해 프롬프트를 생성하고 결과를 채점함. Thoughtworks는 프로덕션 대화형 도구를 고칠 때마다 같은 보안 테스트를 반복할 수 있었음.
- 상태를 보존하는 가드레일이 실제 실행에서 정책을 강제한다면, Promptfoo는 여러 차례의 공격 입력을 보내 정책이 유지되는지 검증함. OpenAI 인수 이후에도 MIT 라이선스와 여러 모델 지원을 유지한다고 보고서는 설명함.
- 2023년에는 프롬프트 테스트용으로 Assess에 올렸고, 이번 호는 도구 호출 평가와 CI 검증에 더해 레드팀 테스트까지 시험 범위로 봄.
- 기존 프롬프트 평가에 레드팀 검증까지 더해 Trial로 권장함. 고급 공격 일부는 호스팅 서비스를 쓰므로 전송되는 데이터를 확인해야 함.
Assess
-
Apple Core AI
- Apple Silicon에서 모델을 기기 내부에서 실행하기 위한 Apple 프레임워크. Core ML의 후속으로, Swift 앱에 온디바이스 추론을 통합하는 데 사용함.
- Xcode의 Evaluations는 Swift Testing에서 Foundation Models 기능을 평가할 수 있게 함. 합성 데이터셋과 코드 지표, 모델 기반 채점을 활용함.
- 측정하기 쉬운 지표는 코드로 평가하고, 어조나 관련성처럼 정량화하기 어려운 항목은 모델 채점으로 비교할 수 있음.
- 외부 평가 스크립트 없이 iOS의 온디바이스 기능과 품질 평가를 개발 흐름에 넣을 수 있어 Assess에 둠.
-
CALM
- 소프트웨어 아키텍처를 기계가 읽을 수 있는 형태로 정의하는 FINOS의 공개 명세. 확장 가능한 JSON 메타스키마를 바탕으로 아키텍처를 코드처럼 관리하고 검증할 수 있음.
- 팀별로 아키텍처를 정의하되 필요할 때 조직 전체 구조를 조합해 볼 수 있음. 설명을 기계가 읽으므로 설계 규칙과 실제 구조를 비교하는 데 활용할 수 있음.
- 아키텍처 검증과 거버넌스를 코드로 관리하려는 조직에서 평가할 만함. 실제 검증 효과는 정의한 규칙과 구현 정보를 연결할 수 있는지에 달려 있음.
- Mermaid가 다이어그램 표현을 코드로 관리한다면 CALM의 구조화된 정의는 아키텍처 규칙 검증에 쓰임.
-
Hindsight
- 대화에서 사실, 개체, 시점을 추출해 Postgres에 저장하는 오픈소스 에이전트 메모리 시스템. 의미, 키워드, 그래프, 시간 검색을 결합하고 축적한 기록을 다시 정리할 수 있음.
- 사용자별 장기 기억을 세션 사이에 연결하며, 검색뿐 아니라 저장한 사실들을 다시 종합하는 기능도 제공함.
- 사용자나 에이전트마다 메모리 뱅크를 나누고 자체 운영 또는 관리형 서비스를 선택할 수 있음. SDK, 프레임워크 통합, MCP를 연결 경로로 제공함.
- 코딩 에이전트에도 플러그인으로 붙일 수 있으나 내장 메모리가 있는 경우가 많음. 공급업체가 보고한 LongMemEval 결과와 별도로 실제 과제에서 Mem0 등의 대안과 비교할 필요가 있음.
- 해커톤에서 사용자별 메모리를 시험했지만 추가 LLM 호출과 인프라가 필요함. 장기 기억이 필요한 자체 에이전트에서 결과 품질과 비용을 비교할 만함.
- 세션을 넘나드는 기억이 필요한 자체 에이전트는 Hindsight를 SDK나 MCP로 연결할 수 있음.
-
Quint
- TLA+의 시간 논리를 바탕으로 한 정형 명세 언어. TypeScript와 유사한 문법으로 동시성이 있는 시스템의 상태와 불변 조건을 표현하고 검토할 수 있음.
- 타입 검사기, REPL, 시뮬레이터를 제공함. 명세를 무작위 실행해 오류를 찾거나 생성된 실행 기록으로 실제 구현을 검사할 수 있음.
- npm으로 설치할 수 있으며, 시뮬레이션은 전체 상태 공간을 다 확인하기 전에 무작위로 여러 실행을 시도하는 가벼운 검증 수단으로 쓸 수 있음.
- Thoughtworks 팀은 검토하기 쉬운 문법과 도구를 장점으로, TLA+의 성숙도를 비교 요소로 봄. 동시성 버그가 우려되는 설계에서 평가할 만함.
-
SolidJS
- 세밀한 반응성으로 변경이 필요한 UI를 갱신하는 선언형 JavaScript 라이브러리. 최근에는 비동기 서버 요청, 캐싱, 중복 요청 제거를 자체 기능으로 다룰 수 있게 됨.
- 서버 요청이 겹치거나 응답 순서가 달라질 때 캐시와 로딩 상태를 관리함. Suspense 경계로 비동기 UI가 나타나는 순서를 세밀하게 구성할 수 있음.
- 요청이 겹칠 때의 경쟁 상태나 로딩 표시를 프레임워크 안에서 처리하도록 지원함.
- SolidStart 등과 함께 고성능 웹 앱의 선택지로 Assess에 둠. 비동기 기능이 프로젝트의 별도 라이브러리와 상태 처리 부담을 줄이는지 살펴볼 만함.
-
spartan/ui
- shadcn 방식으로 Angular UI를 구성하는 도구 모음. 접근성과 동작은 Angular CDK 기반 프리미티브가 맡고, 스타일을 적용한 컴포넌트는 프로젝트 소스에 둠.
- 한 팀이 여러 앱에 걸친 브랜드 컴포넌트 라이브러리의 기반으로 사용해 공통 UI를 만드는 수고를 줄였음.
- 2026년 6월 1.0에 도달함. Angular Material의 대안으로 검토할 수 있으며, 접근 가능한 프리미티브는 npm에서 설치하고 스타일을 입힌 코드만 프로젝트가 소유함.
- 1.0에 도달했지만 프로젝트에 복사된 컴포넌트를 CLI로 업그레이드할 때 불편이 남아 있어 Assess를 유지함.
-
TLA+
- 분산 시스템의 상태 변화와 불변 조건을 모델링해 설계 결함을 찾는 정형 명세 언어. 에이전트가 명세 작성과 수정에 드는 비용을 낮추면서 적용할 수 있는 범위가 넓어지고 있음.
- 에이전트가 명세 작성을 도우면서 처음 써보는 팀도 애플리케이션 실행 기록을 모델과 비교한 사례가 있음.
- AWS가 DynamoDB 설계에서 미묘한 오류를 찾는 데 사용한 사례가 있음. 보고서는 비교적 익숙한 문법이 필요한 팀에 Quint도 비교 대상으로 제시함.
- 2015년 레이더에서 다뤘을 당시에는 핵심 시스템 외에 적용하기에 학습과 작성 비용이 높았음.
- 과거에는 중요한 분산 시스템에서 주로 쓰였으나 작성 비용이 낮아지며 적용을 재평가함. 뮤테이션 테스트나 속성 기반 테스트와 함께 AI 생성 코드의 검증에 활용할 수 있음.