← 목록으로

LLM 시대의 확장 가능한 소프트웨어

요약
  • LLM의 코드 생성 능력과 샌드박스 기술을 결합하여 사용자의 개별 요구에 맞춘 'Software for One'을 구현하는 소프트웨어 모델이 주목받고 있습니다.
  • 이 방식은 제품의 코어를 비대하게 만들지 않으면서도 롱테일 수요를 수용할 수 있으며, 보안과 규정 준수를 유지하며 개인화된 도구를 공유하는 생태계를 제공합니다.
  • LLM의 확장 코드 작성 능력과 현대적인 샌드박스를 결합하면, 웹 앱의 안정적인 코어를 유지하면서 사용자별 요구를 확장 기능으로 채우는 새로운 기회가 생길 수 있음
  • 모든 기능을 제품에 넣으면 UI 복잡성이 커지지만, 사용자가 필요한 확장을 만들고 공유하는 방식은 코어를 비대하게 만들지 않고 롱테일 수요를 수용할 수 있음
  • 웹에서 사용자 코드를 실행하려면 저렴한 실행 비용, 빠른 콜드 스타트뿐 아니라 자원 제한, 테넌트 격리, 데이터 유출 방지가 필요함
  • 안전한 확장은 광범위한 API 접근을 허용한 뒤 차단하기보다, 승인된 동작만 수행하는 좁은 권한 객체(capability) 를 전달하는 방식이 적합함
  • Salesforce는 2007년부터 앱 이벤트에 맞춰 고객별 코드를 실행해 왔음. 지금은 V8 isolates, microVM, WASM 등 선택지가 늘었지만, 확장 API를 설계하고 장기간 지원하는 일은 여전히 어려움
고정된 제품에서 사용자가 확장하는 소프트웨어로
  • 대부분의 웹 소프트웨어는 개발자의 제한된 시간과 관심을 가장 많은 사용자가 원하는 기능에 집중하며, 사용자마다 다른 롱테일 요구는 충족하지 못함
  • 모든 기능을 추가하는 것도 해결책은 아님. 기능이 늘수록 UI가 복잡해지고, 소수만 원하는 기능은 나머지 사용자에게 제품을 더 나쁘게 만들 수 있음
  • LLM은 기업용 소프트웨어의 복잡성과 책임 부담을 피하면서 개인의 작업 흐름에 맞추는 Software for One을 만드는 데 뛰어남
  • Y Combinator의 Pete Koomen이 주목하는 Small Software도 비슷한 기회임
    • 에이전트로 개인이나 팀의 도구를 만드는 일보다 배포, 보안, 공유가 여전히 훨씬 복잡함
    • 작은 소프트웨어에 맞춘 클라우드는 이 복잡성을 없애고, 맞춤 도구를 Google Doc처럼 쉽게 공유하도록 만들 수 있음
  • Pi는 검증된 코어를 갖추면서 요청만으로 거의 끝없이 확장하고, 사용자끼리 확장을 공유하는 LLM 네이티브 소프트웨어의 사례임
    • 사용자는 지난 1년 사이 말로 코드를 만들어내는 능력을 얻었지만, 기존 소프트웨어 대부분은 이를 활용하지 못함
  • 현재 플러그인 모델의 대표 사례는 AI 에이전트, IDE, 게임 모드, Blender 애드온, CAD 확장처럼 진입 장벽이 높은 로컬 도구에 치우쳐 있음
  • 웹은 가장 성공적인 소프트웨어 배포 체계임. LLM이 확장 작성 비용을 낮추고 샌드박스가 배포 비용과 보안 경계 문제를 다룬다면, 코어가 기본 책임을 맡고 사용자별 확장을 허용하는 웹 소프트웨어의 기회가 생길 수 있음
자연어 요청을 앱 내부의 확장으로 연결하기
  • 웹훅은 앱 변화에 반응하는 수단이지만, 사용자가 별도 서비스를 구축하고 운영하며 전달 문제까지 처리해야 하므로 확장의 문턱이 높음
  • 원하는 모델은 레코드 갱신, 태그 부착, 일일 예약 작업 등에 사용자 로직을 직접 연결하는 것임
  • 나중에 읽기 앱에서는 다음과 같은 요청을 코드와 확장 지점으로 연결할 수 있어야 함
    • 즐겨찾기한 글 중 4,000단어가 넘는 글을 원하는 전자책 리더로 전송함
    • 매주 전문 분야의 arXiv 논문을 찾아 업무와의 관련성 요약을 앞에 붙이고 지정한 태그를 추가함
    • 기본 추출 알고리듬이 제대로 처리하지 못하는 사이트의 예시를 모아 맞춤 파서를 만듦
  • 만든 확장은 같은 기능을 원하는 다른 사용자와 공유할 수 있어야 함
  • LLM이 작성을 쉽게 해도 소수가 대부분의 확장을 만드는 참여 불균형은 남을 수 있음
AI 에이전트의 확장성과 접근성
  • Pi, Deepseek, opencode는 LLM 기반 확장을 실험하고 있음
  • Pi는 새 아이디어를 모두 코어에 넣는 대신 도구, 명령, 이벤트, UI용 안정적인 훅을 제공함
    • 요청을 작은 TypeScript 확장으로 바꾸고 즉시 다시 로드할 수 있음
    • 확장을 패키지로 묶어 공유하면서 하네스 자체를 비대하게 만들지 않고 생태계가 롱테일 아이디어를 흡수함
  • Deepseek는 프롬프트만으로 UI에 고래 친구와 뱀 게임을 추가하는 시연을 선보임
  • 현재 이런 도구는 로컬에서 맞춤 소프트웨어를 실행하는 데 익숙한 사용자에게 주로 맞춰져 있음
    • 기업에서는 아무도 검토하지 않았고 앞으로도 검토하지 않을 코드를 실행하는 데 조직이 동의해야 함
    • 별도로 샌드박스를 구성하지 않으면 Pi 확장은 Pi 자체와 같은 권한으로 실행됨
  • 회계사, 의사, 변호사 등도 자기 분야와 업무에 안전하고 쉽게 맞출 수 있는 에이전트가 필요함. 사용자를 개발자로 만드는 대신 소프트웨어를 사용자 요구에 맞춰야 함
사내 플랫폼과 지원 업무의 확장
  • 사내 데이터 도구는 조회, 검색, 조사, 시스템 간 상관관계 분석, 특정 문제를 겪거나 이탈할 고객 찾기 등 다양한 요구를 처리해야 함
  • 직원이 바이브 코딩으로 도구를 만들고 PaaS에 배포하는 방식은 유용하지만, 수백~수천 개 앱이 생기면 유지보수와 접근 통제 문제가 뒤따름
    • 필요한 데이터에만 접근하도록 통제하고, 동작을 감사하며, 접근 토큰의 범위와 교체 책임을 정해야 함
    • 고객 정보가 외부 서비스의 로그로 나가지 않는지, GDPR을 위반하지 않는지도 확인해야 함
  • 내부 플랫폼 팀이 데이터 접근과 규정 준수를 맡고, 직원은 유출될 인증 토큰 없이 자동화와 맞춤 화면을 배포할 수 있는 환경이 대안임. Cloudflare OS가 이 모델에 해당함
  • 바이브 코딩 플랫폼은 일반적인 저장소와 호스팅을 제공하는 범용 형태로 볼 수 있으며, 기업 시장에 진출하면서 조직별 맞춤 접근 기능을 추가할 가능성이 있음
  • 고객 지원 플랫폼에서는 여러 대시보드와 로그에 흩어진 정보를 티켓 화면으로 가져오는 확장이 유용함
    • 담당자가 보기 전에 에이전트가 1차 조사를 수행하도록 훅을 연결함
    • 특정 할당량 초기화처럼 반복하는 작업을 버튼으로 추가함
    • 확장을 팀과 공유해 함께 활용함
관측 가능성 도구의 맞춤 시각화와 자동화
  • 관측 가능성 도구는 로그 검색과 막대그래프, 실행 추적 워터폴, 맞춤 지표 대시보드, 서비스 맵 등 비슷한 기능으로 수렴해 왔음
  • Embrace의 새로운 시각화와 Honeycomb의 에이전트 타임라인처럼 새로운 시도도 있음
  • 실행 추적 워터폴은 지연 시간과 성공률이 중요한 요청/응답 시스템에 유용하지만, 비결정적 에이전트나 작업 하나가 수시간~수일 지속되는 워크플로는 더 상태 의존적이고 동적임
    • 실행 추적 스팬을 기준 데이터로 삼되, 사용자가 직접 시각화를 만들거나 다른 사람의 시각화를 설치할 수 있어야 함
  • 시각화 외에도 사용자 로직을 삽입할 지점이 필요함
    • 데이터 수집 시 임의 변환을 적용함
    • 경보가 결정적 스크립트나 사용자 에이전트를 실행하게 함
    • 배포나 기능 플래그 출시처럼 위험이 높은 시점에 사용자 코드를 실행함
    • 로그의 MyResourceID를 다른 플랫폼의 해당 리소스로 바로 연결함
  • opencode2는 내장 에이전트, 통합, 설정 로딩 등을 68개 내부 플러그인으로 구성함. 동작을 비활성화할 수 있고 자체 플러그인 API를 직접 사용함
  • 민감한 데이터에 접근할 수 있는 클라이언트 UI 코드의 샌드박싱은 별도 문제임. SES나 Cloudflare OS의 구현을 참고할 수 있음
웹 확장이 어려운 이유
  • Obsidian은 기본 Markdown 편집기에서 칸반 작업 관리, 노트 데이터베이스, 벡터 데이터베이스 기반 의미 검색까지 확장할 수 있고, 기반 웹 UI도 쉽게 수정할 수 있음
  • 이 유연성에는 설치한 모든 플러그인을 신뢰해야 하는 비용이 따름
    • 플러그인은 사실상 무엇이든 할 수 있으며, Obsidian은 자동 및 수동 검토와 개발자 확인으로 대응함
    • 위험 부담이 낮고 커뮤니티가 비교적 작은 노트 앱에서는 적절할 수 있지만, 고객 기록, 금융 거래, 개인 메시지를 보유한 소프트웨어에는 같은 모델을 적용하기 어려움
  • 서버에서 임의 코드를 실행하려면 보안과 악용 방지를 함께 해결해야 함
    • 오류나 무한 루프가 서비스 전체를 중단시키지 않아야 함
    • 키와 민감한 데이터가 외부로 유출되지 않아야 함
    • 다른 대상을 향한 서비스 거부 공격과 사용자 실수로 인한 자체 서비스 장애를 막아야 함
    • Spectre 공격과 무료 연산 자원을 이용한 암호화폐 채굴도 방어해야 함
Salesforce가 보여준 대규모 웹 확장의 선례
  • Salesforce는 단순 CRM보다 거대한 멀티테넌트 프로그래밍 플랫폼에 가까우며, 2007년부터 이런 확장 모델을 운영해 왔음
    • AWS S3와 EC2가 2006년에 출시된 초기 클라우드 시기에, 컨테이너 없이 Java와 비슷한 자체 언어 Apex를 사용하게 했음
  • 몇 줄의 코드로 맞춤 엔드포인트를 만들면 플랫폼이 라우팅, 인증, 테넌트 격리, 실행을 처리하며 별도 웹 서버를 배포할 필요가 없음. 현대 서버리스의 선구적 형태로 볼 수 있음
  • 예약 실행도 가능하며, 예제에서는 매일 오전 2시에 30일 이내 갱신 예정인 고객 계정을 찾아 주의가 필요하다고 표시함
  • 클릭으로 앱을 만드는 상위 도구도 있지만, 중심에는 앱 이벤트와 트랜잭션 안에서 사용자 로직을 안전하게 실행해 기업별 업무 규칙을 반영하는 모델이 있음
  • 당시에는 저렴한 샌드박스 실행의 선택지가 적어 컴파일러, 타입 시스템, 런타임, 표준 라이브러리, 디버거, 언어에 통합된 SQL, 데이터베이스 기술과 교육 생태계까지 구축해야 했음
  • 기업이 얻는 가치가 커서 전용 플랫폼 전문가를 고용할 이유가 있었음. 2026년에는 더 많은 기술 선택지로 같은 모델에서 영감을 얻을 수 있음
확장 실행 기반이 갖춰야 할 조건
  • 경제적인 실행 비용이 필요함
    • 수천~수백만 사용자의 코드 조각마다 별도 컨테이너를 두는 방식은 적합하지 않음
    • 실행하지 않을 때 비용은 약 0달러여야 하며, 실행당 비용도 1센트보다 훨씬 작아야 함
    • 빌드와 컴파일, 산출물 저장, 로그 수집 비용도 포함해야 함
    • 특히 2026년 RAM 가격을 고려하면 요청당 메모리 오버헤드가 서버 한 대의 수용 사용자 수를 크게 좌우함
  • 빠른 콜드 스타트가 필요함
    • 사용자 코드가 요청 응답의 핵심 경로에 있다면 컨테이너 시작에 1분 이상 기다릴 수 없으며, 이상적으로 한 자릿수 밀리초여야 함
    • 이벤트 반응이나 예약 실행만 제공한다면 더 긴 시작 시간을 감수할 수 있음
  • 거의 모든 자원에 제한을 걸 수 있어야 함
    • Heroku의 한 시작 안내서는 while True에서 계속 출력하는 Python 앱을 배포하게 해, 신규 앱이 곧바로 초당 수백만 줄의 로그를 생성하는 상황을 만들었음
    • CPU, 메모리, 네트워크 요청 수와 크기, 응답 크기, 로그 양과 속도 등을 제한해야 함
  • 장애 및 보안 격리가 모두 필요함
    • 충돌, 무한 루프, 급격한 메모리 할당이 다른 사용자에게 영향을 주지 않아야 함
    • 악성 코드의 탈출이나 다른 테넌트 관찰을 막아야 하며, Spectre 같은 추측 실행 공격)도 포함됨
광범위한 API 권한 대신 좁은 권한 객체 전달하기
  • 가장 단순한 모델은 입력 데이터를 받고 제한된 결과만 반환하는 순수 함수임. I/O를 허용하지 않으면 비교적 안전하지만 활용 범위가 제한됨
  • API 키와 fetch를 직접 제공하면 악성 코드가 키를 외부에 전송하거나 플랫폼 인프라로 서비스 거부 공격을 할 수 있음
  • 일반적인 대안은 프록시와 불투명 토큰임
    • 프록시가 요청을 검증한 뒤 토큰을 실제 인증 정보로 바꾸고 대상에 전달함
    • 목적지 허용 목록과 요청 속도 제한도 적용할 수 있음
  • 프록시도 세밀한 권한 통제 문제를 완전히 해결하지 못함
    • 대부분의 API는 필요한 만큼 세분화된 인증을 제공하지 않으며, 과도한 API 권한은 심각한 결과를 낳을 수 있음
    • 이메일 읽기 권한이 있어도 특정 이메일 한 통만 읽게 하는 토큰은 대체로 없음
    • 프록시에서 경로와 헤더 등을 필터링하면 API 변화에 맞춰 유지해야 하며, 단일 작업조차 검증 로직이 복잡해짐
  • 더 나은 방식은 객체 권한 모델(Object-capability model)에 따라 승인된 특정 이메일 하나만 가져오는 함수처럼 좁은 참조를 전달하는 것임
    • 기본적으로 사용할 수 있는 I/O를 제거하면 코드는 전달받은 참조를 통해서만 행동할 수 있음
    • 인증 정보는 신뢰할 수 없는 코드에 노출되지 않으며, 별도의 외부 전송 권한이 없다면 데이터를 유출할 경로도 없음
  • TypeScript 권한 정의는 많은 OpenAPI JSON 정의를 넘기는 것보다 LLM이 로직을 생성하기 쉽고 토큰도 적게 사용함
  • IFTTT가 Twitter API 키 대신 twitter.post_new_tweet(), 전체 이메일 클라이언트 대신 email.send_me_email을 제공하는 방식과 유사함
  • Workers의 바인딩과 Service Workers도 객체 권한 RPC 체계에 기반함. 사용자에게 권한을 노출하는 것은 서비스별 바인딩을 만들어주는 것으로 볼 수 있음
실행 기술의 선택지와 절충점
  • 이 문제는 신뢰할 수 없는 로직을 사용자 대신 실행한다는 점에서 에이전트 실행 플랫폼과 본질적으로 같음
  • 인터프리터는 지금도 유효한 선택지임
    • Deep Agents의 인터프리터 방식, 내장 가능한 Lua나 QuickJS, 직접 구현 등을 사용할 수 있음
  • V8 격리 환경(isolates) 은 바이트코드와 JIT 등을 직접 발전시키는 수고를 줄여줌
    • Google이 V8 강화에 많은 비용과 개발 시간을 투입했으며, Cloudflare는 Workers의 격리 경계로 사용함
    • 선택지에는 Dynamic Workers, 일부 호환 기능을 구현한 celld, Node의 isolated-vm, Rivet의 secure-exec가 있음
  • MicroVM은 전체 VM의 가상 하드웨어와 복잡성을 줄여, 제한된 운영체제를 1초 미만에 시작하고 작은 메모리 오버헤드와 강한 격리를 제공할 수 있음
    • 다른 선택지보다 오버헤드가 크지만 POSIX, 많은 CPU와 RAM 활용, 바이너리를 실행하는 완전한 OS가 장점임
    • 단순 로직, API 호출, 워크플로에는 과할 수 있으나, 실행에 V8이나 WASM을 쓰더라도 확장 작성, 컴파일/번들링, 테스트에 활용할 수 있음
    • Firecracker, libkrun, AWS Lambda MicroVMs, @deno/sandbox, smolvm, Tensorlake, Daytona 등이 있음
  • WASM + WASI는 기본적으로 외부 접근 권한이 없는 상태에서 시작함
    • WebAssembly에는 HTTP 요청이나 환경 변수 읽기용 내장 모듈이 없으며, WASI가 호스트에서 전달할 권한의 표준 인터페이스를 정의함
    • 성능 잠재력이 크고 WebAssembly로 컴파일할 수 있는 여러 언어를 지원하지만 도구 체인이 복잡해짐
    • V8 격리 환경이나 MicroVM 안에서 WebAssembly를 실행할 수도 있어 선택지는 상호 배타적이지 않음
  • 실행 기반 자체에 권한 모델이 없어도 이 방식으로 API 노출을 설계할 수 있음. 프록시 외에 Cap’n Web 같은 객체 권한 프로토콜도 고려할 수 있음
Dynamic Workers가 함께 제공하는 플랫폼 기능
  • Dynamic Workers는 이런 실행 모델을 염두에 두고 만들어졌으며, code mode와 에이전트 외에도 확장형 웹 앱에 활용할 수 있음
  • Cloudflare 재직자가 2026년에 찾은 솔루션 중에서는 프로덕션 준비가 된 확장형 웹 앱 프레임워크에 가장 가까운 선택지로 보임
  • 다른 솔루션에서는 직접 구축해야 할 수 있는 주변 기능을 함께 제공함
    • 관측 가능성: 런타임에 OpenTelemetry 실행 추적이 내장되어 있고, Tail Workers로 내보내는 텔레메트리를 제어할 수 있음
    • 멀티테넌트 저장소: Durable Object facets로 사용자별 SQLite 데이터베이스를, Workers for Platforms로 사용자별 R2 버킷을 제공할 수 있음
    • 지속 실행(Durable Execution): Temporal 등이 보여준 모델처럼, Dynamic Workflows로 수분~수일의 작업과 재시도, 백오프를 처리할 수 있음
    • 소스 관리: 모든 사용자가 GitHub를 쓴다고 가정하지 않고, 제품 안에 소스 관리를 넣어 확장 버전과 반복 수정을 관리할 수 있음
    • 호스팅 LLM: Workers AI를 노출해 확장 내부에서 모델을 사용하게 하되 토큰 예산과 속도 제한을 적용할 수 있음
    • JavaScript 도구 자체 실행: 많은 도구가 JavaScript로 작성되어 있어 별도 VM이나 컨테이너 없이 확장을 빌드하고 테스트할 수 있음. 예제는 sucrase로 TypeScript를 변환함
편집 가능한 스크레이퍼 데모와 운영상의 한계
  • 정적 블로그에 수정 가능한 스크레이퍼 하네스를 넣은 데모가 있으며, 구현 안내는 Working with Dynamic Workers로 분리되어 있음
  • URL의 내용을 가져와 사용자 코드에 본문과 유틸리티를 전달함. 다만 대상 사이트가 Cloudflare를 차단하면 가져올 수 없음
  • 모든 예제는 Workers에서 실행되며 소스를 편집할 수 있음
    • 같은 하네스에서 서로 다른 라이브러리와 권한 조합을 사용함
    • 직접 작성하는 선택지에는 시작용 LLM 프롬프트가 있지만, 비용 때문에 인터넷에 무료 LLM 사용을 공개하지는 않음
    • arXiv 초록 페이지의 PDF 접근 권한을 따라 논문 바이트를 읽고 liteparse WASM 라이브러리로 Markdown으로 바꾸는 예제가 있음
  • 앱을 플랫폼으로 만드는 일은 설계, 운영, 디버깅 모두 어려우며, 고객에게 노출한 API는 사전 설계와 장기 지원이 필요함
  • LLM이 지원 부담을 줄일 가능성은 있지만 확실하지 않음. 그럼에도 사용자가 예상하지 못한 창의적인 활용을 만들어내는 플랫폼의 가치는 이 어려움을 감수할 만함
더 살펴볼 자료
  • Kenton Varda의 글과 발표를 참고할 수 있음
    • Let’s put AI in lots of little boxes
    • Fine-Grained Sandboxing with V8 Isolates
    • sandstorm.io
  • Cloudflare OS를 살펴볼 수 있음
  • Ink and Switch의 Malleable Software도 참고할 만함
  • Andy Matuschak의 Apps and programming: two accidental tyrannies도 함께 읽을 수 있음
그냥 목록으로
원문 보기 ↗