← 목록으로

JavaScript 프레임워크별 AI 개발 비용 비교

요약
  • Opus 5.5를 활용해 12개의 JavaScript 프레임워크 조합으로 포켓몬 앱을 구현하며 개발 비용, 시간, 코드량 등을 비교했습니다.
  • 실험 결과 Hono+htmx가 가장 저렴하고 빠른 반면, Angular는 상대적으로 높은 비용과 시간이 소요되었습니다.
  • 이번 연구는 프레임워크 선택 시 주관적 경험 대신 객관적인 측정 지표를 활용할 필요성을 제시합니다.
  • Opus 5.5에 같은 포켓몬 앱을 12개 프레임워크 조합으로 구현하게 하고, 개발 비용과 시간, 코드량, 성능과 접근성을 비교함
  • 실행당 API 환산 비용 중앙값은 Hono+htmx 2.67달러, Angular 4.97달러였으며, SvelteKit과 Gracile+Lit도 상대적으로 비쌌음
  • 개발 시간은 Astro 8.2분, Hono+htmx 8.6분, Angular 17.2분이었으며, 문서 탐색과 생성 코드량이 비용 차이에 영향을 줬을 가능성이 있음
  • Lighthouse 접근성은 모두 100점, 성능은 97~100점이었지만 JavaScript 전송량과 로딩 지표에는 차이가 있었음. 콘텐츠 중심의 작은 앱과 측정 지표 특성상 MPA에 유리한 실험임
  • 코드량은 Hono+htmx가 1,370줄, Angular가 2,009줄로 차이를 보임. 에이전트가 코드를 작성하는 환경에서는 이후 수정에 드는 토큰도 유지보수 비용이 됨
감각적인 선택을 측정으로 바꾸기
  • 웹 개발 도구의 속도와 생산성에 관한 홍보는 검증 근거 없이 이뤄지는 경우가 많음
    • Alex Russell의 “프런트엔드의 잃어버린 10년”, Baldur Bjarnason의 프로그래밍은 대중문화라는 논의도 이 문제와 맞닿아 있음
  • 기존의 프레임워크 선택에는 JSX를 직접 작성할 때의 느낌 같은 개발자 경험(DX) 이 작용했고, 성능 논리가 그 선택을 사후 정당화했을 수 있음
    • 개발자 경험의 미끼와 바꿔치기와 Jonathan Haidt의 개념도 이와 관련됨
  • 직접 코드를 입력하지 않는 에이전트 시대에도 “에이전트에 더 적합하다”, “실수가 적다”, “결과가 빠르다”는 이유로 프런트엔드를 재작성하지만, 벤치마크 없는 판단은 여전히 남아 있음
실험 설계와 적용 범위
  • PokéAPI를 이용해 포켓몬 목록, 타입, 기술, 게임별 정보와 검색/필터 기능을 갖춘 작지만 단순하지만은 않은 앱을 구현함
    • 에이전트에 동일한 명세와 적합성 테스트를 제공하고, 개발 시간, 토큰 사용량, 코드량, Lighthouse 성능과 접근성을 측정함
  • 앱은 상호작용이 적은 콘텐츠 중심 유형으로, Figma나 Gmail보다는 Wikipedia에 가까움
    • 하나의 애플리케이션 유형만 대표하므로 복잡한 실제 서비스 전체로 결과를 일반화할 수 없음
  • Opus 5.5의 높은 노력 수준을 사용하고, 각 프레임워크 최신 버전으로 구현하도록 지시함
    • 공식 MCP나 스킬이 있으면 사용할 수 있도록 준비했지만 사용을 강제하지 않음
    • SSR/CSR 등 구체적인 구조나 최대 성능 달성을 요구하지 않음
    • 각 에이전트는 샌드박스에서 실행됐으며 Lighthouse 성능/접근성 평가 예정 사실은 알지 못함
  • CSS 방식은 지정하지 않았지만 Tailwind, Bootstrap 등 컴포넌트 프레임워크를 금지하고, 시각적 일관성을 위한 디자인 토큰을 제공함
    • 특정 HTML 구조를 강제하지 않도록 원시 DOM 대신 접근성 트리로 적합성을 검사함
    • Shadow DOM을 사용하는 웹 컴포넌트 구현도 검사하기 위한 선택임
  • 프레임워크마다 5회 구현의 중앙값을 비교하되, Angular는 두 차례 실패해 성공한 3회만 집계함
    • 에이전트가 불필요한 작업에 토큰을 쓰거나 Lighthouse가 실행마다 다른 이미지를 LCP 대상으로 고르는 등 변동성이 있음
    • 반복 실행으로 이를 완화했지만 완전히 공정하고 결정적인 실험은 아님
구현 비용, 시간과 토큰
  • API 환산 비용 중앙값은 Hono+htmx 2.67달러, Astro 2.76달러, Nuxt 2.82달러, Vanilla 2.98달러, Next.js 3.14달러, Qwik 3.27달러였음
    • TanStack Start 3.54달러, SolidStart 3.79달러, React Router 3.81달러, SvelteKit 4.28달러, Gracile+Lit 4.65달러, Angular 4.97달러가 뒤를 이음
    • Claude Code가 보고한 API 가격이며 실제 지출액은 아님. 실험은 월 100달러 Max 요금제 안에서 수행함
  • 실행별 비용 범위가 겹치므로 중앙값만으로 모든 실행의 우열을 판단할 수 없음
    • React Router의 최저 비용은 2.82달러로 Hono+htmx의 최고 비용 3.19달러보다 낮았음
  • 상대적으로 비싼 구현에는 문서 탐색과 코드 규모가 관련됐을 가능성이 있음
    • SvelteKit 에이전트는 매번 v3 마이그레이션 가이드를 읽음. 새 버전이 Opus 5.5 학습 데이터에 없었을 가능성이 있음
    • Gracile은 저장소를 복제하거나 node_modules의 컴파일된 소스를 읽었음
    • Angular의 높은 비용은 전체 코드량과 관련된 것으로 보임
  • 개발 시간과 토큰 사용량도 대체로 비용과 비슷한 흐름을 보임
    • 실제 경과 시간 중앙값은 Astro 8.2분, Hono+htmx 8.6분, Nuxt 9.0분이었고 Angular는 17.2분이었음
    • 토큰 중앙값은 Nuxt 385만, Astro 413만, Hono+htmx 426만이었으며, SvelteKit 853만, Gracile+Lit 904만, Angular 976만이었음
    • 토큰 수는 Claude Code가 보고한 캐시 읽기, 비캐시 입력, 출력을 합산함
  • 프레임워크 없는 Vanilla에는 Vite 기반 JavaScript 또는 TypeScript를 사용하되 UI 프레임워크는 쓰지 말라고 지시함
    • 여러 프레임워크보다 비용이 높아, 아무 프레임워크도 쓰지 않는 것이 반드시 유리하지는 않았음
    • Vite는 여러 프레임워크의 기반이자 비교적 표준적이고 중립적인 인프라라는 이유로 선택함
  • Hono+htmx는 htmx를 JavaScript 서버 구성과 함께 평가하려고 선택함
    • Gracile+Lit는 웹 컴포넌트를 대표하는 Lit를 포함하려는 조합이며, 더 적합한 메타프레임워크가 있다면 후속 실험 대상으로 삼을 수 있음
AI 도구는 준비해도 항상 쓰이지 않음
  • 공식 MCP와 스킬의 실제 사용 여부는 프레임워크와 실행마다 달랐음
    • Angular: MCP는 5회 중 3회, 에이전트 스킬의 도구는 4회, 스킬 파일은 2회 사용함
    • Astro: MCP 서버를 5회 중 2회 사용함
    • Hono+htmx: Hono 스킬을 5회 모두 사용함
    • Next.js: next-devtools-mcp와 next-dev-loop 스킬을 준비했지만, 스킬 파일은 1회, AGENTS.md는 2회 읽음
    • Nuxt: MCP를 준비했지만 한 번도 사용하지 않음
    • React Router: 스킬의 도구와 파일을 모두 매 실행 사용함
    • SvelteKit: Claude Code 플러그인의 MCP를 5회 모두 사용함
  • TanStack Start는 별도 도구를 설치하지 않았지만 node_modules에 포함된 스킬 파일을 5회 중 2회 발견함
    • Gracile+Lit, Qwik, SolidStart, Vanilla에는 별도로 설치한 AI 도구가 없었음
  • 도구 사용을 강제하지 않은 조건은 일반적인 바이브 코딩 사용 방식을 반영하려는 선택임
    • MCP 사용을 에이전트에 강하게 요구하지 않거나 도구 자체를 생략하는 사용자도 있을 수 있음
성능과 접근성 결과
  • Lighthouse 접근성은 모두 100점, 성능은 97~100점으로 상한에 가까웠음
    • CLS는 Vanilla가 0.111이었고 나머지는 모두 0.000이었음
    • 비교를 단순화하려고 홈페이지 결과만 사용함. 다른 페이지는 비슷한 점수를 내거나 LCP 변동이 커 분석이 복잡해졌음
  • JavaScript 전송량은 클라이언트 프레임워크 크기를 대체로 반영함
    • 중앙값은 Astro 0KiB, Vanilla 7KiB, Gracile+Lit 8KiB, Hono+htmx 18KiB, SvelteKit 36KiB, SolidStart와 Qwik 각각 40KiB였음
    • Nuxt 84KiB, Angular 93KiB, React Router 115KiB, TanStack Start 118KiB, Next.js 142KiB였음
  • 총 차단 시간(TBT) 은 전송량만으로 결정되지 않았지만 전체적으로 작은 값이었음
    • Astro, Gracile+Lit, Hono+htmx, SvelteKit, Vanilla의 중앙값은 0ms였음
    • Nuxt는 40ms, Next.js는 71ms, Angular는 103ms였음
  • 최대 콘텐츠 페인트(LCP) 는 변동성이 컸지만 대체로 MPA에 유리했음
    • 중앙값은 Astro 810ms, Gracile+Lit 956ms, Hono+htmx 978ms, Qwik 979ms였으며, TanStack Start 2,028ms, Next.js 2,090ms였음
    • HTML로 빠르게 화면을 그리는 MPA와 달리 SPA는 클라이언트 JavaScript 실행과 포켓몬 데이터 요청을 기다릴 수 있음
    • 변동성을 제외하면 대체로 JavaScript 번들 크기에 좌우됐지만, 클라이언트 라우팅을 쓰는 Qwik은 MPA와 비슷한 결과를 냄
  • 측정 조건은 Ubuntu 24.04를 실행하는 2025년형 Framework 13 노트북, CPU 4배 제한, Slow 4G 네트워크 제한이었음
    • 데스크톱이 아닌 모바일 Lighthouse 테스트만 수행함
    • TBT와 LCP는 앱마다 Lighthouse 5회 중앙값을 구한 뒤, 구현 3~5개의 중앙값을 다시 계산함
  • Lighthouse와 Core Web Vitals는 SPA에 불리한 평가 특성이 있음
    • 앱 내부 상호작용 지표도 고려했지만 복잡성과 변동성이 늘고, 업계 표준이 아닌 자체 지표가 된다는 이유로 제외함
구현 선택과 실패가 만든 차이
  • 이미지 지연 로딩 선택이 Next.js의 큰 LCP 편차를 설명함
    • 한 구현은 지연 로딩을 피했지만, 나머지 네 구현(next-5, next-1, next-3, next-4)은 그렇지 않았음
    • Astro와 Vanilla의 편차도 우선순위 지정이나 LCP 측정 특성에서 비롯된 것으로 보임
  • 같은 프레임워크 조건에서도 구조가 달랐음

    • Gracile은 두.client.ts#L7) 실행에서 Lit를 아예 사용하지 않음
    • Vanilla는 구조 선택에 자유가 있었지만 5회 모두 SPA를 구현함
    • Angular의 두 실패는 SSR 앱이 localhost 이외의 요청을 거부한 데서 발생함
    • 명세가 역방향 프록시 뒤에서 실행된다고 명시했으므로 명세 위반으로 처리하고 재실행하지 않음
코드량과 유지보수 비용
  • 유지보수성은 순환 복잡도 같은 여러 방법으로 평가할 수 있지만, 이번에는 빈 줄을 제외한 소스 코드 줄 수로 단순화함
    • 중앙값은 Hono+htmx 1,370줄, Nuxt 1,415줄, Astro 1,461줄, Vanilla 1,492줄, Next.js 1,539줄, React Router 1,564줄이었음
    • SvelteKit 1,611줄, SolidStart 1,630줄, TanStack Start 1,697줄, Gracile+Lit 1,717줄, Qwik 1,744줄, Angular 2,009줄이었음
  • 프레임워크는 유지해야 할 코드를 줄이는 역할을 하며, Rich Harris의 “Rethinking reactivity”에서 말하는 “코드가 아니라 생각을 정리하는 도구”이기도 함
  • 에이전트 시대의 코드 크기는 향후 수정에 필요한 토큰과 실제 유지보수 비용에도 영향을 줌
    • 간결함만이 유일한 가치는 아니지만, 이번 실험에서 Hono+htmx는 Angular 코드량의 약 70%로 대체로 같은 기능을 더 빠르게 구현함
한계와 후속 실험
  • 성능 최적화 기법을 명시적으로 요구하지 않음

    • Service Worker 오프라인 캐싱, 이미지 최적화, 지연 로딩, fetchpriority, Speculation Rules API 등을 요구할 수 있었지만 일반적인 바이브 코딩을 반영하려고 제외함
    • 모든 포켓몬의 HTML을 정적 파일로 미리 생성하는 방식은 명세와 테스트 하네스에서 금지함. 목표가 순수 정적 사이트가 아니라 대량의 잠재적 동적 데이터를 모사하는 것이기 때문임
  • 반복 횟수와 실험 조건을 확대할 필요가 있음

    • 다른 에이전트와 노력 수준, 프레임워크와 버전, MCP/스킬 사용 유무, Chromium 외 브라우저, 다른 앱 유형을 비교할 수 있음
    • 복잡한 대시보드, 게임, 생산성 앱이나 앱 내부 상호작용 지표를 택하면 SPA에 더 유리한 실험도 가능함
    • 벤치마크는 GitHub에 공개돼 있으며 재실행과 개선이 가능함
    • 벤치마크 자체도 대부분 바이브 코딩으로 작성한 뒤 사람이 코드를 검토했으므로 오류 가능성이 남아 있음
    • MCP와 스킬이 오히려 해로울 수 있다는 의심도 있지만, 이번 실험으로 입증한 결과는 아님
  • 최종 순위보다 증거에 기반한 기술 선택이 목표임

    • 목표는 특정 프레임워크를 비난하거나 최종 순위를 정하는 것이 아니라 증거에 기반한 기술 선택임
    • 직접 읽고 검토하고 디버깅한다면 익숙한 스택을 고르는 이유가 있지만, 구현을 대부분 에이전트에 맡긴다면 기존 선택도 재검토할 수 있음
    • 궁극적으로 더 빠르고 접근성 좋은 웹 앱과 프레임워크를 지향함
실험에 사용한 버전
  • Angular와 Astro는 각각 @angular/core 22.2.3, astro 7.4.2를 사용함
  • Gracile+Lit는 @gracile/gracile 0.11.0, lit 3.3.3 조합임
  • Hono+htmx는 hono 4.13.14, htmx.org 2.0.11 조합임
  • Next.js는 next 16.4.3, react 19.3.1 조합임
  • Nuxt는 nuxt 4.6.2, vue 3.5.44 조합임
  • Qwik은 @builder.io/qwik-city와 @builder.io/qwik 모두 첫 실행은 1.20.2, 이후 네 실행은 1.20.3을 사용함
  • React Router는 react-router 8.5.0, react 19.3.1 조합임
  • SolidStart는 @solidjs/start 2.1.0, solid-js 1.9.17 조합임
  • SvelteKit은 @sveltejs/kit 3.1.0, svelte 5.57.2 조합임
  • TanStack Start는 @tanstack/react-start 1.169.4, react 19.3.1 조합임
  • Vanilla는 vite 8.3.5를 사용함
그냥 목록으로
원문 보기 ↗