- OpenRouter의 주간 처리량은 2025년 1월 약 5,000억 토큰에서 2026년 9월 말 164조 토큰으로 늘었지만, 100만 토큰당 평균 지불 가격은 0.77달러에서 0.14달러로 하락함
- AI 추론은 연간 계약으로 구매하는 소프트웨어보다 원자재성 투입 요소에 가까워지고 있음. 단가는 내려가고 사용량은 늘며, 최적의 공급업체도 몇 달마다 바뀜
- 오픈 웨이트 모델은 OpenRouter 주간 토큰의 약 60%를 처리하지만 지출 비중은 26%에 그침. 저가 모델의 성능 향상으로 분류, 추출, 코딩 하위 작업 등 일상적인 업무를 더 저렴하게 처리할 수 있음
- 에이전트가 토큰 사용의 중심으로 올라서면서, 반복 전송하는 긴 문맥에 적용되는 프롬프트 캐싱이 비용을 좌우함. 같은 모델도 공급업체와 캐시 적용 비율에 따라 실제 비용이 크게 달라짐
- AI 구매는 표시 가격보다 실질 총비용을 기준으로 판단해야 함. 캐시 할인뿐 아니라 대기와 재시도 비용을 고려하고, 데이터 미보관과 장애 시 대체 경로도 구매 조건에 포함해야 함
- AI 관련 비용은 손익계산서에서 가장 큰 비용으로 빠르게 부상하고 있음
- AI 기능이 매출총이익률을 낮추고, 여러 부서가 고가의 최첨단 모델을 사용하며, 기존 소프트웨어에도 추가 비용이 드는 AI 기능이 내장되고 있음
- AI 엔지니어 인건비도 높아, CFO를 비롯한 자본 배분 책임자는 AI 사용 데이터와 시장 변화를 이해할 필요가 있음
- OpenRouter는 하나의 계정으로 수백 개 LLM을 이용하는 AI 게이트웨이이자 마켓플레이스이며, 아래 수치는 이 플랫폼을 통과한 사용량에 기반함
- 2025년 1월부터 2026년 9월 말까지 주간 토큰 처리량은 약 5,000억 개에서 164조 개로 증가했고, 100만 토큰당 평균 지불 가격은 0.77달러에서 0.14달러로 하락함
- 대부분의 기업은 공급업체를 고르고, 때로 연간 사용 약정을 맺으며, 정해진 시점에 재평가하는 방식으로 AI를 구매함
- 하지만 추론 시장은 단가 하락, 물량 증가, 최적 공급업체의 잦은 교체가 특징임
- AI 지출이 대부분 기업의 최대 비용이 될 것이라는 전망 아래, 단순한 예산 항목 관리보다 시장 역학에 대한 이해가 중요해짐
-
1. 모델 공급의 급증
- 2024년 초 이후 OpenRouter에 862개 모델이 출시됐으며, 이 중 362개는 2026년 10월 이전에 출시돼 이미 2025년 전체 출시 수를 넘어섬
- 주간 1조 토큰 이상을 처리하는 모델은 최근 6개월 동안 3개에서 27개로 늘어남
- 모든 신규 모델이 영향력을 얻는 것은 아니지만, 최첨단 모델은 더 범용적으로, 그 뒤의 모델은 더 전문적으로 발전하고 있음
- 모델 출시 속도는 앞으로도 둔화하지 않을 것으로 예상되며, 변화 추적 자체가 상시 업무가 됨
-
2. 오픈 웨이트 모델의 점유율 확대
- 오픈 웨이트 모델은 주간 토큰의 약 60%, 지출의 26%를 차지함
- 분류, 추출, 코딩 하위 작업, 에이전트 실행 단계 등 상당한 일상 업무가 최첨단 모델보다 훨씬 저렴한 모델로 이동함
- 오픈 웨이트 토큰의 약 3분의 2는 중국 연구소가 만든 모델에서 처리되지만, 모델 개발지와 실행 장소는 별개의 선택임
- 중국산 모델 토큰의 44% 는 미국에 본사를 둔 공급업체가 처리함
- 모델은 가격과 품질로, 호스팅은 개인정보 보호 요건으로 선택할 수 있음
- 거의 모든 모델을 여러 추론 공급업체가 제공하며, 실제 트래픽을 처리하는 공급업체 엔드포인트는 2026년 초 약 330개에서 1,342개로 증가함
- 엔드포인트는 모델과 공급업체의 조합을 뜻하며, 예를 들어 Coreweave에서 제공하는 DeepSeek V4 Flash가 하나의 조합임
-
3. 에이전트와 캐시가 지배하는 사용량
- 2026년 2월 6일 소프트웨어 에이전트가 OpenRouter에서 인간 사용자의 토큰 사용량을 추월함
- 9월 말 에이전트 작업은 주간 약 131조 토큰, 인간 사용자 작업은 18조 토큰을 기록함
- 앞으로도 에이전트가 인간보다 훨씬 많은 토큰을 사용할 것으로 예상됨
- 에이전트는 매 단계에서 같은 긴 문맥을 다시 보내므로 프롬프트 캐싱이 핵심 가격 요소가 됨
- 캐시된 입력 토큰에는 일반적으로 정상 가격의 일부만 청구되므로, 캐시 토큰 비중은 비용을 파악하는 중요한 지표임
- 신규 모델과 공급업체 모두 캐시 적용률을 높이고 있음
- 이번 분기 출시 모델은 에이전트 트래픽의 88%를 캐시하며, 2025년 봄 출시 모델은 55% 수준임
- 에이전트 트래픽의 90% 이상을 캐시하는 공급업체는 1월 35곳 중 2곳에서 9월 54곳 중 11곳으로 증가함
-
4. 계속 바뀌는 선두 모델
- OpenRouter에서 토큰 기준 1위 모델 개발사는 8개 분기 동안 다섯 번 바뀌었고, 선두 점유율은 약 40%에서 21%로 하락함
- 2026년 초에는 Anthropic과 OpenAI에 대한 합산 지출 중 Anthropic 비중이 약 80%였지만, 9월에는 두 회사가 거의 비슷해짐
- 생태계 전체가 크게 성장하고 있어, 작은 점유율만으로도 경제적 가치가 있는 시장을 확보할 수 있음
- 사용량 증가율이 지출 증가율을 크게 앞섬
- 2025년 9월 플랫폼에서 100달러 이상 지출한 AI 네이티브 스타트업 집단은 토큰 사용량이 18배, 지출은 5.1배로 증가함
- 대형 조직은 토큰 사용량이 5.1배, 지출은 2.4배로 증가함
- 격차의 크기는 다르지만, 2026년 OpenRouter의 모든 사용자 부문에서 토큰 증가율이 지출 증가율보다 높았음
- 첫 번째 요인은 저가 모델의 성능 향상임
- 일부 작업은 표시 가격이 높은 Opus 5.5 없이도 Kimi K3나 DeepSeek V4 Flash로 충분히 처리할 수 있음
- 두 번째 요인은 에이전트 캐시 최적화임
- 신규 토큰의 대부분이 에이전트에서 발생하므로 캐시 적용률 개선이 토큰당 가격을 낮춤
- 동일 모델도 어느 공급업체가 처리하고 얼마나 캐시하는지에 따라 비용이 크게 달라짐
- 인기 오픈 웨이트 모델 3개에서 실제 지불액은 표시 가격 환산액보다 43~89% 낮았으며, 표시 가격이 가장 낮은 공급업체가 실제로도 가장 저렴한 것은 아니었음
- 세 번째 요인은 최첨단 모델 개발사의 저가 모델 출시임
- OpenAI와 Anthropic은 최근 성능이 높으면서도 훨씬 저렴한 Luna와 Haiku를 출시함
- 두 모델은 서로 다른 파레토 최적 지점에 자리하며 여러 일상 작업을 충족함
- 이 시장의 가격 조건은 분기 단위가 아니라 분 단위로 움직임
- OpenRouter 요청의 약 77% 는 여러 공급업체가 제공하는 모델로 향하므로, 대부분의 요청에는 공급업체 선택이 수반됨
- OpenRouter의 기존 기본 라우팅은 주로 입력 토큰 가격으로 공급업체를 골랐지만, 개선된 라우팅 알고리듬은 요청별 실질 총비용(landed cost)을 계산함
- 캐시 할인 후 유효 가격에 대기 비용과 재시도 비용을 더함
- 요청당 1달러이고 성공률이 80%라면 성공한 응답당 비용은 1.25달러가 됨
- 실패나 요청 한도 제한 응답이 많으면, 표시 가격이 낮은 공급업체가 실제로는 더 비쌀 수 있음
- 트래픽이 실질 총비용을 따라 이동하면 공급업체는 가격뿐 아니라 속도와 신뢰성에서도 경쟁하게 됨
- 데이터 미보관(ZDR) 엔드포인트를 사용할 수 있는 모델이 OpenRouter 토큰의 93%를 차지하며, 상위 20개 모델 중 18개도 해당함
- 조직별로 일부 허용 범위는 다르지만, 데이터 미보관은 대체로 기본 요구사항임
- 어떤 공급업체도 항상 가동되지는 않으며, 자동 장애 전환이 성공률을 높임
- 10월 초 요청 6,000만 건 표본에서 첫 공급업체의 성공률은 92.8%, 자동 장애 전환 후 성공률은 96.9%였음
- 한 차례 용량 부족 상황에서 가장 큰 타격을 받은 공급업체 15곳의 성공률은 18%까지 내려갔지만, OpenRouter를 경유한 요청은 97.3%가 완료됨
-
토큰 증가가 반드시 지출 증가를 뜻하지는 않음
- OpenRouter의 수백 개 기업은 월간 사용량을 크게 늘리면서도 토큰 지출을 줄였음
- 더 많은 기업은 사용량을 대폭 확대하면서 지출 증가 속도를 낮췄음
-
오픈 웨이트 모델을 동일한 상품으로 취급해서는 안 됨
- 같은 모델도 공급업체에 따라 속도, 품질, 신뢰성이 크게 다름
- 단일 공급업체에 묶이는 선택에는 이 요소들 전반에 걸쳐 장단점이 있음
- 운영 통제 장치를 명확히 정해야 함
- 데이터 미보관뿐 아니라 지역 내 라우팅, 부서별 지출 한도, 장애 시 대체 경로 등 조직별 요구사항을 확인해야 함
-
변화를 전제로 재무 계획을 세울 필요가 있음
- 6개월 전과도 시장이 크게 달라졌고, 변화 속도는 오히려 빨라지고 있음
- 가장 선호하게 될 모델이 아직 출시되지 않았을 수도 있으므로, 잘 세운 계획도 전면 수정할 준비가 필요함
- 실험 문화와 그에 맞는 재무 운영이 AI 활용의 최전선을 유지하는 조건임
- 앞으로도 여러 종류의 모델이 공존하며, 경쟁은 기업의 비용 통제에 도움이 됨