수많은 LLM 리더보드와 복잡한 토큰 가격표 사이에서 "그래서 내 상황(Cursor Pro, GitHub Copilot, Claude 구독, API 등)에서 코딩/디버깅/문서 작성할 때 무슨 모델을 어떤 강도로 써야 해?" 질문에 답하기 위해 만든 개인 프로젝트입니다.
요약하자면 가성비(?) 있게 AI 모델을 써보고 싶어서입니다. 매일 벤치마크나 SNS 트렌드를 볼수는 없는 노릇이고,,
그냥 순수하게 개인의 필요에 의해 만들었습니다.
추가되었으면 하는 기능 있으면 문의 메일 환영합니다.
지원하는 기능은 다음과 같습니다.
- 결제 방식 · 서비스 · 요금제별 맞춤 필터링
- 10가지 실무 작업별 맞춤 추천 (주로 제가 쓰는 업무 위주로 분류했습니다.)
- 3가지 우선순위별 최적 조합 제시 (가성비 / 나 돈많아!! / 제일 싸게)
- 여러상황을 넣으면 헷갈릴것 같고 가성비가 메인입니다. 토큰부자이신 분들은 그냥 비싼 모델로 계속 돌리시면 됩니다.
- 단 실제 결과물이 가성비있게 썼을 경우 많은 차이가 발생하지 않는 현실적인 기준으로 나눴습니다.
- 단계별 모델 · 추론 강도(낮음~최대) 직접 바꿔보기 (인터랙티브 시뮬레이션)
- 실제 쓰고있는 모델 중에 다른걸로 바꿨을때 벤치마크 점수나 비용이 얼만큼 변하는지 알고싶어서 넣었습니다.
- 12시간 주기 자동 데이터 갱신 및 변경 추적
- BenchLM(벤치마크 점수), Artificial Analysis(모델·강도별 실제 토큰 소비량 및 지능 지수), LiteLLM·OpenRouter·공식 문서(가격 및 지원 모델)를 12시간마다 자동 수집하며, [최근 변경] 탭에서 신모델 추가·가격 인하·구모델 전환 내역을 확인할 수 있습니다.
한계점
- 작업별 토큰량·재작업률·설계 효과는 '가정이 들어간 추정치'
- 작업 1건당 기본 입출력 토큰량, 점수 1점당 재시도 증가율(+1.5%), 상위 모델 설계 시 품질 상승분(격차의 30%), 추론 강도 민감도 등은 임의로 설정한 가정값입니다. 사용자의 프롬프트 습관이나 코드베이스 크기에 따라 실제 비용과 차이가 날 수 있습니다.
정액제 구독의 '실제 잔여 한도(Quota)'는 직접 계산하지 못함
-
Claude Pro/Max, ChatGPT Plus 등의 비공개 메시지 한도나 동적 제한을 정확히 알 수 없으므로, 구독 서비스에서는 "같은 작업을 표준 API로 돌렸을 때의 환산 비용" 을 참고 지표로 사용하여 가성비를 간접 비교합니다.
-
공개 벤치마크와 실무 체감의 괴리 및 일부 최신·변형 모델의 실측 데이터 부재
- 점수는 공개 리더보드(BenchLM) 기준이므로 사내 특수 도메인이나 특정 에이전트 하네스 환경에서의 체감과 다를 수 있습니다.
- 또한 Artificial Analysis 실측 데이터가 아직 없는 모델/강도는 같은 계열 모델 값으로 추정하거나 기본값으로 대체합니다.
4.도구별 세부 과금 옵션 미반영
-프롬프트 캐싱(Prompt Caching) 할인, Cursor의 Fast/Max 모드 및 캐시·지역별 특수 요금, 각 도구의 비공개 기본 추론 강도 등은 표준 모드로 단순화해 계산합니다.