제가 만든 사이트입니다. https://modelsthatrun.dev
오픈 모델을 받아서, 집에 있는 RTX 4090 한 장으로 직접 돌리고, 제가 잰 속도, VRAM, 정확도, 라이선스만 올려 두었습니다. 광고 없고, 가입도 없고, 돈 벌 계획도 없습니다.
지금은 모델 44개, 체크포인트 126개입니다. 비전(검출, 세그멘테이션, 매팅, 깊이, 포즈)이 먼저이고, 로컬 채팅 모델과 텍스트-이미지 모델도 같은 카드, 같은 방식으로 넣었습니다. 제가 잰 점수와 논문 점수는 섞지 않고 따로 적습니다. 라이선스는 저장소와 모델 카드에서 체크포인트마다 확인했습니다.
예를 들면, 공식 기본 설정 기준입니다.
- Gemma 4 12b-q4_0 (llama.cpp GGUF, 레이어 전부 GPU): 97.4 tok/s, 8K 컨텍스트에서 VRAM 7.7 GiB, IFEval 89.3
- Qwen3 8b-q4_k_m: 153 tok/s, 6.0 GiB, IFEval 80.6
- FLUX.2 [klein] 4b: 1024×1024, 4스텝 한 장 1.30초, 20.0 GiB, GenEval 0.82
- Sana-Sprint 1.6b: 1024×1024, 2스텝 한 장 0.27초, 12.0 GiB, GenEval 0.75
측정 방법은 https://modelsthatrun.dev/method/ 에 적어 두었습니다. 비전이면 predict() 한 번(배치 1), 언어 모델은 tok/s, 이미지 생성은 장당 초. VRAM은 유휴 기준을 뺀 피크입니다. 이 카드가 화면도 켜고 있어서, 측정할 때마다 유휴 기준을 다시 잡습니다.
한계도 분명히 말씀드리면, GPU는 4090 한 장이고, 언어 모델은 아직 4개 패밀리뿐이며, 포즈·깊이·매팅은 속도와 VRAM만 있고 정확도는 아직 못 잰 상태입니다. 입력 크기도 모델 공식 기본값을 따라서, 해상도를 통일한 비교는 아닙니다.
측정 도구는 https://github.com/modelsthatrun/runner 에 열어 두었습니다. 빠진 모델이나, 다음에 재 봤으면 하는 모델이 있으면 알려 주세요.