← 목록으로

Show GN: AMD 기반 LLM 추론 서비스 Mango Inference 공개

요약
  • MangoBoost가 AMD GPU 기반의 서버리스 AI 추론 플랫폼 'Mango Inference'를 공개했다.
  • 자체 개발한 LLMBoost 엔진을 통해 토큰 생성 속도와 GPU 활용률을 최적화한 것이 특징이며, API 방식으로 기존 LLM 애플리케이션에 적용할 수 있다.

LLM API를 활용해 서비스를 만들다 보면 모델 성능만큼이나 응답 속도와 처리량, 그리고 추론 비용도 신경 쓰이게 됩니다. 특히 트래픽이 늘어나면 GPU를 얼마나 효율적으로 활용하느냐에 따라 운영 비용과 사용자 경험이 크게 달라지기도 하고요.
이런 관점에서 최근 공개된 Mango Inference가 눈에 들어왔습니다.

MangoBoost에서 출시한 Mango Inference는 AMD GPU 기반의 서버리스 AI 추론 플랫폼입니다. GPU 인프라만 제공하는 것이 아니라, 자체 개발한 LLMBoost™ 추론 엔진을 통해 모델 서빙 과정까지 최적화한다고 합니다.

주요 기능은 다음과 같습니다.

  • Speculative Decoding: 토큰 생성 속도 개선
  • Continuous Batching: 여러 요청을 묶어 처리해 GPU 활용률 최적화
  • GPU Parallelism: 병렬 처리 효율과 처리량 향상
  • Shared KV Cache Pool: 캐시 재활용을 통한 응답 지연 감소
  • Kernel Optimization: 최신 오픈 웨이트 모델에 맞춘 커널 최적화

공개된 자체 벤치마크 결과도 참고할 만합니다.

  • GLM 5.3: SGLang 대비 처리량 최대 2.4배, 지연시간 최대 7.9배 개선
  • DeepSeek-v4-Pro: SGLang 대비 처리량 1.5배, 지연시간 1.4배 개선
  • MiniMax-M3: vLLM 대비 처리량 2배, 지연시간 3.1배 개선

다만 벤치마크 결과는 모델과 동시 요청 수, 입력·출력 토큰 길이, 실행 환경에 따라 달라질 수 있으니 실제 사용 환경에서 직접 비교해 보는 것이 가장 정확할 것 같습니다.
API 방식으로 사용할 수 있어서 기존 LLM 애플리케이션에 붙여 테스트하기도 어렵지 않아 보입니다.

현재 런칭 프로모션도 진행 중입니다.
신규 가입 시 $10 무료 크레딧 제공
모든 모델 30% 할인

추론 성능이나 API 비용을 줄일 방법을 찾고 계신 분들이라면 가볍게 테스트해 볼 만할 것 같습니다. 저도 실제 트래픽 환경에서 vLLM이나 SGLang과 비교했을 때 어느 정도 차이가 나는지 궁금하네요.

AMD 기반 추론 환경을 사용해 보신 분이나 vLLM, SGLang과 직접 비교해 보신 분이 있다면 경험을 공유해 주시면 좋겠습니다.

그냥 목록으로
원문 보기 ↗