- 여러 팀이 공유하는 GPU 인프라에서 AI 개발, 학습, 추론 작업을 배치하고 자원을 배분하는 NVIDIA의 오픈소스 플랫폼
- GPU 하나를 여러 작업에 나눠 할당하고, 남는 자원을 동적으로 활용해 유휴 GPU를 줄이는 방식
- 작업 우선순위와 공정한 배분, 자원 회수, GPU 간 연결 구조를 고려한 배치 지원
- 부서와 프로젝트별 GPU 할당량과 사용 정책을 설정해 특정 팀의 자원 독점 방지
- 여러 Kubernetes 클러스터의 작업과 자원을 한곳에서 관리하며, 온프레미스와 클라우드, 혼합 환경에 배포 가능
- 개발용 작업 공간부터 단일/분산 학습, 추론 서비스까지 관리하고 Kubeflow, Ray, KServe 등과 연동
- 웹 UI와 CLI, REST API를 제공하며, MCP 서버로 AI 어시스턴트에서도 작업 가능
- GPU와 노드, 작업별 자원 사용량을 모니터링하고 역할별 접근 권한 관리
- Kubernetes/OpenShift에 자체 설치하며 폐쇄망 배포 지원. 오픈소스 배포판은 NGC 인증 없이 설치 가능
- Apache 2.0 라이선스
← 목록으로
새 소식
NVIDIA Run:ai - 여러 팀이 GPU를 나눠 쓰도록 관리하는 Kubernetes 기반 플랫폼
요약
- NVIDIA는 여러 팀이 공유하는 GPU 인프라에서 AI 개발 및 학습 작업을 효율적으로 관리할 수 있는 Kubernetes 기반 오픈소스 플랫폼 'Run:ai'를 제공합니다.
- 이 플랫폼은 GPU 자원을 동적으로 배분하여 유휴 자원을 최소화하고, 온프레미스와 클라우드 등 다양한 환경에서 통합 관리를 지원합니다.
키워드
NVIDIA Run:aiGPUKubernetes자원 배분