nvidia-smi는 오래 띄워 두고 보기 힘들고, 다른 모니터링 툴들은 필요 없는 정보까지 너무 많이 보여줍니다.
한눈에 들어오지도 않고 보기도 좋지 않았습니다.
누가, 어떤 프로세스로 몇 번 GPU를 쓰고 있는지 하나하나 찾아서 kill하는 것도 꽤 귀찮았고요.
그래서 꼭 필요한 것들만 잘 보이게 만들었습니다.
- GPU마다 사용률 그래프, 메모리, CPU↔GPU 전송 속도, 점유한 프로세스들(계정·환경 구분).
- H100 이상에선 util 외에 실제 계산·텐서 코어가 얼마나 바쁜지까지.
- 그래프에 마우스를 올리면 그때의 사용률과 메모리가, 작업을 누르면 그 작업의 GPU가 강조되어 보입니다.
- 보고 싶은 GPU만 골라서 띄워놓고, 한 GPU 위의 내 작업들을 한 번에 내릴 수 있습니다.
- 문제가 있을 때 경고 문구: 전력·온도로 클럭 느려짐, PCIe 링크 저하 등
마우스나 키보드로 다루고, 설정은 필요 없습니다.
watch nvidia-smi보다 약 15배 가볍습니다.
예쁘게도 만들었습니다(호쿠사이, 반 고흐 등에서 가져온 테마 14개).
설치는 uv tool install nvmon 한 줄, 인터넷 없는 서버엔 nvmon.py 파일 하나만 복사하면 됩니다.
작동 모습은 GitHub에서 볼 수 있습니다.
제가 연구실 공용 GPU 서버에서 쓰려고 만들었는데요.. 동료들도 생각보다 맘에 들어해서 공유해봅니다..!
다른 분들께도 유용했으면 좋겠네요.
써 보시고 불편한 점이나 더 필요한 게 있으시다면 알려 주세요!!! 최대한 반영해 보겠습니다.