← 목록으로

Mac GPU(MPS) 한 줄로 3.5배, Local LLM 파이프라인을 8분에서 4분으로

요약
  • 로컬 LLM 기반 자동 영상 편집 파이프라인의 처리 시간을 8분에서 4분으로 단축하는 최적화 사례를 소개합니다.
  • 멀티스레딩보다는 Mac GPU(MPS) 활용과 직렬 구조 개선 등 자원 효율성을 극대화하여 성능을 높였으며, 결과의 동일성 검증을 통해 최적화의 정확성을 확보했습니다.

로컬 LLM 기반 자동 영상 편집 파이프라인을 8분에서 4분으로 줄인 기록. 가장 큰 배수는 멀티스레딩이 아니라 놀고 있던 GPU를 깨운 한 줄 수정에서 나옴

스레드보다 자원 지도를 먼저
  • 파이프라인이 쓰는 자원은 다섯. Ollama(Gemma, GPU), MLX TTS(GPU), MPS YOLO(GPU), ffmpeg(CPU 서브프로세스), OpenCV/Torch(CPU)
  • Ollama 서버는 요청을 직렬 처리하는 공유 자원이라, 클라이언트 스레드를 늘려도 서버 앞에 줄만 섬
  • 따라서 이득은 전부 Ollama 작업과 비-Ollama 작업을 겹치는 데서 나옴. LLM을 빠르게 만든 게 아니라 LLM이 일하는 동안 다른 자원이 놀지 않게 만든 것
최대 병목은 병렬화가 아니었음
  • 전처리/검출 파이프라이닝을 넣었는데 체감이 없어 구간별 비중을 실측 → 검출 모델이 내내 CPU로 돌고 있었음
  • Mac에서 해당 라이브러리의 디바이스 자동 선택은 GPU가 아닌 CPU였고, MPS를 명시하자 157.9초 → 45.4초(3.5배)
  • 모션 곡선도 프레임마다 랜덤 시크로 읽고 있었고(매번 키프레임부터 재디코드), 순차 읽기로 바꾸자 4.6→0.8초 / 11.9→1.7초로 약 6배
  • 둘 다 병렬화가 아닌 직렬 최적화. 교훈은 "구조를 바꾸기 전에 자원이 제대로 쓰이고 있는지부터 확인하라"
겹치기의 산수
  • 전처리(ffmpeg, CPU) || 검출(YOLO, GPU): 준비 구간 50.7초 → 17.1초(3배)
  • 관찰 프로필: 캡션(Ollama, 직렬)과 센서 4축(CPU)을 영상 간 팬아웃 → 총시간이 (캡션합 + 센서합)에서 max(캡션합, 센서합)으로 바뀌며 센서 비용을 통째 은닉
  • 스레드 도입에 따른 숙제: 모델 지연 로딩 3곳에 이중 확인 락, 병렬 워커는 영상별 산출물 파일만 쓰기, 임시파일명에 인덱스 포함
  • 기존 테스트 102개 그대로 통과, CLI 인터페이스 변경 없음. 병렬화는 전부 내부 구조
단순 측정 자체가 함정
  • 같은 입력으로 동작 판정 구간을 세 번 돌리니 28.1 / 22.9 / 14.3초. 같은 코드가 2배 차이
  • Ollama 응답 시간의 분산이 구간 전체를 지배해 1회성 A/B 비교가 무의미. 실제로 두 번 속았음(첫 실행에 모델 로드와 웜업이 섞여 신코드가 더 느려 보였고, 웜 상태 재측정에서 −20%)
  • 그래서 판정을 갈랐음. 결정론 구간(모션 곱선, 검출)은 조건 맞춘 단발 A/B로 숫자를 재고, LLM이 섞인 구간은 출력 동일성과 구조적 은닉(직렬 합이 max로 바뀌었다는 산수)으로만 판단
합격 기준은 속도가 아니라 결과 동일성
  • 디바이스를 CPU에서 GPU로 바꿔 골든셋 5영상을 재검출·재채점. 박스 수, 트랙 수, miss/IDF1 등 모든 지표가 소수 4자리까지 동일했고 게이트 판정도 그대로였음
  • 빨라졌는데 결과가 달라졌으면 최적화가 아니라 버그
한계
  • 골든셋은 영상 5개, 도메인 하나, 1인 작업. 규모의 검증은 아님
  • Ollama 서버 자체의 동시성, TTS와 렌더의 파이프라이닝은 미착수

환각을 통제하는 로컬 AI 파이프라인 7편 시리즈의 마지막 편이고, 직접 작성한 글입니다. 시리즈 전체 정리는 본문 링크에 걸어두었습니다.

그냥 목록으로
원문 보기 ↗