← 목록으로

Google, PyTorch 모델을 TPU에서 실행하는 TorchTPU 오픈소스 공개

요약
  • 구글이 메타의 파이토치 팀과 협력하여 기존 코드 변경을 최소화하고 구글 클라우드 TPU에서 파이토치 모델의 학습과 추론을 실행할 수 있는 오픈소스 백엔드 'TorchTPU'를 공개했다.
  • 이 백엔드는 즉시 실행 모드와 torch.compile()을 통한 최적화, 분산 학습 등을 지원하며 현재 0.2.0 버전이 Apache 2.0 라이선스로 배포되었다.
  • Google이 Meta의 PyTorch 팀과 협력해 개발한 TPU용 PyTorch 백엔드 TorchTPU를 공개. 기존 PyTorch 모델의 코드 변경을 최소화하면서 Google Cloud TPU에서 학습과 추론을 실행
  • GPU에서 쓰던 PyTorch의 실행 방식을 유지하며, 연산을 하나씩 실행하는 즉시 실행 모드 지원. 기본적인 이전은 장치를 cuda에서 tpu로 바꾸는 것부터 시작
  • torch.compile()로 연산을 묶어 최적화하고, 컴파일 결과를 캐시해 반복 작업의 비용을 줄임. 여러 연산을 지연시켰다가 합쳐 실행하는 모드도 제공
  • 데이터 병렬화와 텐서 병렬화, 모델을 여러 장치에 나누는 분산 학습 지원. 단일 TPU 칩에서 여러 TPU Pod 슬라이스까지 확장하며 Llama, Qwen, ResNet 등의 예제 제공
  • Python 3.11 이상, Apache 2.0 라이선스로 공개되며 현재 릴리스는 0.2.0. TPU 실행 환경이 필요하고, 일부 동적 형태 처리와 기능에는 제약이 남아 있음
기존 PyTorch 모델을 TPU에서 실행
  • TorchTPU는 Google Cloud TPU에서 PyTorch 모델과 연산을 실행하는 네이티브 백엔드
    • Google과 Meta의 PyTorch 팀이 협력해 개발
    • 기존 모델의 코드 변경을 최소화하면서 학습과 추론을 TPU로 이전하는 것이 목표
  • 공식 소개 가이드는 PyTorch의 기존 동작을 유지하는 것을 핵심 설계 원칙으로 제시
    • 텐서의 뷰와 제자리 수정 동작을 유지
    • 장치당 프로세스 하나를 사용하는 PyTorch 실행 모델을 따름
    • 기본 실행 경로에 JAX 런타임 의존성이 없음
  • GPU 작업을 이전하는 출발점은 device="cuda"를 device="tpu" 로, 분산 통신 백엔드 nccl을 tpu_dist 로 변경하는 것
    • 모든 모델이 이 변경만으로 최적 성능을 내는 것은 아니며, 지원 연산과 실행 특성에 맞춘 조정이 필요할 수 있음
즉시 실행과 컴파일 최적화
  • PyTorch의 기본 연산 계층인 ATen의 TPU용 커널을 구현
  • 기본 즉시 실행 모드는 GPU에서처럼 연산을 하나씩 TPU에 비동기로 전달
    • 디버그 모드에서는 CPU와 동기화하며 실행하고, 런타임 범위 검사를 수행
    • DeferAndFuse 모드는 여러 연산을 모았다가 결합해 실행함으로써 메모리 접근과 실행 부담을 줄임
  • torch.compile() 과 통합해 연산 그래프를 StableHLO로 변환하고 OpenXLA로 컴파일
  • 컴파일 캐시는 같은 연산을 반복해서 컴파일하는 비용을 줄임
    • 프로세스 내부 메모리 캐시
    • 같은 호스트의 여러 프로세스가 재사용하는 공유 메모리 캐시
    • 호스트 간이나 작업 재시작 이후에도 재사용할 수 있는 영구 원격 캐시
분산 학습과 모델 예제
  • 데이터 병렬화와 텐서 병렬화를 지원하며, 단일 칩에서 여러 TPU Pod 슬라이스까지 작업 확장 가능
  • torch.distributed와 통합해 DDP, FSDP2, SimpleFSDP, DTensor 등의 분산 학습 구성 지원
    • TPU의 물리적 연결 구조에 맞춰 장치 배치를 구성하는 기능도 제공
  • 저장소에 Llama, Qwen, ResNet, DLRM, minGPT, UNet의 학습 및 추론 예제 포함
  • 디버깅과 벤치마킹 유틸리티를 제공하며, 공식 문서에는 FLUX 최적화와 FSDP 활용 등 사례도 수록
  • Pallas와 실험적 Helion DSL 등을 이용한 사용자 정의 TPU 커널 작성 지원
사용자 문서와 실행 환경
  • 사용자 가이드 는 대화형 노트북을 정적 문서로 제공하며, 원본은 저장소의 docs 폴더에 있음
    • 노트북은 Jupyter와 유사한 Marimo 기반으로 브라우저에서 실행
    • README는 TPU VM에서 실행하도록 안내하며, v6e GCE 인스턴스를 간편한 시작 환경으로 제시
    • 소개 문서의 간단한 예제는 TPU 런타임을 활성화한 Colab에서도 실행 가능
  • Python 3.11 이상을 지원하며, 버전 정책은 PyTorch 릴리스 호환성 표를 따름
    • 자세한 내용은 Python 지원 정책 참고
  • 현재 공개 릴리스는 0.2.0 이며, pip 설치와 소스 빌드 지원
    • 설치할 때는 PyTorch CPU 빌드용 추가 인덱스를 지정하거나 CPU 빌드를 별도로 설치
    • 추가 인덱스를 지정하지 않으면 기본 CUDA 빌드가 설치됨
  • 사용할 수 있는 인터페이스는 공개 API 문서 에서 확인 가능
현재 제약과 최적화 시 고려사항
  • 공식 가이드는 동적 형태 처리와 일부 분산 실행에 제약이 있음을 명시
    • torch.compile은 기본적으로 dynamic=False를 사용하며, dynamic=True나 None은 아직 운영용으로 지원하지 않음
    • 배치 크기와 시퀀스 길이의 상한을 지정하는 방식으로 재컴파일을 줄일 수 있음
  • GPU와 다른 TPU의 메모리 특성 때문에 일부 뷰 연산의 비용이 클 수 있음
    • CNN은 기본 채널 우선 배치보다 채널 마지막 배치가 유리할 수 있음
    • 즉시 실행과 그래프 컴파일의 초기 준비 비용에는 영구 컴파일 캐시 활용을 권장
  • 기능별 지원 범위와 예정 작업은 지원 기능과 로드맵 에서 확인 가능
소스 빌드와 라이선스
  • 빌드와 의존성 관리에는 Bazel을 사용하며, 기본 빌드는 최적화 모드
    • 비최적화 빌드는 성능을 떨어뜨릴 수 있어 일반적인 배포용 wheel 빌드에는 사용하지 않음
  • wheel 빌드에는 --config=wheel_common 설정이 필요
    • 공유 XLA/MLIR 백엔드가 중복 포함되는 것을 방지
    • 원격 빌드 인증 정보가 없으면 뒤에 --config=no_rbe를 지정
  • Apache 2.0 라이선스 로 배포
그냥 목록으로
원문 보기 ↗