← 목록으로
지난 소식
약 2만 달러로 학습한 이미지 생성 모델 P-JiT, 코드와 가중치 공개
요약
- Linum은 약 2만 달러의 비용으로 학습한 이미지 생성 모델 P-JiT의 코드와 가중치를 공개했습니다.
- P-JiT는 별도의 VAE 없이 압축과 생성을 동시에 학습하여 연산 부담을 낮춘 모델로, 향후 저비용 영상 생성 모델 개발을 위한 개념 검증을 목적으로 합니다.
- Linum이 GPU 비용 21,038달러로 학습한 이미지 생성 모델 P-JiT를 실험적으로 공개함. 더 저렴한 영상 생성 모델을 만들기 위한 개념 검증임
- 코드와 가중치를 Apache 2.0으로 공개함. 이미지 생성부는 약 22억 파라미터이며, 별도로 사전학습된 40억 파라미터 텍스트 인코더를 사용함
- 이미지를 압축하는 별도 VAE 없이 압축과 생성을 함께 학습함. 기존 Linum v2보다 이미지 토큰 수를 4분의 1로 줄여 연산 부담을 낮춤
- 초기 실험에서는 기존 모델보다 11배 적은 샘플로 수렴했으며, 이번에는 누적 약 6억 6,000만 샘플까지 학습을 확대함
- 애니메이션 도구라는 목표에 맞춰 글자가 많은 이미지를 학습에서 제외해 문자나 포스터 생성은 지원하지 않음. 전신, 많은 객체와 여러 사람의 상호작용도 취약한 영역임
영상 모델의 비용을 낮추기 위한 P-JiT 검증
- Linum의 목표는 애니메이션 제작 접근성을 높이는 창작 도구이며, Linum v3 개발에서는 추론 비용을 크게 낮추는 것을 우선함
- 현재 생성형 영상 모델은 느리고 비싸며, 충분한 제어 수단도 부족함
- 제작과 수정을 반복하는 창작 과정에서 비용과 제어의 제약은 스토리텔링 활용을 어렵게 함
- 이번 21,000달러 규모 학습은 차기 영상 모델로 가는 과정의 개념 검증임. 모델 크기에 비해 결과가 좋아 실험적 공개를 결정함
- 생성형 영상 모델은 보통 이미지 모델에서 출발하며, 사람과 장소, 사물 등을 학습한 뒤 동작과 움직임을 학습함
- 초기 5,000만~1억 샘플 실험에서 성과를 보인 아키텍처가 약 6억 샘플 규모에서도 잘 작동하는지 검증하고자 함
VAE를 없애고 어텐션 문맥을 줄이는 이유
- 영상 학습과 추론의 병목은 O(n²) 어텐션이며, 더 강한 압축으로 문맥 길이를 줄이면 두 비용을 모두 낮출 수 있음
- 별도 VAE에 압축을 맡기는 방식이 반드시 최적은 아님
- VAE의 압축률에는 경험적 한계가 있으며, 더 높은 압축에는 Minimax H3의 2B 디코더 같은 큰 구조 변경이 필요함
- VAE의 재구성 성능이 좋아져도 후단 확산 모델의 생성 품질은 나빠질 수 있음
- P-JiT는 더 강력한 생성 모델 계열인 확산 모델이 압축과 생성을 동시에 학습하도록 함
- 다른 모델의 잠재 공간을 사용하는 대신 자체 용도에 맞는 잠재 공간을 학습하면 더 강한 압축과 빠른 학습이 가능하다는 가설에 기반함
- 기존 Linum v2는 Wan VAE와 DiT를 결합한 비교적 표준적인 구조로, FLUX-2 등과 같은 16×16 토큰 축소를 사용함
- P-JiT는 32×32 축소를 사용해, 기존 256² 이미지와 같은 토큰 수로 512² 이미지를 표현함
- 초기 실험에서 토큰 축소는 4배 강해졌고, 수렴에 필요한 샘플은 11분의 1로 줄어듦
- 구조 개발 과정은 JiT-DDT와 P-JiT에 정리돼 있음. 핵심 변경은 세부 묘사 학습을 돕는 노이즈 스케줄과 DiT 본체 중간의 출력 헤드임
모델 구조와 중간 감독 신호
- 추론 시 파라미터는 2.18B이며, 학습 전용 헤드 약 0.24B를 더하면 학습 시에는 약 2.42B임
- 텍스트와 이미지는 각각 단일 모달리티 정제용 DiT 블록 2개를 거친 뒤, 동일한 DiT 블록 22개로 구성된 하나의 흐름으로 합쳐짐
- 고정된 Qwen3.5-4B의 전체 어텐션 계층인 7, 15, 27번 층에서 표현을 추출하고, 이어 붙여 투영한 뒤 텍스트 정제 블록에 넣음
- 이미지는 32×32 패치로 나누며, RGB 기준 3,072차원을 1,024차원으로 압축한 뒤 이미지 정제 블록의 차원으로 투영함. 패치 표현의 압축비는 3:1임
- REPA, RAE-v2, Self-Flow는 모두 DiT 초기 블록의 약한 기울기를 문제로 다룸
- 픽셀 공간에서는 각 블록이 최종 이미지의 한 버전을 예측할 수 있으므로, 중간에 저해상도 이미지 예측을 추가해 초기 기울기를 강화하고 수렴을 가속함
- 5번 블록에는 2층 PixelREPA 출력 모듈을 두어 잠재 공간을 DINOv3-L에 정렬함
- 은닉 상태 토큰의 20%를 가린 뒤 2층 트랜스포머로 같은 이미지의 DINOv3-L 특징을 예측함
- 10번과 16번 블록 뒤의 선형 출력 헤드는 각각 4분의 1 해상도와 절반 해상도의 깨끗한 이미지를 예측함
- 총 손실은 중간 출력과 최종 출력의 MSE, PixelREPA 코사인 거리, 전체 해상도 이미지의 지각 손실인 LPIPS와 P-DINO를 합산함
- 각 DiT 블록에는 Z-Image를 따른 저랭크 AdaLN으로 타임스텝 조건을 주입함
- 타임스텝 임베딩을 256차원으로 축소하며, 이미지 정제부와 본체는 축소 투영을 공유하고 텍스트 정제부는 별도 투영을 사용함
- 블록별 확장 투영으로 스케일과 게이트를 만들며, 0으로 초기화해 각 블록이 항등 변환으로 시작하도록 함
- 은닉 차원은 2,944, 어텐션은 128차원 헤드 23개이며, FFN 내부 폭은 본체 5,376, 정제부 2,816임
노이즈 커리큘럼과 고해상도 전환
- 첫 8,000만 샘플에서는 높은 노이즈에 집중해 기본 구조를 익히고, 이후 노이즈 분포를 넓혀 세부 묘사를 학습함
- 타임스텝 분포는 LogitNormal(0.8, 0.8)에서 LogitNormal(-0.2, 1.0)으로 전환함
- 검증 손실은 각 단계 해상도의 고정 정사각형 이미지 20,480장으로 측정함. 8,000만 샘플 시점의 손실 급등은 분포를 넓힌 직후 첫 평가에 해당함
- EMA는 구조와 세부 표현을 어느 정도 익힌 1억 샘플부터 시작함
- 512² 단계의 반감기는 400만 샘플이며, 기울기 노름이 이동 중앙값의 10배를 넘으면 EMA 갱신을 250스텝 중단함
- 1024² 단계는 512² EMA 가중치에서 새 옵티마이저로 시작함
- 해상도 증가에 따른 정보 중복을 고려해 노이즈 스케일을 2에서 4로 높임. 근거는 JiT 부록 A를 따름
- 더 높은 노이즈와 정밀한 세부 재현 요구로 전체 손실은 높아지지만, 이미지 품질은 빠르게 개선됨
- RoPE 보간에서는 512² 기준 격자를 유지하고 1024² 패치 인덱스에 ½을 곱해 좌표를 맞춤
- 새 해상도에 적응한 뒤 평균을 내도록 200만 샘플부터 EMA를 시작하며, 반감기도 200만 샘플로 설정함
학습 규모, 설정과 비용
- 사전학습은 512² 약 6억 1,000만 샘플, 1024² 약 5,000만 샘플 순서로 진행함
- 각 단계에서 정사각형을 포함한 5개 종횡비를 20%씩 사용하고, 이미지 크기를 재조정하지 않음
- 전역 배치 크기는 2,048이며, H100 64개를 8개 노드에서 사용함
- bf16과 FSDP2를 사용하고, 512²에서는 GPU당 32장, 1024²에서는 8장씩 4회 기울기를 누적함
- 학습 목표로 x-prediction과 v-loss를 사용하며, 가중치는 t = 0.1에서 제한함
- 중간 출력 손실 가중치는 1, PixelREPA는 0.1임
- 최종 헤드의 LPIPS 0.1과 P-DINO 0.01은 t ≤ 0.7에서 적용함
- 2차원 블록 행렬에는 Muon, 나머지에는 AdamW를 사용하며, Muon 업데이트의 RMS를 AdamW에 맞춤
- 512² 학습률은 100만 샘플 동안 최대 2e-4로 올린 뒤 5억 5,000만 샘플까지 유지하고, 마지막 약 6,000만 샘플 동안 1 − √ 감쇠로 2.5e-5까지 내림
- 1024²에서는 50만 샘플 동안 2.5e-5로 다시 올린 뒤 유지함
- 가중치 감쇠는 0.1이며 편향에는 적용하지 않음. 전역 기울기 노름은 1.0으로 제한하고, 분류기 없는 가이던스를 위해 캡션을 5% 확률로 제거함
- GPU 비용은 H100 시간당 2.50달러 기준이며, 재시작 비용도 포함함
- 사전학습에 8,139 H100시간을 사용했으며, 비용은 20,348달러임
- 후속학습에 276 H100시간을 사용했으며, 비용은 690달러임
- 합계는 8,415 H100시간, 21,038달러임
- 추가 아키텍처와 손실 세부 사항은 P-JiT 부록에 있음
확산 모델 후속학습의 접근과 한계
- 후속학습에는 Finite Difference Flow Optimization(FDFO) 변형을 사용하며, JEV-Image와 사람이 평가에 참여함
- 확산 모델의 근본적 능력을 높이는 후속학습은 아직 초기 단계임
- 모델과 스케줄 증류는 많이 연구됐지만, 지난 18개월간 LLM 코딩 능력에서 나타난 수준의 후속학습 성과는 확산 모델에서 아직 충분히 실현되지 않음
- DPO는 특정 미적 선택에 크게 과적합하는 경향이 있음
- Flow-GRPO 는 검증 가능한 보상 기반 강화학습인 RLVR 방식의 틀을 확산 모델에 도입한 초기 작업 중 하나이며, 이후 Diffusion NFT와 FDFO 등이 이어짐
- Linum이 보기에 FDFO는 현재까지 확산 모델 후속학습을 가장 잘 정식화한 작업임
- Linum은 자기회귀 LLM과 달리 신뢰할 만한 우도 추정치가 부족한 점이 기법 적용을 어렵게 하는 원인이라고 봄
- 후속학습 전체 구성과 관련 문제는 향후 추가로 공개할 계획임
생성 가능 범위와 알려진 제약
- 텍스트가 렌더링된 이미지를 학습하지 않아 글자를 쓰거나 포스터를 생성할 수 없음
- 인포그래픽, PDF, 책 페이지, PowerPoint 슬라이드 등은 애니메이션 도구라는 목표에 유용하지 않다고 판단해 데이터에서 완전히 제외함
- 필터링 기준은 데이터 필터링 기록에 정리돼 있음
- 2B DiT와 4B 텍스트 인코더로 구성된 작은 모델로, 전신 표현, 자동차 6대나 군중처럼 많은 개체, 여러 사람의 상호작용, 세계 지식에 어려움이 있음
- 이런 이미지도 간혹 정확하게 생성할 수 있음
- Linum은 7B 같은 더 큰 모델과 추가 후속학습으로 문제가 완화될 가능성이 있다고 봄
- 모델 코드와 가중치를 Apache 2.0으로 공개함