← 목록으로

Sebastian Raschka의 추론 모델을 밑바닥부터 만드는 동영상 강좌

요약
  • Sebastian Raschka는 Python과 PyTorch를 활용해 추론 모델을 밑바닥부터 구축하는 11시간 이상의 동영상 강좌를 공개했습니다.
  • 이 강좌는 Qwen3 모델을 기반으로 자기 일관성, 자기 개선, 강화학습(RLVR, GRPO) 및 증류 등 핵심 기술을 직접 구현하는 과정을 상세히 다룹니다.
  • 사전 학습된 Qwen3 0.6B를 출발점으로, Python과 PyTorch에서 평가, 추론 시점 확장, 강화학습, 증류를 직접 구현하는 8개 영상, 11시간 이상의 강좌임
  • 모델 가중치를 고정한 채 답변을 개선하는 자기 일관성과 자기 개선부터, 검증 가능한 보상을 이용해 가중치를 갱신하는 강화학습까지 순차적으로 다룸
  • 수학 답안 검증기를 직접 만들어 MATH-500 평가에 사용하고, 같은 검증기를 검증 가능한 보상 기반 강화학습(RLVR) 의 보상 신호로 재사용함
  • 강화학습에서는 GRPO 학습 루프와 안정성 분석을 구현하며, 마지막에는 DeepSeek R1의 답변을 활용한 증류를 대안적인 학습 경로로 다룸
  • Python과 PyTorch에 익숙한 학습자를 대상으로 하며 이전 LLM 강좌는 필수가 아님. 초기 생성과 평가는 CPU로 진행할 수 있지만, 후반 실험과 학습에는 GPU가 훨씬 실용적임
LLM, 추론 모델, 에이전트의 관계
  • 추론 모델은 기존 LLM에 검증 가능한 보상 기반 강화학습 등의 추가 사후 학습을 적용해 더 어려운 문제를 풀도록 개선한 모델이며, 선택적으로 추론 시점 확장 기법을 적용함
    • 전통적으로 수학과 코드 문제를 중심으로 개발됐지만, 능력이 다른 문제 영역으로 일반화될 수도 있음
    • 현재 세대 LLM 대부분은 추론 모델이거나 추론 모드를 제공하며, 추론에 들이는 노력을 조절하는 설정도 갖춤
  • 에이전트 하네스(harness) 는 LLM이나 추론 모델을 둘러싼 소프트웨어 및 도구 프레임워크로, 정교한 문맥 관리와 도구 접근을 담당함
    • 모델이 엔진이라면 하네스는 그 엔진으로 더 큰 코딩 작업, 여행 예약, 개인 비서 업무 등을 수행하게 하는 장치에 해당함
    • 일반 LLM도 사용할 수 있지만, 더 높은 능력을 갖춘 추론 모델이 일반적인 선택임
  • 관련 학습 자료로 다음 도서, 강좌, 문서를 활용할 수 있음
    • Build a Large Language Model (From Scratch) 도서와 동영상 강좌는 LLM 구현을 다룸
    • Build a Reasoning Model (From Scratch)는 이번 동영상 강좌의 동반 도서임
    • Components of a Coding Agent는 코딩 에이전트의 구성 요소를 다룸
학습 범위와 준비 사항
  • 사전 학습된 소형 Qwen3에서 시작해 기반 모델 학습 대신 평가, 추론 시점 확장, 강화학습, 증류 구현에 집중함
  • Python과 PyTorch에 익숙할 것을 권장하며, 이전 LLM 강좌 없이도 학습할 수 있도록 독립적으로 구성함
    • 초기 텍스트 생성과 평가 예제는 CPU에서 실행 가능함
    • 후반 실험, 특히 학습은 GPU를 사용할 때 훨씬 실용적이며, 저장소에 하드웨어 및 환경 권장 사항이 있음
  • 동반 도서는 영상보다 자세한 설명, 그림, 연습문제를 제공하며, 장을 읽고 해당 영상과 함께 코드를 구현한 뒤 연습문제를 푸는 순서를 권장함
    • Manning과 Amazon에서 구할 수 있으며 인쇄본은 컬러임
  • 구현보다 개념을 먼저 살펴보고 싶다면 약 90분 분량의 LinkedIn Learning AI Reasoning Models 강좌를 선택할 수 있음
    • 추론 시점 확장, 강화학습, 증류의 주요 개념을 다룸
    • 제공된 링크로 접근하면 LinkedIn Premium 없이 24시간 무료로 이용할 수 있을 것으로 보임
1강: 학습 동기와 코드 환경 설정
  • 일반 LLM, 추론 모델, 에이전트의 관계와 직접 구현하며 학습하는 방식의 장점, 강좌 범위를 다룸
  • uv를 이용한 Python 및 PyTorch 의존성 설치, 하드웨어 선택, CUDA와 Apple Silicon 지원 확인을 진행함
    • VS Code로 원격 GPU를 사용하는 방법과 흔한 환경 설정 문제 해결도 포함함
  • 1강 영상, 환경 설정 안내
2강: 기반 모델 로딩, 텍스트 생성, KV 캐싱
  • Qwen3 0.6B의 사전 학습 가중치를 내려받아 선택한 장치에 로딩하고, 이후 평가와 개선에 사용할 기반 구성 요소를 구현함
    • 텍스트의 토큰 인코딩과 디코딩, 텐서 형태, 로짓, 다음 토큰 예측을 살펴봄
  • 탐욕적 디코딩과 스트리밍 텍스트 생성을 구현하고, 시퀀스 종료 토큰 처리와 생성 속도 측정을 진행함
  • KV 캐시로 어텐션의 키와 값을 재사용하고, torch.compile과 결합해 생성 효율을 높이며 하드웨어별 성능을 비교함
  • 2강 영상, 2장 코드
3강: 평가와 강화학습을 위한 검증기
  • 수학 답안 검증기를 최종 답 추출, 답 정규화, 수학적 동치 확인 순서로 구현함
  • 답안 채점기와 MATH-500 평가 루프를 구축해 기반 모델과 추론 모델을 비교함
    • 검증기가 LLM 평가에서 맡는 역할을 살펴보며, 다른 평가 방법은 도서 부록에서 다룸
  • 같은 검증 결과를 후반부 RLVR의 보상 신호로 재사용함
  • 3강 영상, 3장 코드
4강: 샘플링과 자기 일관성을 이용한 추론 시점 확장
  • 학습 중 추가 연산과 추론 중 추가 연산이 성능에 주는 효과를 비교하고, 사고 사슬 프롬프트로 추론 시점 확장의 개념을 살펴봄
  • 모델 가중치를 고정한 상태에서 같은 프롬프트로 다양한 답변을 얻도록 온도 조절, 다항 샘플링, top-p 필터링을 구현함
  • 여러 응답의 최종 답에 다수결을 적용하는 자기 일관성(self-consistency) 을 구현함
  • MATH-500 정확도를 평가하면서 후보 답변을 더 많이 생성하는 데 드는 추가 추론 연산과 정확도 사이의 절충을 확인함
  • 4강 영상, 4장 코드
5강: 점수화와 자기 개선을 이용한 추론 시점 확장
  • 같은 프롬프트에서 생성된 답변을 비교하고 자기 일관성의 동률을 해소하기 위한 점수 함수를 구현함
    • 간단한 휴리스틱 점수 함수, 토큰 확률, 시퀀스 우도를 다룸
    • 로그 확률로 수치적 안정성을 높이며, 이 계산은 이후 강화학습에도 활용함
  • 모델이 자신의 답변을 비평하고 수정을 시도하는 자기 개선(self-refinement) 루프를 구현함
  • MATH-500에서 평가해 추가 비평과 수정 단계가 해당 모델에 얼마나 유용한지 확인함
  • 5강 영상, 5장 코드
6강: RLVR을 위한 GRPO 구현
  • 추론 과정을 생성하고 답변 길이와 문제 해결 능력의 관계를 살펴보며, 인간 피드백 기반 강화학습인 RLHF와 검증 가능한 보상 기반 강화학습인 RLVR을 비교함
  • 단순화한 GRPO(Group Relative Policy Optimization) 를 구현함
    • 응답을 그룹 단위로 생성하고 검증기로 채점함
    • 검증 점수를 보상과 상대적 이점으로 변환하고, 시퀀스 로그 확률과 단순화한 GRPO 손실을 계산해 모델 가중치를 갱신함
  • 로깅과 체크포인트 저장을 포함한 학습 루프를 구성하고, 체크포인트 평가로 학습 안정성과 메모리 요구량을 확인함
  • 6강 영상, 6장 코드
7강: 학습 추적, 정책 비율 클리핑, KL 항
  • 더 긴 학습 실험을 수행하고 이점과 엔트로피 통계를 추적해 학습 동작과 로그를 분석함
  • 정책 비율 클리핑과 KL 손실 항을 추가하고, 로그 및 평가 결과로 효과와 유용성을 확인함
    • 보상 해킹을 다루고, 단순화한 KL 계산식의 한계도 살펴봄
  • 답변 형식에 대한 형식 보상을 구현하고, 정답 여부에 따라 이를 조건부로 적용함
  • MATH-500에서 체크포인트를 비교하고 추가 GRPO 연구를 탐색함
  • 7강 영상, 7장 코드
8강: 추론 모델 증류
  • 더 크고 강력한 교사 모델의 답변을 학습하는 증류를 강화학습의 대안으로 구현함
    • 소프트 증류와 하드 증류, 온폴리시와 오프폴리시 증류의 접근법과 조합을 비교함
  • DeepSeek R1을 사용해 MATH 데이터셋의 교사 답변을 생성하고 수집함
    • 토큰화와 학습/검증/테스트 분할을 포함해 증류용 데이터를 준비함
  • 답변 토큰의 로그 확률과 교차 엔트로피 손실을 계산하고, 지도 학습 루프에서 학습 및 검증 손실을 추적함
  • MATH-500으로 체크포인트를 평가하고 증류 결과를 비교하며 강좌를 마무리함
  • 8강 영상, 8장 코드
직접 실험하며 학습하기
  • 영상을 중간에 멈추고 작은 실험을 직접 해보는 방식을 권장함
    • 샘플링 설정을 바꾸거나, 실패한 답변을 살펴보거나, 연습문제처럼 구현 아이디어의 변형을 시도할 수 있음
그냥 목록으로
원문 보기 ↗