- 사전 학습된 Qwen3 0.6B를 출발점으로, Python과 PyTorch에서 평가, 추론 시점 확장, 강화학습, 증류를 직접 구현하는 8개 영상, 11시간 이상의 강좌임
- 모델 가중치를 고정한 채 답변을 개선하는 자기 일관성과 자기 개선부터, 검증 가능한 보상을 이용해 가중치를 갱신하는 강화학습까지 순차적으로 다룸
- 수학 답안 검증기를 직접 만들어 MATH-500 평가에 사용하고, 같은 검증기를 검증 가능한 보상 기반 강화학습(RLVR) 의 보상 신호로 재사용함
- 강화학습에서는 GRPO 학습 루프와 안정성 분석을 구현하며, 마지막에는 DeepSeek R1의 답변을 활용한 증류를 대안적인 학습 경로로 다룸
- Python과 PyTorch에 익숙한 학습자를 대상으로 하며 이전 LLM 강좌는 필수가 아님. 초기 생성과 평가는 CPU로 진행할 수 있지만, 후반 실험과 학습에는 GPU가 훨씬 실용적임
- 추론 모델은 기존 LLM에 검증 가능한 보상 기반 강화학습 등의 추가 사후 학습을 적용해 더 어려운 문제를 풀도록 개선한 모델이며, 선택적으로 추론 시점 확장 기법을 적용함
- 전통적으로 수학과 코드 문제를 중심으로 개발됐지만, 능력이 다른 문제 영역으로 일반화될 수도 있음
- 현재 세대 LLM 대부분은 추론 모델이거나 추론 모드를 제공하며, 추론에 들이는 노력을 조절하는 설정도 갖춤
- 에이전트 하네스(harness) 는 LLM이나 추론 모델을 둘러싼 소프트웨어 및 도구 프레임워크로, 정교한 문맥 관리와 도구 접근을 담당함
- 모델이 엔진이라면 하네스는 그 엔진으로 더 큰 코딩 작업, 여행 예약, 개인 비서 업무 등을 수행하게 하는 장치에 해당함
- 일반 LLM도 사용할 수 있지만, 더 높은 능력을 갖춘 추론 모델이 일반적인 선택임
- 관련 학습 자료로 다음 도서, 강좌, 문서를 활용할 수 있음
- Build a Large Language Model (From Scratch) 도서와 동영상 강좌는 LLM 구현을 다룸
- Build a Reasoning Model (From Scratch)는 이번 동영상 강좌의 동반 도서임
- Components of a Coding Agent는 코딩 에이전트의 구성 요소를 다룸
- 사전 학습된 소형 Qwen3에서 시작해 기반 모델 학습 대신 평가, 추론 시점 확장, 강화학습, 증류 구현에 집중함
- Python과 PyTorch에 익숙할 것을 권장하며, 이전 LLM 강좌 없이도 학습할 수 있도록 독립적으로 구성함
- 초기 텍스트 생성과 평가 예제는 CPU에서 실행 가능함
- 후반 실험, 특히 학습은 GPU를 사용할 때 훨씬 실용적이며, 저장소에 하드웨어 및 환경 권장 사항이 있음
- 동반 도서는 영상보다 자세한 설명, 그림, 연습문제를 제공하며, 장을 읽고 해당 영상과 함께 코드를 구현한 뒤 연습문제를 푸는 순서를 권장함
- Manning과 Amazon에서 구할 수 있으며 인쇄본은 컬러임
- 구현보다 개념을 먼저 살펴보고 싶다면 약 90분 분량의 LinkedIn Learning AI Reasoning Models 강좌를 선택할 수 있음
- 추론 시점 확장, 강화학습, 증류의 주요 개념을 다룸
- 제공된 링크로 접근하면 LinkedIn Premium 없이 24시간 무료로 이용할 수 있을 것으로 보임
- 일반 LLM, 추론 모델, 에이전트의 관계와 직접 구현하며 학습하는 방식의 장점, 강좌 범위를 다룸
- uv를 이용한 Python 및 PyTorch 의존성 설치, 하드웨어 선택, CUDA와 Apple Silicon 지원 확인을 진행함
- VS Code로 원격 GPU를 사용하는 방법과 흔한 환경 설정 문제 해결도 포함함
- 1강 영상, 환경 설정 안내
- Qwen3 0.6B의 사전 학습 가중치를 내려받아 선택한 장치에 로딩하고, 이후 평가와 개선에 사용할 기반 구성 요소를 구현함
- 텍스트의 토큰 인코딩과 디코딩, 텐서 형태, 로짓, 다음 토큰 예측을 살펴봄
- 탐욕적 디코딩과 스트리밍 텍스트 생성을 구현하고, 시퀀스 종료 토큰 처리와 생성 속도 측정을 진행함
- KV 캐시로 어텐션의 키와 값을 재사용하고, torch.compile과 결합해 생성 효율을 높이며 하드웨어별 성능을 비교함
- 2강 영상, 2장 코드
- 수학 답안 검증기를 최종 답 추출, 답 정규화, 수학적 동치 확인 순서로 구현함
- 답안 채점기와 MATH-500 평가 루프를 구축해 기반 모델과 추론 모델을 비교함
- 검증기가 LLM 평가에서 맡는 역할을 살펴보며, 다른 평가 방법은 도서 부록에서 다룸
- 같은 검증 결과를 후반부 RLVR의 보상 신호로 재사용함
- 3강 영상, 3장 코드
- 학습 중 추가 연산과 추론 중 추가 연산이 성능에 주는 효과를 비교하고, 사고 사슬 프롬프트로 추론 시점 확장의 개념을 살펴봄
- 모델 가중치를 고정한 상태에서 같은 프롬프트로 다양한 답변을 얻도록 온도 조절, 다항 샘플링, top-p 필터링을 구현함
- 여러 응답의 최종 답에 다수결을 적용하는 자기 일관성(self-consistency) 을 구현함
- MATH-500 정확도를 평가하면서 후보 답변을 더 많이 생성하는 데 드는 추가 추론 연산과 정확도 사이의 절충을 확인함
- 4강 영상, 4장 코드
- 같은 프롬프트에서 생성된 답변을 비교하고 자기 일관성의 동률을 해소하기 위한 점수 함수를 구현함
- 간단한 휴리스틱 점수 함수, 토큰 확률, 시퀀스 우도를 다룸
- 로그 확률로 수치적 안정성을 높이며, 이 계산은 이후 강화학습에도 활용함
- 모델이 자신의 답변을 비평하고 수정을 시도하는 자기 개선(self-refinement) 루프를 구현함
- MATH-500에서 평가해 추가 비평과 수정 단계가 해당 모델에 얼마나 유용한지 확인함
- 5강 영상, 5장 코드
- 추론 과정을 생성하고 답변 길이와 문제 해결 능력의 관계를 살펴보며, 인간 피드백 기반 강화학습인 RLHF와 검증 가능한 보상 기반 강화학습인 RLVR을 비교함
- 단순화한 GRPO(Group Relative Policy Optimization) 를 구현함
- 응답을 그룹 단위로 생성하고 검증기로 채점함
- 검증 점수를 보상과 상대적 이점으로 변환하고, 시퀀스 로그 확률과 단순화한 GRPO 손실을 계산해 모델 가중치를 갱신함
- 로깅과 체크포인트 저장을 포함한 학습 루프를 구성하고, 체크포인트 평가로 학습 안정성과 메모리 요구량을 확인함
- 6강 영상, 6장 코드
- 더 긴 학습 실험을 수행하고 이점과 엔트로피 통계를 추적해 학습 동작과 로그를 분석함
- 정책 비율 클리핑과 KL 손실 항을 추가하고, 로그 및 평가 결과로 효과와 유용성을 확인함
- 보상 해킹을 다루고, 단순화한 KL 계산식의 한계도 살펴봄
- 답변 형식에 대한 형식 보상을 구현하고, 정답 여부에 따라 이를 조건부로 적용함
- MATH-500에서 체크포인트를 비교하고 추가 GRPO 연구를 탐색함
- 7강 영상, 7장 코드
- 더 크고 강력한 교사 모델의 답변을 학습하는 증류를 강화학습의 대안으로 구현함
- 소프트 증류와 하드 증류, 온폴리시와 오프폴리시 증류의 접근법과 조합을 비교함
- DeepSeek R1을 사용해 MATH 데이터셋의 교사 답변을 생성하고 수집함
- 토큰화와 학습/검증/테스트 분할을 포함해 증류용 데이터를 준비함
- 답변 토큰의 로그 확률과 교차 엔트로피 손실을 계산하고, 지도 학습 루프에서 학습 및 검증 손실을 추적함
- MATH-500으로 체크포인트를 평가하고 증류 결과를 비교하며 강좌를 마무리함
- 8강 영상, 8장 코드
- 영상을 중간에 멈추고 작은 실험을 직접 해보는 방식을 권장함
- 샘플링 설정을 바꾸거나, 실패한 답변을 살펴보거나, 연습문제처럼 구현 아이디어의 변형을 시도할 수 있음