Introduction: Why Post-training for LLMs Matters

현대의 대형 언어 모델(LLMs)은 단순한 텍스트 생성 능력을 넘어, 복잡한 다단계 추론(multi-step reasoning), 자동화된 콘텐츠 생성, 멀티모달 상호작용에 이르기까지 다양한 영역에서 탁월한 성능을 보이고 있습니다. 그러나, 사실 왜곡(hallucination), 비논리적인 응답, 사용자 가치 부정합(alignment mismatch) 등의 한계를 내포하고 있어, 사후 학습(post-training) 전략이 필수적입니다.

이 논문은 이러한 배경에서 LLM의 사후 학습(Post-training)을 Fine-Tuning, Reinforcement Learning, Test-Time Scaling이라는 세 축으로 구조화하여 고찰합니다.

---

🔹 1. Post-training의 필요성과 정의

 

항목	설명
문제점	오류 생성(hallucination), 논리적 불일치, 비윤리적 응답 등
원인	LLM의 ‘추론’은 확률 기반, 인간처럼 명시적 규칙 기반이 아님
Post-training 목표	정렬성(Alignment), 정확성(Factuality), 문맥성(Context-awareness) 확보
LLM 학습 구조	Pre-training + Post-training (Fine-tuning / RL / Scaling 등)

---

🔹 2. 주요 Post-training 축별 설명

 

구분	핵심	전략목표 및 특징
Fine-tuning	SFT, PEFT, Domain FT 등	특정 태스크에 최적화, 정밀도 ↑, 하지만 과적합/범용성 ↓
Reinforcement Learning	RLHF, DPO, GRPO 등	사용자 선호와 동적 상호작용 반영, 정렬성/추론성 강화
Test-time Scaling	CoT, Tree-of-Thought, ToT + Beam Search 등	추론 과정에서 리소스를 동적으로 배분하여 정확도 향상

---

🔹 3. 기존 연구와의 차별점

 

항목기존 서베이의 한계본 논문의 기여

범위	RL 중심, SFT/Scaling은 미흡	SFT-RL-TTS 전 영역 통합적으로 다룸
도구성	구현 지침 부족, 실무 활용 어려움	벤치마크, 데이터셋, 튜토리얼 제공
기술 스펙트럼	RLHF 위주, 최신 기법 미반영	GRPO, DPO, OREO 등 최신 기법 포함

---

🔹 4. 논문의 핵심 기여

• LLM 사후 학습 전략을 Fine-tuning, RL, Test-Time Scaling으로 구조화하여 포괄적으로 리뷰
• RL 기법(DPO, PPO, GRPO 등)을 이론 기반 및 실제 사례로 통합 정리
• 실제 응용을 위한 벤치마크/데이터셋/구현 가이드 제시

---

🔹 5. LLM Post-training 기술 분류도 (Fig. 1 기반)

 

범주	주요 기술	대표 모델
Fine-tuning	SFT, LoRA, PEFT, Adapters	LLaMA 3, Falcon, Phi-4
RL 기반 학습	RLHF, DPO, GRPO, RLAIF	GPT-4, Claude 3, DeepSeek-R1
Test-Time Scaling	CoT, ToT, Beam Search, Confidence Sampling	DeepSeek-R1, Starling, Qwen2

📌 ‘141B-A39B’ 형식은 Mixture-of-Experts 아키텍처에서 전체 파라미터 수(141B)와 활성 파라미터 수(39B)를 나타냅니다.

---

✅ 결론 요약

• LLM의 추론 한계는 단순한 데이터 기반 사전학습만으로 해결되지 않음
• 사후학습(Post-training)은 실질적인 응용 가능성을 높이는 핵심 전략
• Fine-tuning, Reinforcement, Scaling은 상호보완적으로 통합되어야 실질적 성능 개선 가능
• 본 논문은 기존 연구의 단절적 접근에서 벗어나 전주기적 구조 정리와 실전 적용성을 목표로 함

 

다음 글

2025.03.27 - [분류 전체보기] - Supervised Finetuning in Large Language Models (LLMs)

Supervised Finetuning in Large Language Models (LLMs)