Reinforced LLMs: 강화학습을 통한 LLM 최적화

강화학습(Reinforcement Learning, RL)은 대형 언어 모델(LLM)을 사용자 선호에 맞게 정렬(alignment)시키고, 복잡한 추론 작업에 최적화하는 핵심 방법 중 하나입니다. 특히, 사후 학습(post-training) 단계에서 Supervised Fine-Tuning(SFT) → Reward Modeling → Policy Optimization의 3단계 구조를 기반으로 수행됩니다.

---

🔹 1. 강화 학습 기반 LLM 최적화 개요

 

단계	설명
SFT	고품질 라벨 데이터를 기반으로 기본 응답 형식, 스타일 등을 학습
Reward Model 학습	사람 또는 AI가 평가한 선호도 기반으로 응답 품질을 수치화
RL 정책 최적화	PPO, DPO, GRPO 등 알고리즘으로 보상 모델에 따라 응답 정책 조정

---

🔹 2. 보상 모델링 (Reward Modeling)

 

유형	설명
명시적 보상 (Explicit)	수작업 라벨 또는 전문가 평가 기반 정량적 신호
암묵적 보상 (Implicit)	사용자 행동(클릭률, 체류 시간 등) 기반 보상 추정
Outcome Reward Model (ORM)	결과(정답 여부) 중심 보상
Process Reward Model (PRM)	추론 과정(논리적 전개) 중심 보상, 수학·코딩에 효과적
Iterative Reward	정책 모델과 보상 모델을 반복적으로 공동 진화시킴

---

🔹 3. 대표 강화 학습 기법 요약

 

기법	개요	특징
PPO	정책의 KL-divergence를 제한하며 안정적 학습	RLHF에서 표준
TRPO	제한된 정책 변화 내에서 최적화	이론적 안정성 우수, 계산 복잡도 큼
DPO	보상 없이 직접 선호 데이터로 정책 학습	log-likelihood 기반 직접 최적화
GRPO	그룹 내 응답 평균 기반 이점(advantage) 계산	Value function 없이 효율적 학습
OREO	Bellman 방정식 기반 오프라인 RL	수학, 계획 문제에 특화
ORPO	선호 응답 대비 비선호 응답의 확률 비율 최적화	간단한 구현, 다중 신호 결합 어려움
RLAIF	보상 모델을 AI가 생성	인적 비용 절감, 대규모 학습 용이

---

🔹 4. 실전 적용 사례: DeepSeek-R1

DeepSeek-R1은 RL 기반 LLM의 대표 사례로, 다음과 같은 파이프라인을 따릅니다:

1. Cold Start RL: CoT 형태의 초기 학습 데이터로 RL 시작 안정화
2. Rejection Sampling + SFT: 고품질 응답을 선별 → Supervised 데이터로 재사용
3. Reasoning-oriented RL: 수학, 논리 등 다단계 추론 강화를 위한 PRM 활용
4. 2단계 RL: 친절함, 안전성 등 정렬성 향상 위한 추가 보상 적용
5. Distillation: 대형 모델의 성능을 작은 모델에 이전 (Qwen, LLaMA 계열 등)

---

🔹 5. RL 기법 비교표

 

항목	PPO	DPO	GRPO	TRPO	RLAIF	OREO
학습 방식	보상 모델 기반 RL	직접 선호 최적화	그룹 기반 이점 추정	신뢰영역 제한 최적화	AI 피드백 기반	Bellman 기반 오프라인 학습
보상 필요	필요	불필요	필요	필요	필요	필요
복잡도	중	낮음	낮음	높음	낮음	높음
Value Function	필요	불필요	불필요	필요	불필요	필요
특징	안정성, RLHF 핵심	간단하고 효과적	메모리 효율성	이론적 정밀성	비용 절감	수학/계획 문제에 특화

---

✅ 결론

• RL 기반 최적화는 LLM을 사용자 지향, 문맥 정렬, 안전성 중심으로 진화시키는 핵심 기법입니다.
• 최신 트렌드는 보상 모델 생략 또는 간소화(DPO, GRPO), AI 기반 보상 생성(RLAIF), 고급 reasoning 강화(OREO, GRPO)로 나아가고 있습니다.
• 특히 RL + Distillation 전략은 고성능 + 경량 모델 확보라는 두 마리 토끼를 잡을 수 있어 실무에서 각광받고 있습니다.

 

다음 글

2025.03.27 - [AI와 함께] - Test-Time Scaling(TTS) Methods for Reasoning LLMs

Test-Time Scaling(TTS) Methods for Reasoning LLMs