LLM 강화학습(RL)과 RLHF의 관계: 학습 단계·보상·업데이트 대상

그림. RLHF와 RLVR은 모두 RL을 사용하더라도 보상 신호의 출처가 다를 수 있습니다.

reader_decision: Reinforced LLMs와 RLHF를 이름이 비슷하다는 이유로 동일시하지 않고, 학습 단계·보상 신호·업데이트 대상을 1차 자료의 표현대로 구분합니다.

먼저 결론
“Reinforced LLMs”는 하나로 고정된 표준 기법명이라기보다 RL을 이용해 강화된 언어 모델을 넓게 가리키는 표현으로 읽는 편이 안전합니다. RLHF는 그중 사람의 선호 피드백을 보상 신호로 쓰는 구체적인 파이프라인이고, RLVR은 정답·테스트처럼 자동 검증 가능한 보상을 쓰는 별도 계열입니다.

같은 RL이라는 이름이 같은 학습을 뜻하지는 않습니다

강화학습은 모델이 행동을 내고 보상을 받아 정책을 업데이트하는 넓은 프레임입니다. LLM에서는 이 프레임을 사전학습 뒤의 후속 학습에 붙일 수도 있고, 특정 문제를 풀 때 추론 경로를 선택하는 방식으로 사용할 수도 있습니다. 그래서 “RL을 썼다”는 한 문장만으로 어떤 데이터와 어떤 보상 모델이 사용됐는지는 알 수 없습니다.

비교 대상	보상 신호	주로 업데이트하는 것	읽을 때의 주의
RLHF	사람의 시연·선호 순위를 학습한 보상 모델	언어 모델 정책	사람의 선호 데이터를 어디에 넣었는지 확인
RLVR	수학 정답, 코드 테스트, 형식 검사 같은 검증기	언어 모델 정책	검증기가 판정할 수 있는 과제에 범위가 있음
RL-enhanced LLM	문헌마다 다름	정책·어댑터 등 문헌에 명시된 대상	표준 용어로 단정하지 않기
TTS	학습 보상이 아니라 추론 시 계산 예산	모델 가중치가 아닌 추론 과정	Q04의 추론 비용 질문과 분리

RLHF는 어떤 순서로 진행되나

OpenAI의 InstructGPT 연구는 RLHF를 한 번의 버튼이 아니라 여러 단계가 연결된 파이프라인으로 설명합니다. 먼저 사람이 작성한 시연으로 지도 미세조정을 하고, 사람 평가자가 여러 출력의 순위를 매겨 선호 데이터를 만듭니다. 그 선호 데이터로 보상 모델을 학습한 다음, 언어 모델 정책을 PPO로 최적화합니다. 이 순서를 적어야 “사람 피드백을 받았다”와 “모델을 RL로 업데이트했다”를 구분할 수 있습니다.

• 시연 데이터: 사람이 원하는 답의 예시를 제공합니다.
• 선호 순위: 같은 입력에 대한 여러 출력 중 더 나은 출력을 사람이 고릅니다.
• 보상 모델: 선호 순위를 설명하도록 학습된 모델이 출력에 점수를 줍니다.
• 정책 최적화: LLM이 보상은 높이고 지나친 변화는 제한하도록 업데이트됩니다.

이 설명은 InstructGPT 논문의 파이프라인을 요약한 것입니다. 모든 RLHF 시스템이 동일한 알고리즘과 데이터 규모를 사용한다는 뜻은 아닙니다. 문헌에서 직접 확인한 단계만 해당 모델에 연결해야 합니다.

RLVR은 무엇이 다른가

DeepSeek-R1 논문은 수학·코드·논리 과제처럼 답을 자동으로 확인할 수 있는 영역에서 규칙 기반 보상을 사용한다고 설명합니다. DeepSeek-R1-Zero는 사람의 추론 궤적을 먼저 제공하지 않고 순수 RL로 추론 능력을 끌어내는 설정을 제시했습니다. 반면 DeepSeek-R1 본체는 콜드스타트 자료와 여러 후속 단계를 포함하므로 R1-Zero와 같은 학습 절차로 묶으면 안 됩니다.

질문	RLHF에서 확인할 것	RLVR에서 확인할 것
누가 보상하나?	사람의 선호를 학습한 보상 모델	정답·실행 결과·형식 검증기
어떤 목표인가?	도움됨·선호·안전 등 주관적 목표	정답 판정이 가능한 문제
오류 형태는?	보상 모델이 선호를 잘못 대리할 수 있음	검증기 밖의 품질은 평가에서 빠질 수 있음
일반화 범위는?	평가자·보상 모델·프롬프트 조건	문제 집합·검증기·형식 조건

“Reinforced LLMs”를 읽는 안전한 방법

기존 글 제목에서 본 “Reinforced LLMs”를 곧바로 하나의 학술 알고리즘으로 읽지 않습니다. 먼저 그 표현이 논문 제목인지, 제품 설명인지, RL로 후속 학습된 모델을 가리키는 일반 표현인지 확인합니다. 그다음 다음 네 열을 claim ledger에 옮깁니다.

claim ledger 열	기록할 내용	비어 있으면 하지 않을 말
대상	논문·모델·버전·공개일	어떤 모델인지 단정하지 않기
학습 단계	SFT·RL·추론 시 계산 중 어느 단계인가	학습 방식 전체를 추정하지 않기
보상 신호	사람·규칙·검증기·환경 중 무엇인가	RLHF와 RLVR을 같은 것으로 부르지 않기
업데이트 대상	정책·보상 모델·어댑터·선택기	내부 구현을 상상하지 않기

두 용어의 관계를 한 문장으로 쓰면

“RLHF와 RLVR은 모두 RL을 사용하는 LLM 후속 학습의 예가 될 수 있지만, 보상 신호의 출처와 적합한 문제의 범위가 다르다”가 안전한 문장입니다. 반대로 “RLHF는 RL이 아니다”, “RL을 쓴 LLM은 모두 RLHF다”는 둘 다 범위를 지나치게 좁히거나 넓힙니다.

기존 Reinforced LLMs 글과의 연결

DataCook의 기존 Reinforced LLMs 글은 이 주제가 어떤 이름으로 소개됐는지 확인하는 출발점입니다. 최신 모델의 내부 학습 레시피를 증명하는 1차 자료로 대신 사용하지 않습니다. 이 글의 분류는 공식 연구 페이지와 논문에 직접 적힌 보상과 학습 단계를 기준으로 합니다.

마무리

이름이 비슷한 두 기술을 먼저 같은 상자에 넣지 말고, 학습 단계·보상 신호·업데이트 대상을 차례로 확인하면 됩니다. 사람의 선호를 보상 모델로 바꾼 파이프라인은 RLHF로, 정답이나 테스트처럼 자동 검증 가능한 보상을 쓰는 계열은 RLVR로 구분할 수 있습니다. 대상 문헌이 다른 표현을 썼다면 그 표현과 범위를 그대로 인용하는 것이 가장 정확합니다.

참고한 자료

• OpenAI, Aligning language models to follow instructions
• Ouyang et al., Training language models to follow instructions with human feedback
• DeepSeek-AI et al., DeepSeek-R1