과정 보상 모델

Process Reward Model, PRM; 과정 보상 모델
풀이의 최종 답만 채점하지 않고, 추론의 각 단계가 올바른지를 점수로 내는 보상 모델

과정 보상 모델(Process Reward Model, PRM)은 언어 모델이 쓴 풀이를 단계로 나누고 단계마다 올바름을 판정하는 보상 모델이다. 최종 답이 맞았는지만 보는 결과 보상 모델(Outcome Reward Model, ORM)과 짝을 이룬다. 결과만 보면 엉터리 풀이로 우연히 정답에 이른 응답도 보상받고, 틀린 응답의 어느 단계가 잘못되었는지 알려 주지 못한다. 과정 보상은 이 두 문제를 겨냥한다. 국내 자료에서는 프로세스 보상 모델이라고도 쓴다.

주된 쓰임새는 세 가지다. 여러 후보 풀이 가운데 가장 좋은 것을 고르는 검증기(best-of-N 재순위화), 단계 단위 탐색(빔 서치, 트리 탐색)에서 가지를 고르는 기준, 그리고 강화 학습에서 단계별로 촘촘한 보상을 주는 신호다. 추론 모델의 테스트 시간 연산을 키우는 방법으로 주목받았지만, DeepSeek-R1처럼 대규모 강화 학습에서는 해킹 위험 때문에 쓰지 않는 사례도 있다.

정의

문제 $q$ 에 대한 풀이를 단계 $s_{1}, \dots, s_{K}$ 로 나눈다(보통 줄바꿈이나 특수 구분 토큰 기준).

구분	결과 보상 모델(ORM)	과정 보상 모델(PRM)
입력	문제와 풀이 전체	문제와 풀이의 각 단계까지의 접두부
출력	풀이 전체가 정답일 확률 하나	단계마다 그 단계가 올바를 확률 $p_{k}$
학습 레이블	최종 답 일치 여부(자동으로 얻음)	단계별 올바름(사람 주석, 자동 추정, LLM 판정)
풀이 점수	출력 그대로	$\prod_{k} p_{k}$ 또는 $\min_{k} p_{k}$
비용	낮음	단계 레이블이 비쌈

PRM 학습은 보통 언어 모델의 단계 끝 위치에서 "올바름/틀림"을 분류하는 문제로 푼다. OpenAI는 각 단계의 마지막 토큰 뒤에서 그 단계의 올바름을 토큰 하나로 예측하게 해, 일반 언어 모델 학습 공정 그대로 PRM을 학습했고, 풀이 점수는 모든 단계가 올바를 확률, 즉 단계별 확률의 곱으로 두었다.^[1]

import math

def solution_score(step_probs, reduce="prod"):
    """step_probs: PRM이 각 단계에 준 '올바름' 확률 목록."""
    if reduce == "prod":                 # 모든 단계가 맞을 확률
        return math.prod(step_probs)
    return min(step_probs)               # 가장 약한 단계 기준

candidates = {"A": [0.95, 0.9, 0.97], "B": [0.99, 0.4, 0.99]}
best = max(candidates, key=lambda k: solution_score(candidates[k]))   # "A"

주요 연구

딥마인드, 2022

딥마인드의 우에사토(Uesato) 등은 GSM8K에서 과정 감독과 결과 감독을 처음으로 체계적으로 비교했다. 최종 답 오류율만 보면 결과 감독이 더 적은 레이블로 비슷한 성능을 냈지만, 풀이 과정까지 올바르게 하려면 과정 감독이나 과정 감독을 흉내 내는 학습된 보상 모델이 필요했다. 최종 답 오류율은 16.8%에서 12.7%로, 최종 답이 맞은 풀이 가운데 추론 오류 비율은 14.0%에서 3.4%로 낮췄다.^[2]

OpenAI, 2023: PRM800K

OpenAI는 더 어려운 MATH 데이터셋에서 사람 평가자가 단계마다 긍정, 부정, 중립 레이블을 단 PRM800K를 만들었다. 문제 1만 2천 개에 대한 풀이 7만 5천 개, 단계 레이블 80만 개다. 평가자에게는 PRM이 높게 평가했지만 최종 답이 틀린 "그럴듯한 오답"을 우선 보여 주는 능동 학습을 썼고, 이것이 데이터 효율을 크게 높였다.^[1]

방법	MATH 대표 부분집합 해결률(1,860개 후보 중 선택)
과정 보상 모델(PRM)	78.2%
결과 보상 모델(ORM)	72.4%
다수결	69.6%

논문은 과정 감독이 사람이 승인한 추론 과정을 직접 보상하므로 더 해석 가능하고 안전하며, 이 실험에서는 성능 손해 없이 오히려 성능이 올라 "음의 정렬 세금"을 보였다고 주장했다. 다만 수학 밖으로 일반화되는지는 알 수 없다고 덧붙였다.^[1]

자동 레이블: Math-Shepherd

사람 주석을 없애려고 몬테카를로 추정으로 단계 레이블을 만드는 방법이 나왔다. Math-Shepherd는 어떤 단계까지의 풀이를 "완성 모델"에 주고 나머지를 $N$ 번(논문은 8번) 이어 쓰게 해, 그중 하나라도 정답에 이르면 그 단계를 좋은 단계로 보는 경성 추정(hard estimation), 정답에 이른 비율을 점수로 쓰는 연성 추정(soft estimation)을 제안했다.^[3]

$y_{s_{k}}^{H E} = {\begin{matrix} 1 & \exists j, a_{j} = a^{*} \\ 0 & 그 밖 \end{matrix}, y_{s_{k}}^{S E} = \frac{1}{N} \sum_{j = 1}^{N} 𝟙 [a_{j} = a^{*}]$

이 PRM으로 단계별 PPO를 하자 미스트랄 7B의 GSM8K가 77.9%에서 84.1%로, MATH가 28.6%에서 33.0%로 올랐고, 이 PRM으로 후보를 재순위화하면 각각 89.1%, 43.5%가 되었다.^[3] 같은 해 딥시크도 DeepSeekMath에서 GRPO에 과정 보상을 넣은 쪽(GRPO+PS)이 결과 보상만 쓴 쪽보다 낫다고 보고했다.^[4] GRPO의 과정 감독 버전은 GRPO 문서 참고.

한계의 발견, 2024~2025

ProcessBench: 알리바바 Qwen 팀은 경시대회·올림피아드 수준 수학 풀이 3,400개에 전문가가 첫 오류 위치를 표시한 벤치마크를 만들었다. 기존 공개 PRM은 GSM8K와 MATH보다 어려운 문제로 일반화하지 못했고, 일반 언어 모델에 단계별 비평을 시킨 것보다도, PRM800K로 단순 미세조정한 PRM보다도 못했다.^[5]
몬테카를로 레이블의 문제: 같은 팀의 후속 연구는 몬테카를로 추정으로 만든 PRM 데이터가 LLM 판정이나 사람 주석보다 성능과 일반화에서 떨어진다고 보고했다. 완성 모델이 틀린 단계 뒤에서도 정답에 이를 수 있어 단계 판정이 부정확하기 때문이다. 또한 best-of-N 평가는 과정이 틀렸어도 답만 맞으면 높은 점수를 주므로 PRM이 결과 판정기처럼 변하는 편향이 있다고 지적하고, 몬테카를로 추정과 LLM 판정이 일치하는 데이터만 남기는 합의 필터링을 제안했다.^[6]

테스트 시간 탐색

PRM은 생성 도중에 단계별 점수를 줄 수 있어 탐색에 쓰기 좋다. 2024년 연구는 PRM을 검증기로 쓰는 탐색과, 문제 난이도에 따라 연산을 나누는 "연산 최적" 전략으로 best-of-N 대비 테스트 시간 연산 효율을 4배 넘게 높였고, 작은 기반 모델이 어느 정도 풀 수 있는 문제에서는 같은 연산으로 14배 큰 모델을 앞설 수 있다고 보고했다.^[7]

강화 학습에서의 위치

2025년 공개된 대표 추론 모델 학습법은 PRM을 쓰지 않았다. DeepSeek-R1은 결과 기반이든 과정 기반이든 신경망 보상 모델이 대규모 강화 학습에서 보상 해킹에 취약하고, 다시 학습하는 데 자원이 많이 든다며 규칙 기반 결과 보상만 썼다.^[8] 문샷 AI의 Kimi k1.5도 몬테카를로 트리 탐색, 가치 함수, 과정 보상 모델 같은 복잡한 기법 없이 긴 컨텍스트와 개선된 정책 최적화만으로 o1 수준에 도달했다고 밝혔다.^[9] 즉 PRM은 학습 신호보다는 검증과 탐색 쪽에서 쓰임새가 분명하고, 강화 학습에서는 검증 가능한 결과 보상이 주류가 되었다.

항목	결과 보상(규칙 또는 ORM)	과정 보상(PRM)
신호 밀도	응답당 하나	단계마다
레이블 비용	낮음(정답만 있으면 됨)	높음, 자동 추정은 잡음
해킹 위험	규칙 보상이면 낮음	학습된 모델이라 높음
강점	대규모 강화 학습	재순위화, 단계 탐색, 오류 위치 진단
일반화	검증 가능한 영역에 한정	학습 분포보다 어려운 문제에서 약함

같이 보기

각주

↑ ^1.0 ^1.1 ^1.2 Hunter Lightman 외, 〈Let's Verify Step by Step〉, 2023. arXiv:2305.20050
↑ Jonathan Uesato 외, 〈Solving math word problems with process- and outcome-based feedback〉, 2022. arXiv:2211.14275
↑ ^3.0 ^3.1 Peiyi Wang 외, 〈Math-Shepherd: Verify and Reinforce LLMs Step-by-step without Human Annotations〉, 2023. arXiv:2312.08935
↑ Zhihong Shao 외, 〈DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models〉, 2024. arXiv:2402.03300
↑ Chujie Zheng 외, 〈ProcessBench: Identifying Process Errors in Mathematical Reasoning〉, ACL 2025. arXiv:2412.06559
↑ Zhenru Zhang 외, 〈The Lessons of Developing Process Reward Models in Mathematical Reasoning〉, 2025. arXiv:2501.07301
↑ Charlie Snell 외, 〈Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters〉, 2024. arXiv:2408.03314
↑ DeepSeek-AI, 〈DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning〉, 2025. arXiv:2501.12948
↑ Kimi Team, 〈Kimi k1.5: Scaling Reinforcement Learning with LLMs〉, 2025. arXiv:2501.12599

[lightman-1] 1.0 ^1.1 ^1.2 Hunter Lightman 외, 〈Let's Verify Step by Step〉, 2023. arXiv:2305.20050

[uesato-2] Jonathan Uesato 외, 〈Solving math word problems with process- and outcome-based feedback〉, 2022. arXiv:2211.14275

[shepherd-3] 3.0 ^3.1 Peiyi Wang 외, 〈Math-Shepherd: Verify and Reinforce LLMs Step-by-step without Human Annotations〉, 2023. arXiv:2312.08935

[math-4] Zhihong Shao 외, 〈DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models〉, 2024. arXiv:2402.03300

[processbench-5] Chujie Zheng 외, 〈ProcessBench: Identifying Process Errors in Mathematical Reasoning〉, ACL 2025. arXiv:2412.06559

[lessons-6] Zhenru Zhang 외, 〈The Lessons of Developing Process Reward Models in Mathematical Reasoning〉, 2025. arXiv:2501.07301

[snell-7] Charlie Snell 외, 〈Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters〉, 2024. arXiv:2408.03314

[r1-8] DeepSeek-AI, 〈DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning〉, 2025. arXiv:2501.12948

[kimi-9] Kimi Team, 〈Kimi k1.5: Scaling Reinforcement Learning with LLMs〉, 2025. arXiv:2501.12599

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]