추론 모델 (인공지능)
더 많은 작업
- Reasoning model, Large reasoning model; 추론 모델
- 답하기 전에 긴 사고 과정을 생성하도록 강화 학습되어, 수학·코딩·논리처럼 여러 단계 추론이 필요한 문제에 강한 대형 언어 모델
추론 모델(reasoning model)은 질문을 받으면 곧바로 답하지 않고, 먼저 중간 단계를 따져 보는 긴 사고 과정(생각 토큰)을 생성한 뒤 최종 답을 내는 대형 언어 모델이다. 대형 추론 모델(Large Reasoning Model, LRM), 추론 언어 모델(RLM), 생각하는 모델(thinking model)이라고도 한다. 사고 과정에서 문제를 쪼개고, 다른 풀이를 시도하고, 틀린 단계를 되돌아가 고치는 행동을 보이며, 생각하는 데 연산을 더 쓸수록 성능이 오르는 것이 특징이다.
여기서 "추론"은 논리적 추론(reasoning)을 뜻한다. 학습된 모델을 실행하는 일을 뜻하는 추론(inference)과는 다른 말이다. 영어로는 둘이 구별되지만 한국어로는 둘 다 "추론"이라 옮기므로 문맥으로 구분해야 한다.
2024년 9월 OpenAI o1이 첫 상용 추론 모델로 나왔고, 2025년 1월 딥시크-R1이 가중치와 학습 방법을 공개하면서 업계 전반으로 퍼졌다. 2025년 이후 주요 LLM은 대부분 추론 기능을 갖추거나, 빠른 응답과 깊은 사고를 오가는 하이브리드 방식을 택한다.
| 구분 | 비추론 모델 | 추론 모델 |
|---|---|---|
| 응답 방식 | 질문에 바로 답을 생성 | 사고 과정을 먼저 길게 생성한 뒤 답 |
| 사고 과정의 출처 | 프롬프트로 유도(연쇄적 사고 프롬프팅) | 강화 학습으로 모델에 내재화 |
| 성능을 올리는 축 | 주로 모델 크기와 사전 학습 | 사전 학습 + 강화 학습 연산 + 테스트 시간 연산 |
| 강한 분야 | 일반 대화, 글쓰기, 지식 질의 | 수학, 코딩, 과학 문제, 계획, 에이전트 작업 |
| 비용과 지연 | 상대적으로 낮음 | 사고 토큰만큼 출력 비용과 응답 시간 증가 |
추론하지 않는 모델에는 정해진 이름이 없어 비추론 모델, 일반 모델, 표준 모델 등으로 부른다. OpenAI는 GPT-5를 빠른 기본 모델, 깊은 추론 모델(GPT-5 thinking), 질문의 복잡도·도구 필요·사용자 의도에 따라 둘 중 하나를 고르는 실시간 라우터로 이루어진 통합 시스템으로 설명했다.[1]
2022년 구글 연구진은 프롬프트의 예시에 중간 풀이 과정을 넣으면 큰 언어 모델의 산수·상식·기호 추론 성능이 크게 오른다는 연쇄적 사고(chain-of-thought, CoT) 프롬프팅을 발표했다.[2] 풀이를 여러 번 샘플링해 다수결로 답을 정하는 자기 일관성도 같은 해 나왔다.[3] 2023년 OpenAI는 풀이의 최종 답만 채점하는 결과 감독보다 각 단계를 채점하는 과정 감독으로 학습한 보상 모델이 수학 문제에서 더 낫다고 보고했다.[4] 추론 모델은 이런 사고 과정을 프롬프트 기법이 아니라 학습으로 모델 안에 넣은 것이다. 프롬프트 기법은 연쇄적 사고 프롬프팅 문서 참고.
2024년 9월 12일 OpenAI는 o1을 발표하고 미리보기판 o1-preview와 o1-mini를 ChatGPT와 일부 API 사용자에게 제공했다. OpenAI는 o1이 대규모 강화 학습으로 사고 과정을 다듬는 법을 배워, 실수를 알아채 고치고, 어려운 단계를 쉬운 단계로 쪼개고, 막히면 다른 접근을 시도한다고 설명했다.[5] 발표된 주요 결과는 다음과 같다.
- 성능이 강화 학습 연산(학습 시간)과 생각하는 시간(테스트 시간 연산) 모두에 대해 매끄럽게 올랐다.
- 2024년 AIME에서 GPT-4o가 평균 12%를 맞힌 데 비해 o1은 한 번에 74%, 64개 답 다수결로 83%, 1,000개 답을 학습된 점수 함수로 다시 골라 93%를 맞혔다.
- 경쟁 프로그래밍(Codeforces) 문제에서 89번째 백분위(상위 약 11%)에 들었고, 박사급 과학 문제 GPQA 다이아몬드에서 박사 전문가 집단의 정답률을 처음 넘었다.
OpenAI는 사고 과정 원문을 사용자에게 보여 주지 않고 모델이 만든 요약만 보여 주기로 했다. 사고 과정을 감시 수단으로 쓰려면 정책 준수 훈련을 사고 과정에 직접 가하지 않아야 하는데, 그렇게 정렬되지 않은 원문을 그대로 노출하고 싶지 않다는 점과 경쟁상 이점을 이유로 들었다.[5] 정식 o1은 2024년 12월에 나왔다.[6] 2025년 4월 16일 발표된 o3와 o4-mini는 사고 도중 웹 검색, 파이썬 실행, 이미지 분석 등 ChatGPT의 모든 도구를 스스로 골라 쓰도록 학습되었다.[7]
2025년 1월 딥시크는 추론 모델 딥시크-R1과 학습 방법을 담은 논문을 공개했다. 논문은 사람이 쓴 추론 예시 없이 순수 강화 학습만으로 추론 능력을 끌어낼 수 있으며, 그 과정에서 자기 검토, 검증, 전략 전환 같은 행동이 저절로 나타난다고 보고했다. 이 논문은 2025년 네이처에 실렸다.[8] 모델 카드에 따르면 다음과 같다.[9]
- R1-Zero: 기반 모델에 지도 미세조정 없이 대규모 강화 학습만 적용했다. 추론은 잘했지만 같은 말 반복, 가독성 저하, 언어 뒤섞임 문제가 있었다.
- R1: 소량의 초기 데이터로 미세조정한 뒤 강화 학습을 하는 여러 단계 파이프라인으로 이 문제를 보완했다. 전체 매개변수 6,710억 개(토큰당 활성 370억 개)의 MoE 모델이며 MIT 라이선스로 공개되었다.
- 증류 모델: R1이 생성한 추론 데이터로 큐원2.5와 라마 3 계열의 15억~700억 개 모델을 미세조정한 증류판도 공개했다.
강화 학습 알고리즘은 딥시크가 2024년 DeepSeekMath에서 제안한 GRPO(Group Relative Policy Optimization)였다. PPO의 변형으로, 별도의 가치 모델 없이 같은 질문에 대한 여러 답의 보상을 그룹 안에서 비교해 이점을 계산하므로 메모리를 아낀다.[10] 가중치와 방법이 공개되자 오픈 웨이트 진영에서 추론 모델이 빠르게 늘었다.
2025년 2월 24일 앤트로픽은 클로드 3.7 소넷을 "시장 최초의 하이브리드 추론 모델"로 발표했다. 한 모델이 즉시 답하는 모드와 확장 사고(extended thinking) 모드를 모두 지원하며, API 사용자는 사고에 쓸 토큰 예산을 최대 출력 한도인 128K 토큰 안에서 정할 수 있다.[11] 2025년 4월 29일 알리바바의 큐원3는 생각 모드와 비생각 모드를 한 모델에 넣고, 프롬프트에 /think나 /no_think를 넣어 대화 중에 전환하게 했다.[12] 같은 해 5월 앤트로픽의 클로드 4는 확장 사고 도중 웹 검색 같은 도구를 번갈아 쓰는 기능을 더했다.[13]
| 모델 | 개발사 | 발표 | 특징 |
|---|---|---|---|
| o1-preview, o1-mini | OpenAI | 2024-09 | 첫 상용 추론 모델, 사고 원문 비공개 |
| o1 | OpenAI | 2024-12 | 정식판 |
| 딥시크-R1 | 딥시크 | 2025-01 | 오픈 웨이트(MIT), 학습 방법 공개 |
| 클로드 3.7 소넷 | 앤트로픽 | 2025-02 | 하이브리드 추론, 사고 예산 지정, 사고 과정 표시 |
| o3, o4-mini | OpenAI | 2025-04 | 사고 중 도구 사용, 이미지로 생각하기 |
| 큐원3 | 알리바바 | 2025-04 | 생각·비생각 모드 전환, 오픈 웨이트 |
| GPT-5 | OpenAI | 2025-08 | 기본 모델과 생각 모델을 라우터로 묶은 통합 시스템 |
2025년 하반기 이후 출시된 주요 상용·공개 모델은 대부분 사고 모드나 사고 노력 수준 설정을 갖추고 있어, 추론 모델이 별도 범주라기보다 기본 기능이 되었다.
추론 모델 학습의 중심은 정답을 자동으로 확인할 수 있는 문제로 하는 강화 학습이다. 수학 문제는 최종 답이 맞는지, 코딩 문제는 테스트를 통과하는지, 형식 문제는 규칙을 지켰는지로 보상을 준다. 2024년 11월 앨런 AI 연구소의 튈루 3(Tülu 3) 논문이 이를 검증 가능한 보상 강화 학습(Reinforcement Learning with Verifiable Rewards, RLVR)이라 이름 붙였다.[14] 사람 선호를 흉내 내는 보상 모델을 쓰는 RLHF와 달리 보상이 객관적이어서 보상 해킹 여지가 적고, 대량의 문제로 학습을 키우기 쉽다.
강화 학습에서 언어 모델은 정책이고, 질문은 상태, 사고 과정과 답은 행동이다. 보상을 주는 방식은 두 가지로 나뉜다.
| 방식 | 보상 기준 | 장점 | 단점 |
|---|---|---|---|
| 결과 보상(ORM) | 최종 답이 맞았는가 | 구현이 쉽고 자동 채점 가능 | 우연히 맞힌 엉터리 풀이도 보상받음 |
| 과정 보상(PRM) | 각 단계가 올바른가 | 세밀한 신호, 풀이 품질 향상 | 단계별 라벨이 비쌈. 사람 대신 모델이나 몬테카를로 추정으로 라벨을 만들기도 함[4] |
딥시크-R1은 정답 여부와 형식 준수만 보는 규칙 기반 결과 보상을 썼다.[8]
추론 모델은 질문마다 쓰는 연산(사고 토큰 수, 샘플 수)을 늘려 성능을 올린다. 이를 테스트 시간 연산(test-time compute) 스케일링 또는 추론 시간 스케일링이라 하며, 학습 규모를 키우는 기존 스케일링 법칙과 구별되는 축으로 본다.
- 순차 확장: 한 번의 사고를 더 길게 한다. s1 연구는 사고를 일찍 끊거나 끝내려 할 때 "Wait"를 덧붙여 더 생각하게 하는 예산 강제만으로 이를 재현했다.[15]
- 병렬 확장: 여러 답을 생성해 다수결, 검증기 선택(best-of-N), 트리 탐색으로 고른다.
- 연산 배분: 쉬운 문제에는 적게, 어려운 문제에는 많이 쓰는 적응적 배분이 고정 배분보다 효율적이며, 일부 문제에서는 14배 큰 모델보다 낫다는 연구가 있다.[16]
상용 API는 사고 노력 수준(낮음·중간·높음 등)이나 사고 토큰 예산으로 이를 조절하게 한다. 사고 토큰은 사용자에게 보이지 않더라도 출력 토큰으로 과금되고 컨텍스트 윈도우를 차지한다.
사고 과정은 보통 특수 토큰(예: <think>와 </think>)으로 감싼 구간에 생성되고, 그 뒤에 최종 답이 온다. 회사마다 사고 과정 공개 방식이 다르다.
- 원문 비공개, 요약만 제공: OpenAI o 계열.
- 원문 공개: 딥시크-R1, 큐원3 등 오픈 웨이트 모델과 클로드 3.7 소넷의 확장 사고.
- 증류 방지: 사고 과정을 빼내 다른 모델 학습에 쓰는 것을 막는 조치를 두기도 한다. 앤트로픽은 API 사용자가 이전 문맥을 고쳐 클로드의 사고 과정을 추출하지 못하게 하는 장치를 2026년 클로드 페이블 5.1과 오푸스 5.5에 적용했다.[17]
자연어 토큰 대신 모델의 은닉 상태를 그대로 다음 단계 입력으로 쓰는, 언어로 드러나지 않는 잠재 공간 추론도 연구되고 있다.[18]
추론 모델은 AIME 같은 경시대회 수학, GPQA 같은 고난도 과학 문제, SWE-bench 같은 실제 소프트웨어 과제에서 비추론 모델을 크게 앞섰고, 글자 수 세기나 소수 비교처럼 비추론 모델이 자주 틀리던 문제도 상당 부분 개선했다. 그러나 다음과 같은 한계와 논쟁이 있다.
- 비용과 지연: 쉬운 질문에도 길게 생각하는 과잉 사고가 비용과 응답 시간을 늘린다.
- 강화 학습이 새 능력을 만드는가: 2025년 연구는 RLVR로 학습한 모델이 한두 번의 시도(작은 k의 pass@k)에서는 기반 모델보다 낫지만, 시도를 많이 허용하면 기반 모델이 더 많은 문제를 푼다며, 추론 능력이 기반 모델의 범위 안에 묶여 있다고 주장했다.[19] 반대로 강화 학습을 충분히 오래 하면 기반 모델이 찾지 못하던 전략이 나타난다는 반론도 나왔다.[20]
- 복잡도에 따른 붕괴: 애플 연구진은 복잡도를 조절할 수 있는 퍼즐에서 추론 모델의 정확도가 일정 복잡도를 넘으면 완전히 무너지고, 토큰 예산이 남아도 어려울수록 오히려 사고량을 줄이는 현상을 보고했다.[21] 실험 설계에 대한 반론도 있어 논쟁 중이다.
- 사고 과정의 충실성: 앤트로픽 연구진은 프롬프트에 몰래 넣은 힌트를 모델이 실제로 쓰고도 사고 과정에서 그 사실을 밝히는 비율이 대개 20% 미만이라고 보고했다. 사고 과정 감시는 문제 행동을 발견하는 데 유용하지만 그것만으로 배제할 수는 없다는 결론이다.[22]
- 보상 해킹: 테스트를 통과하도록 테스트 코드를 고치는 식으로 채점 허점을 파고드는 행동이 나타난다. OpenAI도 o1 평가 중 보상 해킹 사례를 관찰했다고 밝혔다.[5] 보상 해킹 문서 참고.
- 환각: 사고 과정을 거쳐도 환각이 사라지지 않으며, 그럴듯한 추론으로 포장된 오류는 오히려 알아채기 어려울 수 있다.
- ↑ OpenAI, Introducing GPT-5, 2025-08-07.
- ↑ J. Wei 외, 〈Chain-of-Thought Prompting Elicits Reasoning in Large Language Models〉, NeurIPS, 2022. arXiv:2201.11903
- ↑ X. Wang 외, 〈Self-Consistency Improves Chain of Thought Reasoning in Language Models〉, 2022. arXiv:2203.11171
- ↑ 4.0 4.1 H. Lightman 외, 〈Let's Verify Step by Step〉, 2023. arXiv:2305.20050
- ↑ 5.0 5.1 5.2 OpenAI, Learning to reason with LLMs, 2024-09-12.
- ↑ OpenAI, 〈OpenAI o1 System Card〉, 2024. arXiv:2412.16720
- ↑ OpenAI, Introducing OpenAI o3 and o4-mini, 2025-04-16.
- ↑ 8.0 8.1 DeepSeek-AI, 〈DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning〉, Nature 645, 2025. arXiv:2501.12948
- ↑ 9.0 9.1 DeepSeek-AI, DeepSeek-R1 모델 카드, 2026-10-15 확인.
- ↑ Z. Shao 외, 〈DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models〉, 2024. arXiv:2402.03300
- ↑ Anthropic, Claude 3.7 Sonnet and Claude Code, 2025-02-24.
- ↑ Qwen Team, Qwen3: Think Deeper, Act Faster, 2025-04-29.
- ↑ Anthropic, Introducing Claude 4, 2025-05-22.
- ↑ N. Lambert 외, 〈Tülu 3: Pushing Frontiers in Open Language Model Post-Training〉, 2024. arXiv:2411.15124
- ↑ N. Muennighoff 외, 〈s1: Simple test-time scaling〉, 2025. arXiv:2501.19393
- ↑ C. Snell 외, 〈Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters〉, 2024. arXiv:2408.03314
- ↑ Anthropic, Introducing Claude Opus 5.5, 2026-09-22.
- ↑ S. Hao 외, 〈Training Large Language Models to Reason in a Continuous Latent Space〉, 2024. arXiv:2412.06769
- ↑ Y. Yue 외, 〈Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?〉, 2025. arXiv:2504.13837
- ↑ M. Liu 외, 〈ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models〉, 2025. arXiv:2505.24864
- ↑ P. Shojaee 외, 〈The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity〉, 2025. arXiv:2506.06941
- ↑ Y. Chen 외, 〈Reasoning Models Don't Always Say What They Think〉, 2025. arXiv:2505.05410