월드 모델
더 많은 작업
- World model; 월드 모델, 세계 모델
- 환경이 어떻게 변하는지, 특히 어떤 행동을 하면 다음에 무슨 일이 일어나는지를 예측하도록 학습한 내부 모델
월드 모델은 인공지능이 바깥 세계를 머릿속에 흉내 내는 모델이다. 지금 상태와 행동을 넣으면 다음 상태를 예측하므로, 에이전트는 실제로 움직이기 전에 머릿속에서 여러 행동을 시험해 보고 결과가 좋은 쪽을 고를 수 있다. 컵을 너무 기울이면 물이 쏟아진다는 것을 미리 아는 로봇, 실제 도로에서 겪기 드문 위험 상황을 가상으로 만들어 연습하는 자율주행 시스템이 대표적 쓰임이다. 거대한 영상, 센서 데이터로 미리 학습해 여러 용도로 미세조정하는 모델을 월드 파운데이션 모델(world foundation model)이라고도 부른다.
이 말은 쓰는 사람마다 뜻이 꽤 다르다. 강화 학습에서는 환경의 상태 전이와 보상을 예측하는 학습된 동역학 모델을 가리키고, 얀 르쿤은 인간 수준 지능에 꼭 필요한 예측 모듈이라는 뜻으로 쓰며, 영상 생성 업계에서는 물리적으로 그럴듯한 영상을 만드는 생성 모델이나 조작 가능한 가상 세계를 만드는 모델을 월드 모델이라 부른다. 대형 언어 모델(LLM) 안에 세계에 대한 모델이 생기는가라는 질문에도 같은 말을 쓴다. 아키텍처나 모달리티가 아니라 "세계의 변화를 예측한다"는 기능으로 묶인 개념이라 경계가 흐릿하다.
강화 학습의 틀로 보면 환경은 상태 , 행동 , 보상 로 이루어진 마르코프 결정 프로세스다. 월드 모델은 이 환경의 규칙을 데이터로부터 근사한다.
모델을 쓰지 않고 시행착오만으로 정책을 배우는 모델 프리(model-free) 강화 학습과 달리, 월드 모델을 학습해 그 안에서 계획하거나 정책을 배우는 방식을 모델 기반(model-based) 강화 학습이라 한다. 리처드 서튼의 Dyna(1990)가 학습한 모델로 가상 경험을 만들어 학습에 보태는 초기 구조다.[1]
| 구분 | 무엇을 예측하나 | 대표 예 | 주 용도 |
|---|---|---|---|
| 잠재 공간 동역학 모델 | 압축한 잠재 상태의 다음 값과 보상 | Ha·Schmidhuber 월드 모델, PlaNet, Dreamer, MuZero | 강화 학습 에이전트의 계획과 정책 학습 |
| 표현 예측 모델(JEPA) | 가려지거나 미래인 부분의 추상 표현(픽셀이 아님) | I-JEPA, V-JEPA 2 | 자기 지도 표현 학습, 로봇 계획 |
| 영상 생성 모델 | 다음 프레임의 픽셀 | 소라, 비오 | 물리적으로 그럴듯한 영상 생성 |
| 상호작용형 생성 모델 | 사용자의 키 입력이나 행동에 따른 다음 화면 | Genie 시리즈, GameNGen | 조작 가능한 가상 세계, 게임 |
| 물리 AI용 월드 파운데이션 모델 | 로봇, 자동차 센서 영상의 미래 | 엔비디아 Cosmos, 웨이모 월드 모델 | 합성 데이터 생성, 시뮬레이션 |
위르겐 슈미트후버는 1990년부터 순환 신경망으로 환경을 예측하고 그 예측으로 에이전트를 학습시키는 구상을 내놓았다.[2] 이 발상을 딥 러닝으로 되살려 "월드 모델"이라는 말을 널리 알린 것이 구글 브레인의 데이비드 하(David Ha)와 슈미트후버가 2018년 3월 발표한 논문 〈World Models〉이다(NeurIPS 2018판 제목은 〈Recurrent World Models Facilitate Policy Evolution〉).[3][4]
| 구성 요소 | 구현 | 역할 |
|---|---|---|
| V(시각) | 변분 오토인코더(VAE) | 게임 화면 같은 고차원 관측을 작은 잠재 벡터 z로 압축 |
| M(기억) | 혼합 밀도 네트워크를 붙인 RNN(MDN-RNN) | z와 행동 a를 받아 다음 z의 확률 분포를 예측. 미래를 하나가 아니라 분포로 다뤄 무작위성을 반영 |
| C(제어기) | 아주 작은 선형 모델 | z와 M의 은닉 상태를 보고 행동을 고름. 진화 전략(CMA-ES)으로 학습 |
저자들은 V와 M을 묶어 월드 모델이라 불렀다. 학습은 두 단계다. 먼저 실제 환경에서 무작위로 움직여 모은 데이터로 V와 M을 보상 없이 학습하고, 다음에 M이 만들어 내는 가상의 환경, 논문 표현으로 "꿈" 속에서 C를 학습한다. 자동차 경주(CarRacing)와 VizDoom 과제에서 꿈 안에서만 학습한 정책을 실제 환경으로 옮겨 쓸 수 있음을 보였다.[3] 제어기가 작은 잠재 공간에서만 움직이므로 학습이 싸고, 실제 환경과 상호작용하는 횟수를 줄일 수 있다는 점이 핵심이다.
대니자르 하프너(Danijar Hafner) 등은 잠재 공간 월드 모델을 계속 발전시켰다.
| 연도 | 모델 | 내용 |
|---|---|---|
| 2018 | PlaNet | 픽셀 관측에서 결정적·확률적 성분을 함께 가진 잠재 동역학 모델을 배우고, 잠재 공간에서 온라인 계획으로 행동을 고름[5] |
| 2019 | Dreamer | 월드 모델이 상상한 궤적 위에서 가치 기울기를 역전파해 정책을 학습. 시각 제어 과제 20개에서 데이터 효율과 최종 성능 모두 기존 방법을 넘음[6] |
| 2020 | DreamerV2 | 이산 잠재 표현을 써서, 따로 학습한 월드 모델 안에서만 행동을 배워 아타리 55개 게임에서 사람 수준에 도달한 첫 에이전트[7] |
| 2023 | DreamerV3 | 하나의 설정으로 150여 개 과제에서 전용 알고리즘을 앞섬. 사람 데이터나 커리큘럼 없이 마인크래프트에서 다이아몬드를 캔 첫 알고리즘. 2025년 《네이처》에 실림[8] |
딥마인드의 MuZero(2019)는 화면을 그대로 복원하는 대신 계획에 직접 필요한 값(보상, 정책, 가치)만 예측하는 모델을 학습해 몬테카를로 트리 탐색과 결합했다. 규칙을 알려주지 않고도 바둑, 체스, 쇼기에서 알파제로 수준에 이르렀다.[9]
딥 러닝 연구자 얀 르쿤(Yann LeCun)은 2022년 6월 공개한 입장 논문 〈A Path Towards Autonomous Machine Intelligence〉에서, 사람과 동물이 적은 경험으로 빨리 배우는 이유는 세계가 어떻게 돌아가는지에 대한 예측 모델을 갖고 있기 때문이라고 주장했다.[10] 그가 제안한 에이전트는 인지(perception), 월드 모델, 비용(cost), 행위자(actor), 단기 기억, 이 모듈들을 과제에 맞게 조정하는 구성기(configurator)로 이루어지고, 행위자는 월드 모델로 여러 행동의 결과를 예측해 비용이 가장 작은 행동열을 찾는다.
이 구상의 핵심이 결합 임베딩 예측 아키텍처(Joint Embedding Predictive Architecture, JEPA)다. 입력 x와 목표 y를 각각 인코더로 표현 공간에 옮긴 뒤, x의 표현에서 y의 표현을 예측하도록 학습한다. 픽셀을 하나하나 복원하는 생성 모델은 나뭇잎 흔들림처럼 예측할 수 없고 중요하지도 않은 세부까지 맞추느라 자원을 낭비하지만, 표현 공간에서 예측하면 예측 가능한 추상 정보에 집중할 수 있다는 논리다. 여러 시간 단위의 JEPA를 쌓은 계층형 H-JEPA도 제안했다.[10] 르쿤은 같은 논문에서 다음 토큰이나 픽셀을 생성하는 방식만으로는 이런 지능에 이르기 어렵다고 보았다.
메타는 이 구상을 실제 모델로 만들었다.
- I-JEPA(2023): 이미지 한 영역에서 같은 이미지의 다른 영역들의 표현을 예측한다. 손으로 설계한 데이터 증강 없이 의미 있는 표현을 배우며, ViT-Huge/14를 A100 16장으로 72시간 안에 학습했다.[11]
- V-JEPA 2(2025년 6월): 인터넷 영상 100만 시간 이상으로 행동 정보 없이 사전학습한 뒤, DROID 데이터셋의 로봇 영상 62시간 미만으로 행동 조건부 월드 모델 V-JEPA 2-AC를 후학습했다. 처음 보는 실험실의 프랭카 로봇팔에서 목표 이미지만 주고 계획해 물체를 집어 옮겼으며, 그 환경의 로봇 데이터나 과제별 보상은 쓰지 않았다.[12]
지금까지 나온 JEPA 모델은 모두 백본으로 트랜스포머를 쓴다. JEPA는 생성(복원) 방식의 대안이지 트랜스포머의 대안이 아니다. 르쿤은 2025년 말 메타를 떠나 월드 모델 스타트업 AMI Labs(Advanced Machine Intelligence)를 세웠다.[13]
OpenAI는 2024년 2월 15일 소라를 소개하며 낸 기술 보고서 제목을 〈Video generation models as world simulators〉로 붙였다. 보고서는 영상과 이미지의 잠재 표현을 시공간 패치로 잘라 처리하는 확산 트랜스포머를 대규모로 학습한 결과, 3차원 일관성, 장기 일관성과 물체 영속성, 사물과의 상호작용(먹은 햄버거에 남는 잇자국 등), 마인크래프트 화면과 플레이어 동시 시뮬레이션 같은 능력이 3차원이나 물체에 대한 명시적 귀납 편향 없이 규모만으로 나타났다고 했다. 그리고 영상 생성 모델의 확장이 물리 세계의 범용 시뮬레이터로 가는 유망한 길이라고 주장했다. 같은 보고서는 유리가 깨지는 것 같은 기본 물리 상호작용을 정확히 모사하지 못하고, 음식을 먹어도 물체 상태가 늘 올바르게 바뀌지는 않는다는 한계도 적었다.[14]
이 주장에는 반론이 많다. 르쿤처럼 표현 공간 예측을 주장하는 쪽은 그럴듯한 픽셀을 만드는 것과 세계의 인과 구조를 이해하는 것은 다르다고 보며, 실제로 생성 영상에서는 사람이 의자를 통과하거나 물체가 갑자기 생기는 오류가 자주 보인다. 메타가 2025년 공개한 직관 물리 벤치마크 IntPhys 2는 물체 영속성, 불변성, 시공간 연속성, 고체성 위반을 가려내는 과제에서 최신 모델들이 기본적인 시각 이해는 보이지만 직관 물리에서는 크게 고전한다고 보고했다.[15]
영상을 한 번에 만드는 데서 나아가, 사용자의 입력에 따라 다음 장면을 실시간으로 만들어 직접 돌아다닐 수 있는 세계를 생성하는 모델이 나왔다. 영상, 게임, 시뮬레이션의 경계가 흐려지는 분야다.
| 발표 | 모델 | 개발 | 내용 |
|---|---|---|---|
| 2024년 2월 | Genie | 구글 딥마인드 | 행동 라벨 없는 인터넷 영상만으로 학습한 110억 매개변수 모델. 시공간 영상 토크나이저, 자기회귀 동역학 모델, 잠재 행동 모델로 구성. 텍스트, 그림, 사진, 스케치 한 장에서 프레임 단위로 조작 가능한 2D 세계를 생성[16] |
| 2024년 8월 | GameNGen | 구글 | 고전 게임 《둠》을 신경망만으로 구동. TPU 1개에서 초당 20프레임으로 몇 분간 안정적으로 플레이. 짧은 영상에서 사람 평가자가 실제 게임과 거의 구별하지 못함[17] |
| 2024년 12월 | Genie 2 | 구글 딥마인드 | 이미지 한 장에서 조작 가능한 3차원 세계 생성으로 확장[18] |
| 2025년 8월 | Genie 3 | 구글 딥마인드 | 텍스트로 720p, 초당 24프레임의 세계를 실시간 생성하고 몇 분간 일관성 유지. 날씨를 바꾸거나 인물을 등장시키는 "프롬프트 가능한 세계 이벤트" 지원. 제한된 연구 프리뷰로 공개[19] |
| 2026년 2월 | 웨이모 월드 모델 | 웨이모 | Genie 3를 바탕으로 자율주행 시뮬레이션용으로 고친 모델. 카메라와 라이다 데이터를 함께 생성하고, 언어 프롬프트와 주행 입력, 장면 배치로 상황을 바꿀 수 있음[20] |
로봇과 자율주행차는 현실에서 데이터를 모으기가 비싸고 위험하다. 그래서 가상 세계에서 먼저 훈련하자는 피지컬 AI 흐름에서 월드 모델은 합성 데이터 생성기이자 정책 평가 환경 역할을 한다. Isaac Sim, MuJoCo 같은 기존 물리 엔진은 강체 역학 계산에는 정확하지만 사실적인 영상이나 다양한 현실 상황을 만들기는 어렵기 때문에, 신경망 월드 모델로 이를 보완한다.
엔비디아는 2025년 1월 6일 CES에서 월드 파운데이션 모델 플랫폼 Cosmos를 발표했다. 생성형 월드 파운데이션 모델, 영상 토크나이저, 안전 가드레일, 학습 데이터용 영상 정제 파이프라인으로 구성되며, 엔비디아 오픈 모델 라이선스로 배포되었다. 발표 당시 1X, 어질리티, 피규어 AI, 우버 등이 초기 채택 기업으로 소개되었다.[21][22] 이후 나온 주요 구성 요소는 다음과 같다.
- Cosmos-Predict: 텍스트, 이미지, 영상 입력에서 미래 장면 영상을 생성한다.
- Cosmos-Transfer: 분할 맵, 깊이 맵, 윤곽선 같은 공간 제어 입력을 사실적인 영상으로 바꾼다. 시뮬레이터 영상을 실사처럼 바꾸는 Sim2Real 데이터 증강에 쓴다.[23]
- Cosmos-Reason: 영상을 보고 물리 상식과 다음 행동을 긴 사고 사슬로 추론해 자연어로 답하는 멀티모달 모델(7B, 56B).[24]
- Cosmos 3(2026년 6월): 추론, 세계 시뮬레이션, 행동 생성을 한 모델로 합친 공개 가중치 모델. 16B 규모의 Nano 등으로 나왔다.[25]
비전-언어-행동 모델(VLA)을 넓은 의미의 월드 모델로 보는 시각도 있다. 다만 VLA는 가상 세계를 만들어 내는 대신 실제 로봇의 행동을 출력한다는 점에서 역할이 다르고, 월드 모델은 VLA를 학습시키거나 평가하는 도구로 쓰이는 경우가 많다.
- 정의 문제: 무엇이 월드 모델인지 합의가 없어 같은 이름 아래 강화 학습용 동역학 모델, 영상 생성기, 게임 생성기, 로봇 정책이 섞인다. 특정 벤치마크 성능으로 정의하자는 의견도 있다.
- 픽셀 대 표현: 모든 픽셀을 생성하는 방식(소라, Genie, Cosmos-Predict)과 추상 표현만 예측하는 방식(JEPA) 중 어느 쪽이 계획과 추론에 유리한지 논쟁이 이어진다.
- 평가: 영상 품질 지표는 물리 정확도나 실제 로봇 성공률을 잘 예측하지 못한다. 물리 법칙 위반 탐지, 장시간 일관성, 처음 보는 로봇으로의 제로샷 전이 같은 평가가 쓰인다.
- 오차 누적: 자기회귀로 장면을 이어 붙이면 작은 오차가 쌓여 몇 분 뒤에는 세계가 무너진다. 에이전트가 모델의 허점을 이용해 실제로는 통하지 않는 행동을 배우는 문제도 있다(보상 해킹과 비슷한 현상).
- 비용: 고품질 상호작용형 모델은 대규모 영상 데이터와 연산이 필요하다.
- 안전: 실제 로봇이나 차량의 결정을 월드 모델 시뮬레이션에 맡기려면 모델이 현실과 어긋나는 지점을 알아야 한다.
- ↑ Richard S. Sutton, 〈Integrated Architectures for Learning, Planning, and Reacting Based on Approximating Dynamic Programming〉, ICML 1990. doi:10.1016/B978-1-55860-141-3.50030-4
- ↑ 1990: Planning & Reinforcement Learning with Recurrent World Models and Artificial Curiosity, Jürgen Schmidhuber.
- ↑ 3.0 3.1 David Ha, Jürgen Schmidhuber, 〈World Models〉, 2018. arXiv:1803.10122
- ↑ David Ha, Jürgen Schmidhuber, 〈Recurrent World Models Facilitate Policy Evolution〉, NeurIPS 2018. arXiv:1809.01999
- ↑ Danijar Hafner 외, 〈Learning Latent Dynamics for Planning from Pixels〉, ICML 2019. arXiv:1811.04551
- ↑ Danijar Hafner 외, 〈Dream to Control: Learning Behaviors by Latent Imagination〉, ICLR 2020. arXiv:1912.01603
- ↑ Danijar Hafner 외, 〈Mastering Atari with Discrete World Models〉, ICLR 2021. arXiv:2010.02193
- ↑ Danijar Hafner 외, 〈Mastering Diverse Domains through World Models〉, 2023. arXiv:2301.04104 / 《Nature》 640, 2025. doi:10.1038/s41586-025-08744-2
- ↑ Julian Schrittwieser 외, 〈Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model〉, 《Nature》 588, 2020. arXiv:1911.08265
- ↑ 10.0 10.1 10.2 Yann LeCun, 〈A Path Towards Autonomous Machine Intelligence〉, Version 0.9.2, 2022-06-27. OpenReview
- ↑ Mahmoud Assran 외, 〈Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture〉, ICCV 2023. arXiv:2301.08243
- ↑ Mido Assran 외, 〈V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning〉, 2025. arXiv:2506.09985
- ↑ Yann LeCun confirms his new 'world model' startup, TechCrunch, 2025-12-19.
- ↑ Video generation models as world simulators, OpenAI, 2024-02-15.
- ↑ Florian Bordes 외, 〈IntPhys 2: Benchmarking Intuitive Physics Understanding In Complex Synthetic Environments〉, 2025. arXiv:2506.09849
- ↑ Jake Bruce 외, 〈Genie: Generative Interactive Environments〉, ICML 2024. arXiv:2402.15391
- ↑ Dani Valevski 외, 〈Diffusion Models Are Real-Time Game Engines〉, ICLR 2025. arXiv:2408.14837
- ↑ Genie 2: A large-scale foundation world model, Google DeepMind, 2024-12-04.
- ↑ Genie 3: A new frontier for world models, Google DeepMind, 2025-08-05.
- ↑ The Waymo World Model: A New Frontier for Autonomous Driving Simulation, Waymo, 2026-02.
- ↑ NVIDIA Launches Cosmos World Foundation Model Platform to Accelerate Physical AI Development, NVIDIA, 2025-01-06.
- ↑ NVIDIA, 〈Cosmos World Foundation Model Platform for Physical AI〉, 2025. arXiv:2501.03575
- ↑ NVIDIA, 〈Cosmos-Transfer1: Conditional World Generation with Adaptive Multimodal Control〉, 2025. arXiv:2503.14492
- ↑ NVIDIA, 〈Cosmos-Reason1: From Physical Common Sense To Embodied Reasoning〉, 2025. arXiv:2503.15558
- ↑ Welcome NVIDIA Cosmos 3: The First Open Omni-model for Physical AI Reasoning and Action, Hugging Face 블로그(NVIDIA), 2026-06-01.
- ↑ Kenneth Li 외, 〈Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task〉, ICLR 2023. arXiv:2210.13382
- World Models 대화형 논문, David Ha, Jürgen Schmidhuber
- Thomas M. Moerland 외, 〈Model-based Reinforcement Learning: A Survey〉, 《Foundations and Trends in Machine Learning》 16(1), 2023. doi:10.1561/2200000086
- Introducing the V-JEPA 2 world model and new benchmarks for physical reasoning, Meta AI, 2025-06-11