비전-언어-행동 모델
더 많은 작업
- Vision-Language-Action Model, VLA; 비전-언어-행동 모델
- 카메라 영상과 자연어 지시를 받아 로봇이 실행할 행동을 직접 출력하는 멀티모달 파운데이션 모델
비전-언어-행동 모델(VLA)은 "빨간 컵을 집어 쟁반에 올려라" 같은 지시와 로봇 카메라 영상을 입력받아, 팔의 이동량, 회전, 그리퍼 개폐 같은 저수준 제어 명령을 내놓는 모델이다. 보통 인터넷 규모 데이터로 학습한 비전-언어 모델(VLM)을 로봇 시연 데이터로 미세조정해 만든다. 웹에서 배운 사물과 언어에 대한 지식을 로봇 제어로 옮겨, 학습 때 본 적 없는 물체나 명령에도 대응하게 하려는 것이 목표다. 이 이름은 2023년 7월 구글 딥마인드의 RT-2 논문이 처음 붙였다.[1]
VLA는 로봇에 쓰는 생성형 AI라 할 수 있고, 피지컬 AI와 임보디드 인공지능의 핵심 기술로 꼽힌다. 개념 범위는 좁은 쪽부터 VLA, 로봇 파운데이션 모델, 피지컬 AI 순이다. VLA는 시각, 언어, 행동 세 요소를 모두 갖춰야 하고, 로봇 파운데이션 모델은 로봇에 쓰는 범용 사전학습 모델이면 되며(언어 입력이 없는 시각 내비게이션 모델 PACT, ViNT 등도 포함), 피지컬 AI는 시연 동작을 그대로 옮기는 특수 목적 모델까지 아우른다.
| 부분 | 역할 | 예 |
|---|---|---|
| 비전-언어 백본 | 카메라 이미지와 지시문을 함께 인코딩하고 장면과 과제를 이해 | PaLI-X·PaLM-E(RT-2), Llama 2 + DINOv2·SigLIP(OpenVLA), PaliGemma(π0) |
| 상태 입력 | 관절 각도, 그리퍼 상태 같은 로봇 고유 감각(proprioception) | 대부분의 모델 |
| 행동 출력부 | 백본의 표현을 실제 제어 명령으로 변환 | 행동 토큰 디코딩, 확산·플로 매칭 액션 헤드 |
로봇 행동을 어떤 형식으로 내보내느냐가 VLA 설계의 핵심 선택이다.
| 방식 | 동작 | 대표 모델 | 특징 |
|---|---|---|---|
| 이산 행동 토큰 | 연속 값인 행동을 구간으로 잘라 토큰으로 만들고, 언어 모델이 글자를 생성하듯 행동 토큰을 생성 | RT-2, OpenVLA | 언어 모델 구조를 그대로 쓰므로 학습이 단순하다. 정밀도와 제어 주파수에 한계 |
| 압축 행동 토큰 | 행동 시퀀스를 이산 코사인 변환(DCT)으로 주파수 공간에 옮겨 압축한 뒤 토큰화(FAST) | π0-FAST | 고주파 정밀 작업에서도 자기회귀 방식 사용 가능 |
| 연속 행동(확산·플로 매칭) | 확산 모델이나 플로 매칭으로 여러 단계의 연속 행동 묶음(action chunk)을 한 번에 생성 | Octo, π0, GR00T N1, SmolVLA | 부드럽고 빠른 제어, 자유도가 많은 로봇에 유리 |
RT-2는 6자유도 말단 장치(end effector)의 위치·회전 변화량, 그리퍼 상태, 종료 신호를 각각 256개 구간으로 나눠 숫자 토큰으로 표현했고, 이렇게 하면 로봇 행동을 자연어 답과 같은 형식으로 학습 데이터에 섞을 수 있다.[1] 같은 "행동 토큰"이라도 VLA의 행동 토큰은 물리적 구동기를 움직이는 값이며, LLM이 API를 부르는 도구 호출과는 다르다. 단순 구간 나누기는 고주파 데이터에서 성능이 크게 떨어진다는 문제가 있어, 피지컬 인텔리전스는 2025년 1월 DCT 기반 토크나이저 FAST를 내놓고 로봇 궤적 100만 개로 학습한 범용 토크나이저 FAST+를 공개했다.[2]
RT-2, OpenVLA, π0는 한 네트워크가 장면 이해부터 행동까지 한 번에 처리한다. 반면 피규어 AI의 Helix와 엔비디아의 GR00T N1은 사람의 빠른 사고와 느린 사고에 빗대어 두 부분으로 나눈다. 느린 "시스템 2"는 큰 VLM으로 장면과 지시를 이해하고, 빠른 "시스템 1"은 그 표현을 받아 고주파 제어 명령을 낸다. Helix의 경우 시스템 2는 초당 7~9회, 시스템 1은 초당 200회로 돈다.[3] 두 부분은 끝단 간(end-to-end)으로 함께 학습한다.
LLM이나 VLM을 고수준 계획에 쓰고, 실제 동작은 따로 학습한 기술(skill)이나 제어기에 맡기는 방식이 먼저 나왔다.
| 연도 | 연구 | 내용 |
|---|---|---|
| 2021 | CLIPort | CLIP의 의미 정보와 공간 정보를 결합한 조작 정책[4] |
| 2022 | SayCan | LLM이 제안한 기술 중 로봇이 지금 실행 가능한 것을 가치 함수로 골라 긴 지시를 수행[5] |
| 2022 | Inner Monologue, Code as Policies | 환경 피드백을 언어로 받아 계획을 고치거나, LLM이 로봇 제어 코드를 직접 작성[6][7] |
| 2023 | PaLM-E | 이미지와 로봇 상태를 언어 모델 입력에 섞은 5,620억 매개변수 체화 멀티모달 모델. 로봇 계획과 VQA를 함께 수행[8] |
같은 시기 로봇 정책 자체도 커졌다. 구글의 RT-1(2022년 12월)은 실제 로봇으로 대규모 데이터를 모아 학습한 트랜스포머 정책으로, 데이터와 모델 규모에 따라 일반화가 좋아짐을 보였다.[9] 2023년에는 사람 원격 조종 시연으로 양팔 정밀 조작을 배우는 ACT(ALOHA)와,[10] 로봇 행동을 조건부 확산 과정으로 생성해 4개 벤치마크 12개 과제에서 기존 방법보다 평균 46.9% 나은 성능을 낸 Diffusion Policy가 나왔다.[11] Diffusion Policy 이후 확산이나 플로 매칭 모듈로 행동을 생성하는 설계가 퍼졌다.
| 발표 | 모델 | 개발 | 특징 |
|---|---|---|---|
| 2023년 7월 | RT-2 | 구글 딥마인드 | VLM(PaLI-X 55B, PaLM-E 12B)을 로봇 궤적과 웹 비전-언어 과제로 함께 미세조정(co-fine-tuning). 로봇 데이터에 없던 명령(특정 숫자나 아이콘 위에 놓기)과 간단한 추론(가장 작은 물체 집기)을 수행. 사고 사슬을 더하면 즉석 망치로 돌을 고르는 식의 다단계 추론도 보임[1] |
| 2023년 10월 | RT-X | Open X-Embodiment 협력단 | 22종 로봇 데이터로 학습해 다른 로봇의 경험이 성능을 높이는 양의 전이를 확인[12] |
| 2024년 5월 | Octo | UC 버클리 등 | Open X-Embodiment 궤적 80만 개로 학습한 공개 범용 정책. 언어나 목표 이미지로 지시하고, 새 센서와 행동 공간에 소비자용 GPU로 몇 시간 안에 미세조정. 확산 기반 행동 헤드[13] |
| 2024년 6월 | OpenVLA | 스탠퍼드 대학교 등 | 실제 로봇 시연 97만 건으로 학습한 70억 매개변수 공개 VLA. Llama 2에 DINOv2와 SigLIP 특징을 합친 비전 인코더. 29개 과제에서 매개변수가 7배 많은 RT-2-X(55B)보다 절대 성공률 16.5%p 높음. LoRA로 소비자용 GPU에서 미세조정, 양자화로 서빙[14] |
| 2024년 10월 | π0 | 피지컬 인텔리전스 | 30억 매개변수 VLM에 플로 매칭 행동 출력을 붙여 최대 초당 50회 연속 제어. 8종 로봇 데이터로 빨래 개기, 식탁 치우기, 상자 조립 수행. 2025년 2월 4일 코드와 가중치를 openpi로 공개[15][16][17] |
| 2025년 2월 | Helix | 피규어 AI | 휴머노이드 상체 전체(손목, 손가락, 몸통, 머리)를 고주파로 제어하는 이중 시스템 VLA. 원격 조종 데이터 약 500시간으로 학습[3] |
| 2025년 3월 | GR00T N1 | 엔비디아 | 휴머노이드용 공개 파운데이션 모델. VLM(시스템 2)과 확산 트랜스포머(시스템 1)의 이중 구조. 실제 로봇 궤적, 사람 영상, 합성 데이터를 섞어 학습[18][19] |
| 2025년 3월 | 제미나이 로보틱스 | 구글 딥마인드 | 제미나이 2.0 기반 VLA. 공간 이해를 강화한 Gemini Robotics-ER과 함께 발표. 시연 100개 정도로 새 단기 과제를 익히고 새 로봇 형태에 적응[20] |
| 2025년 4월 | π0.5 | 피지컬 인텔리전스 | 여러 로봇, 고수준 의미 예측, 웹 데이터를 함께 학습해 처음 들어가 본 집에서 부엌과 침실 정리 같은 긴 작업 수행[21] |
| 2025년 6월 | SmolVLA | 허깅 페이스 | 4억 5천만 매개변수 소형 공개 VLA. 커뮤니티가 공유한 LeRobot 데이터만으로 학습, 소비자용 하드웨어에서 동작, 비동기 추론 지원[22] |
테슬라 옵티머스는 어떤 종류의 모델을 쓰는지 기술 세부를 공개하지 않았다.
텍스트와 이미지는 인터넷에서 대량으로 얻을 수 있지만 로봇 행동 데이터는 그렇지 않다. 사람이 원격 조종으로 시연하거나 로봇이 직접 움직여야 하므로 비싸고 느리며, 로봇마다 관절 구성과 센서가 달라 데이터를 그대로 합치기도 어렵다. 그래서 여러 기관이 데이터를 표준 형식으로 모아 공유한다.
| 데이터셋 | 주도 | 규모와 특징 |
|---|---|---|
| Open X-Embodiment(2023) | 구글 딥마인드 등 21개 기관 | 22종 로봇, 527개 기술, 160,266개 과제, 100만 개 이상 궤적. RT-X, Octo, OpenVLA의 학습 데이터[12] |
| BridgeData | UC 버클리 등 | 원격 조종으로 모은 일상 사물 조작 데이터. V1, V2가 있음 |
| DROID(2024) | 다기관 협력 | 북미, 아시아, 유럽의 수집자 50명이 12개월 동안 564개 장면, 84개 과제에서 모은 시연 7만 6천 개(350시간)[23] |
| LeRobot 커뮤니티 데이터 | 허깅 페이스 | 저가 로봇팔(SO-100 등) 사용자가 공유한 데이터 |
데이터가 모자라기 때문에 VLA는 사람의 1인칭 영상, 시뮬레이션 합성 데이터, 웹 이미지-텍스트 데이터를 로봇 데이터와 함께 학습(co-training)하는 경우가 많다. 서로 다른 몸체(embodiment)의 데이터를 함께 써서 지식을 옮기는 것을 크로스 임바디먼트(cross-embodiment)라 한다.
- 모방 학습(imitation learning): 사람 시연의 상태-행동 쌍을 그대로 따라 하는 행동 복제(behavior cloning)가 VLA 학습의 중심이다. 동작이 자연스럽지만 시연 데이터 확보가 어렵다. 여기서 "전문가"는 특별한 기술자가 아니라 시연을 제공한 보통 사람을 뜻하는 경우가 많다.
- 강화 학습: 시뮬레이터에서 대규모로 시행착오를 거치게 할 수 있어 보행처럼 시연이 어려운 기술에 쓰인다. 시뮬레이션에서 배운 정책을 실제 로봇으로 옮기는 Sim2Real과, 그때 생기는 현실 격차(reality gap)가 핵심 과제다.
- 시뮬레이터: MuJoCo, 엔비디아 Isaac Sim과 학습 프레임워크 Isaac Lab 등이 쓰인다. 엔비디아는 2025년 3월 구글 딥마인드, 디즈니 리서치와 함께 로봇용 공개 물리 엔진 Newton을 개발한다고 발표했다.[19]
- 월드 모델: 물리 엔진만으로는 사실적인 영상과 다양한 상황을 만들기 어려워, 엔비디아 Cosmos 같은 신경망 월드 모델로 합성 데이터를 만들거나 정책을 평가한다.
로봇에 탑재하는 추론 장치로는 상용 GPU나 엔비디아 젯슨(Jetson) 계열 임베디드 컴퓨터가 쓰인다. 큰 VLM을 로봇 안에서 실시간으로 돌리기 어려워, 이중 시스템 설계, 소형 모델(SmolVLA), 양자화, 비동기 추론 같은 기법이 함께 쓰인다.
- 일반화: 학습 때 없던 환경, 물체, 명령에서 성공률이 크게 떨어진다. 처음 보는 가정집에서 일하는 것이 2025년에 들어서야 시연되었다.
- 데이터 규모: 로봇 데이터는 웹 데이터보다 몇 자릿수 작고, 표준화와 개인정보, 편향 문제도 있다.
- 속도와 정밀도: 수십억 매개변수 모델로 수십~수백 Hz 제어를 하려면 연산이 크다.
- 평가: 실제 로봇 실험은 재현이 어렵고 비싸 시뮬레이션 벤치마크(LIBERO 등)와 실물 평가 결과가 어긋나기도 한다.
- 안전: 물리 세계에서 잘못된 행동은 사람과 재산에 피해를 줄 수 있어, 행동 제약과 인간 감독이 필요하다.
- ↑ 1.0 1.1 1.2 Anthony Brohan 외, 〈RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control〉, 2023. arXiv:2307.15818
- ↑ Karl Pertsch 외, 〈FAST: Efficient Action Tokenization for Vision-Language-Action Models〉, 2025. arXiv:2501.09747
- ↑ 3.0 3.1 Helix: A Vision-Language-Action Model for Generalist Humanoid Control, Figure AI, 2025-02-20.
- ↑ Mohit Shridhar 외, 〈CLIPort: What and Where Pathways for Robotic Manipulation〉, CoRL 2021. arXiv:2109.12098
- ↑ Michael Ahn 외, 〈Do As I Can, Not As I Say: Grounding Language in Robotic Affordances〉, 2022. arXiv:2204.01691
- ↑ Wenlong Huang 외, 〈Inner Monologue: Embodied Reasoning through Planning with Language Models〉, 2022. arXiv:2207.05608
- ↑ Jacky Liang 외, 〈Code as Policies: Language Model Programs for Embodied Control〉, 2022. arXiv:2209.07753
- ↑ Danny Driess 외, 〈PaLM-E: An Embodied Multimodal Language Model〉, 2023. arXiv:2303.03378
- ↑ Anthony Brohan 외, 〈RT-1: Robotics Transformer for Real-World Control at Scale〉, 2022. arXiv:2212.06817
- ↑ Tony Z. Zhao 외, 〈Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware〉, 2023. arXiv:2304.13705
- ↑ Cheng Chi 외, 〈Diffusion Policy: Visuomotor Policy Learning via Action Diffusion〉, RSS 2023. arXiv:2303.04137
- ↑ 12.0 12.1 Open X-Embodiment Collaboration, 〈Open X-Embodiment: Robotic Learning Datasets and RT-X Models〉, 2023. arXiv:2310.08864
- ↑ Octo Model Team, 〈Octo: An Open-Source Generalist Robot Policy〉, 2024. arXiv:2405.12213
- ↑ Moo Jin Kim 외, 〈OpenVLA: An Open-Source Vision-Language-Action Model〉, 2024. arXiv:2406.09246
- ↑ π0: Our First Generalist Policy, Physical Intelligence, 2024-10-31.
- ↑ Kevin Black 외, 〈π0: A Vision-Language-Action Flow Model for General Robot Control〉, RSS 2025. arXiv:2410.24164
- ↑ Open Sourcing π0, Physical Intelligence, 2025-02-04.
- ↑ NVIDIA, 〈GR00T N1: An Open Foundation Model for Generalist Humanoid Robots〉, 2025. arXiv:2503.14734
- ↑ 19.0 19.1 NVIDIA Announces Isaac GR00T N1, NVIDIA, 2025-03-18.
- ↑ Gemini Robotics Team, 〈Gemini Robotics: Bringing AI into the Physical World〉, 2025. arXiv:2503.20020
- ↑ Physical Intelligence 외, 〈π0.5: a Vision-Language-Action Model with Open-World Generalization〉, 2025. arXiv:2504.16054
- ↑ SmolVLA: Efficient Vision-Language-Action Model trained on Lerobot Community Data, Hugging Face, 2025-06-03.
- ↑ Alexander Khazatsky 외, 〈DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset〉, RSS 2024. arXiv:2403.12945
- RT-2 프로젝트 페이지
- Open X-Embodiment 프로젝트 페이지
- Yueen Ma 외, 〈A Survey on Vision-Language-Action Models for Embodied AI〉, 2024. arXiv:2405.14093