상태 공간 모델

State Space Model; SSM; 상태 공간 모델
제어 이론의 선형 상태 공간 방정식을 신경망 층으로 쓰는 시퀀스 모델로, 학습은 병렬로 하고 추론은 고정 크기 상태를 갱신하는 순환 방식으로 하는 구조

딥 러닝에서 상태 공간 모델(State Space Model, SSM)은 제어 공학과 신호 처리의 상태 공간 표현을 신경망 층으로 가져온 시퀀스 모델 계열이다. 입력 시퀀스가 들어올 때마다 크기가 고정된 내부 상태를 선형 방정식으로 갱신하고, 그 상태에서 출력을 읽어 낸다. 트랜스포머의 셀프 어텐션이 모든 토큰 쌍을 비교해 길이의 제곱에 비례하는 계산과 길이에 비례해 커지는 KV 캐시를 쓰는 데 비해, SSM은 학습 계산이 길이에 거의 선형이고 생성할 때 토큰당 계산과 메모리가 일정하다.

2020~2021년 앨버트 구(Albert Gu), 트리 다오(Tri Dao), 크리스토퍼 레(Christopher Ré) 등 스탠퍼드 연구진의 HiPPO, LSSL, S4로 시작해 매우 긴 시퀀스 벤치마크에서 두각을 나타냈고^[1], 2023년 입력에 따라 매개변수가 바뀌는 선택적 SSM인 Mamba가 언어 모델링에서 같은 크기의 트랜스포머와 맞먹는 성능을 보이며 트랜스포머의 대안으로 주목받았다.^[2] 2024년 이후에는 트랜스포머를 완전히 대체하기보다 어텐션 층 일부와 SSM 층 다수를 섞은 하이브리드 모델이 산업계에서 나오고 있다.

제어 이론의 상태 공간 표현과의 관계

제어 이론에서 선형 시불변 시스템의 상태 공간 표현은 다음과 같다.

$x^{'} (t) = A x (t) + B u (t), y (t) = C x (t) + D u (t)$

$u (t)$ 는 입력, $x (t)$ 는 N차원 상태, $y (t)$ 는 출력이다. A는 상태 전이 행렬, B는 입력 행렬, C는 출력 행렬, D는 입력이 출력으로 바로 가는 직접 전달 항이다. 제어 이론에서는 물리 시스템을 알고 이 행렬들을 정한 뒤 칼만 필터 같은 방법으로 상태를 추정하거나 제어기를 설계한다.

딥 러닝의 SSM은 같은 방정식을 쓰지만 목적이 다르다. A, B, C, D를 경사 하강법으로 학습하는 매개변수로 두고, 이 시스템 하나를 시퀀스 하나를 다른 시퀀스로 바꾸는 층으로 쓴다. 보통 은닉 차원의 채널마다 독립적인 단일 입력 단일 출력 SSM을 두고, 그 사이에 비선형 활성화와 선형층을 끼워 깊게 쌓는다. 2021년 LSSL 논문은 이 층이 순환 신경망, 시간 방향 합성곱, 신경 미분 방정식을 모두 일반화한다는 관점을 제시했다.^[3] 이 문서에서 말하는 SSM은 이 딥 러닝 시퀀스 층을 뜻하며, 통계학의 상태 공간 모형(은닉 마르코프 모형, 칼만 필터 계열)과는 구분된다.

동작 원리

이산화

텍스트 토큰처럼 이산 시퀀스에 쓰려면 연속 시간 방정식을 간격 $Δ$ 로 이산화한다. S4와 Mamba는 영차 유지(zero-order hold) 방식을 쓴다.^[2]

$\bar{A} = \exp (Δ A), \bar{B} = (Δ A)^{- 1} (\exp (Δ A) - I) Δ B$

$h_{t} = \bar{A} h_{t - 1} + \bar{B} x_{t}, y_{t} = C h_{t}$

여기서는 관례에 따라 상태를 $h_{t}$ , 입력을 $x_{t}$ 로 썼다. $Δ$ 는 한 단계가 연속 시간에서 얼마의 길이인지, 즉 입력을 얼마나 오래 반영할지를 정하는 학습 매개변수다.

순환 형태와 합성곱 형태

위 식은 RNN과 같은 순환 형태다. 토큰 하나가 들어올 때마다 고정 크기 상태 $h_{t}$ 만 갱신하면 되므로 생성(추론)에 적합하다. 그런데 A, B, C가 시점과 무관하면(선형 시불변) 식을 펼쳐 출력 전체를 입력과 커널의 합성곱으로 쓸 수 있다.

$\bar{K} = (C \bar{B}, C \bar{A} \bar{B}, C {\bar{A}}^{2} \bar{B}, \dots, C {\bar{A}}^{L - 1} \bar{B}), y = x * \bar{K}$

합성곱은 고속 푸리에 변환(FFT)으로 시퀀스 전체를 한꺼번에 계산할 수 있으므로 학습 때 병렬화가 된다. "학습은 합성곱으로 병렬, 추론은 순환으로 효율적"이라는 이중 성질이 초기 SSM의 핵심 장점이었다.

장기 기억과 A 행렬

기본 RNN처럼 A를 무작위로 초기화하면 ${\bar{A}}^{k}$ 가 빠르게 0으로 줄거나 발산해 먼 과거를 기억하지 못한다. 2020년 HiPPO는 지금까지의 입력 이력을 다항식 기저에 온라인으로 사영해 압축하는 최적의 A 행렬을 유도했다. 이 틀은 GRU 같은 RNN의 게이트 메커니즘을 일반화한다고도 밝혔다.^[4] S4 이후 모델들은 A를 이 HiPPO 행렬이나 그 대각 근사로 초기화한다.

주요 모델

모델(연도)	핵심 아이디어	보고된 결과
HiPPO(2020)^[4]	다항식 사영으로 연속 신호 이력을 압축하는 A 행렬	순열 MNIST 98.3%
LSSL(2021)^[3]	연속 시간 선형 상태 공간 층을 깊게 쌓음	길이 16,000 음성 분류에서 기존 대비 24%포인트 향상. 계산·메모리 비용이 커서 실용성 한계
S4(2021)^[1]	A를 "정규 행렬 + 저랭크 보정"으로 매개변수화해 커널 계산을 효율화	Long Range Arena 전 과제 최고 기록, 길이 16K의 Path-X를 처음으로 풂. 생성 속도는 트랜스포머의 60배
DSS·S4D(2022)^[5]^[6]	저랭크 보정 없이 대각 A만으로도 S4와 비슷한 성능	S4D는 커널 계산이 코드 두 줄. LRA 평균 85%
S5(2022)^[7]	채널별 SSM 여러 개 대신 다중 입력 다중 출력 SSM 하나, 병렬 스캔으로 계산	LRA 평균 87.4%, Path-X 98.5%
H3(2022)^[8]	기존 SSM이 앞선 토큰 회상과 토큰 간 비교에 약함을 진단하고 이를 보완한 층 설계	어텐션 층 2개를 남긴 하이브리드가 OpenWebText에서 트랜스포머보다 퍼플렉서티 1.0 낮음
Hyena(2023)^[9]	암묵적으로 매개변수화한 긴 합성곱과 데이터 의존 게이트를 교차	길이 2K에서 학습 연산 20% 적게 트랜스포머 품질. 64K에서 최적화된 어텐션보다 100배 빠름
Mamba(2023)^[2]	선택적 SSM: $Δ, B, C$ 를 입력의 함수로 만들고 하드웨어 인식 병렬 스캔으로 계산	트랜스포머 대비 5배 추론 처리량. Mamba-3B가 같은 크기 트랜스포머를 앞서고 두 배 크기와 대등
Mamba-2(2024)^[10]	구조적 상태 공간 쌍대성(SSD): SSM과 어텐션 변형을 반분리 행렬로 연결	핵심 층이 Mamba보다 2~8배 빠르면서 트랜스포머와 경쟁
Mamba-3(2026)^[11]	더 표현력 있는 이산화, 복소수 상태 갱신, 다중 입력 다중 출력(MIMO) 정식화	15억 매개변수 규모에서 다음으로 좋은 모델(Gated DeltaNet)보다 평균 정확도 1.8%포인트 향상(MIMO 포함). Mamba-2의 절반 상태 크기로 비슷한 퍼플렉서티

Mamba의 선택 메커니즘

S4 계열은 A, B, C, Δ가 입력과 무관해 모든 토큰을 같은 방식으로 상태에 섞는다. 이 성질 덕분에 합성곱으로 계산할 수 있지만, "이 토큰은 기억하고 저 토큰은 무시한다"는 내용 기반 판단을 하지 못한다. 구와 다오는 이것이 언어 같은 이산 데이터에서 SSM이 어텐션에 뒤지는 핵심 약점이라고 보았다.^[2]

Mamba는 각 토큰에서 $Δ_{t}$ , $B_{t}$ , $C_{t}$ 를 선형 투영으로 계산한다. A 자체는 입력과 무관한 학습 매개변수로 남지만 이산화된 ${\bar{A}}_{t} = \exp (Δ_{t} A)$ 는 $Δ_{t}$ 를 통해 토큰마다 달라진다. $Δ_{t}$ 가 크면 상태를 현재 입력으로 크게 갱신하고(이전 상태를 잊고 새 정보에 집중), 작으면 현재 입력을 거의 무시하고 상태를 유지한다. RNN의 게이트와 같은 역할이다.

대가로 시불변성이 깨져 합성곱(FFT) 계산을 쓸 수 없다. Mamba는 GPU 메모리 계층을 고려해 확장된 상태를 고속 SRAM 안에서만 만들고 HBM에는 쓰지 않는 병렬 스캔 커널로 이를 해결했다. 플래시 어텐션과 같은 IO 인식 설계로, 두 연구 모두 트리 다오가 참여했다. Mamba 블록은 어텐션은 물론 별도의 MLP 블록도 없이 SSM과 게이트를 한 블록에 묶은 단순한 구조다.^[2]

Mamba-2와 상태 공간 쌍대성

Mamba-2 논문은 A를 스칼라 곱 형태로 제한한 SSM이 특정 마스크를 쓴 선형 어텐션과 수학적으로 같은 계산이라는 것을 보였다. 같은 연산을 순환(선형 시간)으로도, 행렬 곱 위주의 어텐션 형태(제곱 시간이지만 텐서 코어에 유리)로도 계산할 수 있으므로, 구간 단위로 두 방식을 섞어 행렬 곱 하드웨어를 잘 쓰는 알고리즘을 만들었다.^[10] 이 관점에서 SSM, 선형 어텐션, 게이트 선형 RNN은 하나의 계열로 묶인다.

하이브리드 모델

순수 SSM은 고정 크기 상태에 과거를 압축하므로, 긴 문맥에서 특정 토큰을 정확히 찾아오는 작업에 약하다는 분석이 H3 때부터 나왔다.^[8] 그래서 SSM 층 다수에 어텐션 층을 조금 섞어, 대부분의 계산은 SSM으로 싸게 하고 정확한 회상은 어텐션에 맡기는 하이브리드 설계가 산업계 모델에서 채택되고 있다.

모델	발표	구성	공개된 특징
Jamba(AI21 랩스)	2024년 3월	트랜스포머 층과 Mamba 층을 1:7로 교차, 일부 층에 MoE	총 520억, 활성 120억 매개변수. 256K 토큰 컨텍스트. 긴 컨텍스트에서 Mixtral 8x7B 대비 3배 처리량^[16]^[17]
Samba(마이크로소프트)	2024년 6월	Mamba와 슬라이딩 창 어텐션을 층별로 결합	38억 매개변수. 128K 프롬프트에서 GQA 트랜스포머보다 3.73배 처리량^[18]
Nemotron-H(엔비디아)	2025년 4월	셀프 어텐션 층 대부분을 Mamba 층으로 교체	80억·560억 모델. 비슷한 크기 트랜스포머와 대등하거나 나은 정확도에 최대 3배 빠른 추론^[19]
Granite 4.0(IBM)	2025년 10월	Mamba-2 층과 트랜스포머 블록을 9:1로 배치, 일부 MoE	긴 입력 처리에 필요한 RAM을 기존 트랜스포머 대비 70% 이상 줄인다고 밝힘^[20]

트랜스포머와 비교

항목	트랜스포머(셀프 어텐션)	SSM(Mamba 계열)
학습 계산량	길이 n에 대해 $O (n^{2})$	$O (n)$ (병렬 스캔 또는 구간별 행렬 곱)
생성 시 토큰당 계산	컨텍스트 길이에 비례	일정
생성 시 메모리	KV 캐시가 길이에 비례해 커짐	고정 크기 상태
과거 정보 접근	모든 과거 토큰을 그대로 보관하고 직접 조회	고정 크기 상태에 압축. 손실 압축
강한 작업	복사, 정확한 회상, 문맥 내 검색	매우 긴 시퀀스, 연속 신호(음성·유전체 등), 처리량이 중요한 추론
약한 작업	매우 긴 입력의 비용	긴 문맥 속 특정 정보의 정확한 회상
생태계	하드웨어·소프트웨어 최적화가 성숙	전용 GPU 커널 의존도가 높음

한계와 평가

회상 능력: 고정 크기 상태라는 구조상 문맥의 모든 내용을 보존할 수 없다. 하이브리드 설계가 나온 이유다.
하드웨어 의존성: 선택적 SSM은 합성곱 형태를 쓸 수 없어 효율이 전용 스캔 커널에 크게 좌우된다. H3 논문도 SSM이 이론상 거의 선형인데도 하드웨어 활용률이 낮아 실제로는 트랜스포머보다 느렸다고 지적했다.^[8] Mamba-3 논문 역시 선형 모델의 이론상 선형 추론이 실제로는 하드웨어 비효율적인 경우가 많다고 썼다.^[11]
생태계와 최적화: 트랜스포머는 플래시 어텐션, GQA, KV 캐시 압축 같은 최적화가 계속 나와 SSM과의 효율 격차를 줄이고 있다.

그럼에도 추론 시간에 연산을 많이 쓰는 추론 모델과 긴 컨텍스트 수요가 늘면서, 토큰당 비용이 일정한 SSM 층의 가치는 커지고 있다. Nemotron-H와 Mamba-3 논문은 모두 추론 효율을 설계 동기로 내세웠다.^[19]^[11]

같이 보기

각주

↑ ^1.0 ^1.1 Albert Gu, Karan Goel, Christopher Ré, 〈Efficiently Modeling Long Sequences with Structured State Spaces〉, ICLR 2022. arXiv:2111.00396
↑ ^2.0 ^2.1 ^2.2 ^2.3 ^2.4 Albert Gu, Tri Dao, 〈Mamba: Linear-Time Sequence Modeling with Selective State Spaces〉, 2023. arXiv:2312.00752
↑ ^3.0 ^3.1 Albert Gu 외, 〈Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers〉, NeurIPS 2021. arXiv:2110.13985
↑ ^4.0 ^4.1 Albert Gu 외, 〈HiPPO: Recurrent Memory with Optimal Polynomial Projections〉, NeurIPS 2020. arXiv:2008.07669
↑ Ankit Gupta, Albert Gu, Jonathan Berant, 〈Diagonal State Spaces are as Effective as Structured State Spaces〉, NeurIPS 2022. arXiv:2203.14343
↑ Albert Gu 외, 〈On the Parameterization and Initialization of Diagonal State Space Models〉, NeurIPS 2022. arXiv:2206.11893
↑ Jimmy T. H. Smith, Andrew Warrington, Scott W. Linderman, 〈Simplified State Space Layers for Sequence Modeling〉, ICLR 2023. arXiv:2208.04933
↑ ^8.0 ^8.1 ^8.2 Daniel Y. Fu 외, 〈Hungry Hungry Hippos: Towards Language Modeling with State Space Models〉, ICLR 2023. arXiv:2212.14052
↑ Michael Poli 외, 〈Hyena Hierarchy: Towards Larger Convolutional Language Models〉, ICML 2023. arXiv:2302.10866
↑ ^10.0 ^10.1 Tri Dao, Albert Gu, 〈Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality〉, ICML 2024. arXiv:2405.21060
↑ ^11.0 ^11.1 ^11.2 Aakash Lahoti 외, 〈Mamba-3: Improved Sequence Modeling using State Space Principles〉, ICLR 2026. arXiv:2603.15569
↑ Bo Peng 외, 〈RWKV: Reinventing RNNs for the Transformer Era〉, Findings of EMNLP 2023. arXiv:2305.13048
↑ Songlin Yang 외, 〈Gated Linear Attention Transformers with Hardware-Efficient Training〉, ICML 2024. arXiv:2312.06635
↑ Soham De 외, 〈Griffin: Mixing Gated Linear Recurrences with Local Attention for Efficient Language Models〉, 2024. arXiv:2402.19427
↑ Maximilian Beck 외, 〈xLSTM: Extended Long Short-Term Memory〉, NeurIPS 2024. arXiv:2405.04517
↑ AI21 Labs, 〈Introducing Jamba〉, 2024년 3월 28일. ai21.com
↑ Opher Lieber 외, 〈Jamba: A Hybrid Transformer-Mamba Language Model〉, 2024. arXiv:2403.19887
↑ Liliang Ren 외, 〈Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling〉, ICLR 2025. arXiv:2406.07522
↑ ^19.0 ^19.1 NVIDIA, 〈Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models〉, 2025. arXiv:2504.03624
↑ IBM, 〈IBM Granite 4.0: hyper-efficient, high performance hybrid models for enterprise〉, 2025년 10월 2일. ibm.com

참고 문헌

[s4-1] 1.0 ^1.1 Albert Gu, Karan Goel, Christopher Ré, 〈Efficiently Modeling Long Sequences with Structured State Spaces〉, ICLR 2022. arXiv:2111.00396

[mamba-2] 2.0 ^2.1 ^2.2 ^2.3 ^2.4 Albert Gu, Tri Dao, 〈Mamba: Linear-Time Sequence Modeling with Selective State Spaces〉, 2023. arXiv:2312.00752

[lssl-3] 3.0 ^3.1 Albert Gu 외, 〈Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers〉, NeurIPS 2021. arXiv:2110.13985

[hippo-4] 4.0 ^4.1 Albert Gu 외, 〈HiPPO: Recurrent Memory with Optimal Polynomial Projections〉, NeurIPS 2020. arXiv:2008.07669

[dss-5] Ankit Gupta, Albert Gu, Jonathan Berant, 〈Diagonal State Spaces are as Effective as Structured State Spaces〉, NeurIPS 2022. arXiv:2203.14343

[s4d-6] Albert Gu 외, 〈On the Parameterization and Initialization of Diagonal State Space Models〉, NeurIPS 2022. arXiv:2206.11893

[s5-7] Jimmy T. H. Smith, Andrew Warrington, Scott W. Linderman, 〈Simplified State Space Layers for Sequence Modeling〉, ICLR 2023. arXiv:2208.04933

[h3-8] 8.0 ^8.1 ^8.2 Daniel Y. Fu 외, 〈Hungry Hungry Hippos: Towards Language Modeling with State Space Models〉, ICLR 2023. arXiv:2212.14052

[hyena-9] Michael Poli 외, 〈Hyena Hierarchy: Towards Larger Convolutional Language Models〉, ICML 2023. arXiv:2302.10866

[mamba2-10] 10.0 ^10.1 Tri Dao, Albert Gu, 〈Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality〉, ICML 2024. arXiv:2405.21060

[mamba3-11] 11.0 ^11.1 ^11.2 Aakash Lahoti 외, 〈Mamba-3: Improved Sequence Modeling using State Space Principles〉, ICLR 2026. arXiv:2603.15569

[rwkv-12] Bo Peng 외, 〈RWKV: Reinventing RNNs for the Transformer Era〉, Findings of EMNLP 2023. arXiv:2305.13048

[gla-13] Songlin Yang 외, 〈Gated Linear Attention Transformers with Hardware-Efficient Training〉, ICML 2024. arXiv:2312.06635

[griffin-14] Soham De 외, 〈Griffin: Mixing Gated Linear Recurrences with Local Attention for Efficient Language Models〉, 2024. arXiv:2402.19427

[xlstm-15] Maximilian Beck 외, 〈xLSTM: Extended Long Short-Term Memory〉, NeurIPS 2024. arXiv:2405.04517

[jamba-16] AI21 Labs, 〈Introducing Jamba〉, 2024년 3월 28일. ai21.com

[jambapaper-17] Opher Lieber 외, 〈Jamba: A Hybrid Transformer-Mamba Language Model〉, 2024. arXiv:2403.19887

[samba-18] Liliang Ren 외, 〈Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling〉, ICLR 2025. arXiv:2406.07522

[nemotronh-19] 19.0 ^19.1 NVIDIA, 〈Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models〉, 2025. arXiv:2504.03624

[granite-20] IBM, 〈IBM Granite 4.0: hyper-efficient, high performance hybrid models for enterprise〉, 2025년 10월 2일. ibm.com

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]