신경망 처리 장치
더 많은 작업
- Neural Processing Unit, NPU; 신경망 처리 장치
- 인공 신경망의 행렬 연산을 적은 전력으로 빠르게 처리하도록 설계한 전용 프로세서
신경망 처리 장치(Neural Processing Unit, NPU)는 인공 신경망의 추론(때로는 학습)에 쓰이는 행렬 곱셈과 합성곱을 전용 회로로 처리하는 프로세서다. 범용 CPU나 그래픽용으로 출발한 GPU보다 유연성은 떨어지지만, 같은 전력으로 훨씬 많은 신경망 연산을 해낸다. 스마트폰과 PC의 시스템 온 칩(SoC) 안에 들어간 작은 NPU부터 데이터센터용 추론 칩까지 폭넓게 이 이름으로 불린다.
용어의 범위는 회사마다 다르다. 애플은 뉴럴 엔진(Neural Engine), 구글은 TPU, 퀄컴은 헥사곤(Hexagon) NPU, 화웨이는 어센드(Ascend)처럼 제각기 이름을 붙이며, 데이터센터용 전용 칩은 AI 가속기나 AI 반도체라고도 부른다. 화웨이는 어센드 칩을 넣은 아틀라스(Atlas) 서버와 클러스터, 전용 소프트웨어 스택 CANN을 함께 내놓고 있다.[1] 이 문서는 주로 기기에 들어가는 NPU와 국내 AI 반도체를 다루고, 데이터센터 가속기 전반은 AI 가속기, 구글의 칩은 구글 TPU 문서에서 다룬다.
딥 러닝 연산의 대부분은 "곱하고 더하기"(곱셈 누산, MAC)의 반복이다. 이 연산은 규칙적이고 서로 독립적이어서 대량 병렬화가 쉽고, 낮은 정밀도(8비트 정수 등)로도 결과가 크게 달라지지 않는다. CPU는 복잡한 분기와 다양한 명령을 빠르게 처리하는 데 회로를 쓰고, GPU는 그래픽과 범용 병렬 연산을 위한 유연성에 회로를 쓴다. NPU는 이런 범용성을 덜어내고 저정밀 MAC 연산기와 온칩 메모리에 칩 면적을 몰아준다.
또 하나의 이유는 메모리다. 연산 자체보다 외부 DRAM에서 가중치와 중간값을 가져오는 데 에너지가 훨씬 많이 든다. NPU는 데이터를 칩 안에 오래 붙잡아 두고 여러 번 재사용하도록 설계해 이 비용을 줄인다. 배터리로 움직이는 휴대폰에서 얼굴 인식, 사진 처리, 음성 인식, 소형 언어 모델을 상시 돌리려면 이런 효율이 필요하다. 자동차의 자율주행·운전자 보조 시스템이 센서 데이터를 실시간으로 처리하거나 IoT 기기가 클라우드를 거치지 않고 현장에서 판단할 때도 같은 이유로 NPU가 쓰인다.
| 항목 | CPU | GPU | TPU·NPU(ASIC) | FPGA |
|---|---|---|---|---|
| 설계 목표 | 범용 순차 처리, 낮은 지연 | 대량 병렬 연산(그래픽, 과학 계산, 딥 러닝) | 신경망 연산 전용 | 회로를 다시 구성할 수 있는 범용 논리 |
| 연산 단위 | 소수의 강력한 코어 | 수천 개의 단순 코어, 행렬 연산 유닛(텐서 코어 등) | 대형 MAC 배열·시스톨릭 배열 | 사용자가 구성한 논리 블록·DSP 블록 |
| 유연성 | 매우 높음 | 높음 | 낮음(지원 연산자에 의존) | 중간(재설계 가능하나 개발 어려움) |
| 전력 대비 성능(신경망) | 낮음 | 중간~높음 | 높음 | 중간 |
| 소프트웨어 생태계 | 가장 넓음 | CUDA 중심으로 넓음 | 제조사별 컴파일러·런타임 | HDL·고수준 합성 도구 |
| 주 용도 | 전처리, 제어, 작은 모델 | 학습과 대규모 추론 | 추론(기기·데이터센터), 일부 학습 | 프로토타입, 저지연 특수 용도 |
GPU와 NPU의 경계는 흐려지고 있다. 엔비디아 GPU의 텐서 코어도 행렬 연산 전용 회로이고, 구글 TPU처럼 학습까지 하는 전용 칩도 있다. 구분의 핵심은 "그래픽과 범용 연산을 위한 유연성을 얼마나 남겨 두었는가"에 가깝다.
NPU의 중심은 수백~수만 개의 MAC 연산기를 2차원으로 늘어놓은 배열이다. 대표적인 배치가 시스톨릭 배열이다. 가중치를 각 연산기에 고정해 두고 입력 데이터를 한쪽에서 밀어 넣으면, 값이 이웃 연산기로 박자에 맞춰 전달되면서 곱셈과 덧셈이 차례로 일어난다. 연산기마다 메모리에 다시 접근하지 않아도 되므로 대역폭과 에너지를 크게 아낀다.
구글이 2015년부터 데이터센터에 배치한 1세대 TPU는 8비트 MAC 65,536개(256×256)로 된 행렬 곱셈 장치를 갖추고 최대 92 TOPS를 냈으며, 소프트웨어가 직접 관리하는 28MiB 온칩 메모리를 썼다. 논문은 당시 CPU·GPU보다 평균 15~30배 빠르고 와트당 성능은 30~80배 높다고 보고했다.[2]
NPU는 캐시 대신 소프트웨어(컴파일러)가 무엇을 언제 올리고 내릴지 정하는 SRAM 버퍼를 두는 경우가 많다. 가중치를 칩 안에 붙잡아 두는 방식(weight stationary), 출력값을 붙잡아 두는 방식(output stationary) 등 어떤 데이터를 재사용할지에 따라 데이터 흐름(dataflow) 설계가 갈린다. 큰 언어 모델은 가중치가 온칩 메모리에 다 들어가지 않으므로, 데이터센터용 칩은 HBM 같은 고대역폭 메모리를 붙인다.
NPU는 하드웨어만으로 쓸 수 없다. 모델을 NPU가 지원하는 연산자로 바꾸고 메모리 배치를 정하는 컴파일러, 실행 런타임, 드라이버가 필요하다. 지원하지 않는 연산자가 있으면 그 부분은 CPU나 GPU로 넘어가 성능이 떨어진다. 윈도우에서는 ONNX Runtime 기반의 Windows ML이 기기의 NPU를 찾아 제조사별 실행 공급자(퀄컴 QNN, 인텔 OpenVINO 등)를 자동으로 고르고, NPU를 쓸 수 없으면 GPU나 CPU로 대체한다.[3] GPU 쪽의 CUDA처럼 단일한 생태계가 없다는 점이 NPU 보급의 걸림돌로 지적된다.
스마트폰은 NPU가 가장 먼저 대량 보급된 곳이다.
- 애플: 2017년 9월 아이폰 8과 아이폰 X에 들어간 A11 바이오닉에 2코어 뉴럴 엔진을 넣었다. 애플은 이 장치가 초당 최대 6천억 회 연산을 하며 Face ID와 애니모지에 쓰인다고 밝혔다.[4] 이후 모든 A 시리즈와 M 시리즈 칩에 뉴럴 엔진이 들어간다.
- 화웨이: 같은 해 발표한 기린 970은 전용 NPU를 내장한 초기 모바일 칩으로 알려져 있다.
- 삼성전자: 2018년 11월 발표한 엑시노스 9820에 별도 하드웨어 AI 가속기인 NPU를 넣었다. 삼성은 이전 세대보다 AI 작업이 약 7배 빠르며, 서버로 보내지 않고 기기 안에서 처리해 속도와 개인정보 보호에 유리하다고 설명했다.[5]
- 퀄컴: 스냅드래곤의 신호 처리 장치(DSP)였던 헥사곤을 신경망 연산용으로 키워 헥사곤 NPU라는 이름으로 쓴다.
- 구글: 픽셀의 텐서 칩에 TPU 계열 가속기를 넣고, 그 위에서 Gemini Nano를 돌린다.
2024년부터 노트북용 프로세서에도 NPU가 기본으로 들어가기 시작했다. 마이크로소프트는 2024년 5월 20일 "AI를 위해 설계된 새로운 윈도우 PC 범주"로 코파일럿+ PC를 발표했고, 첫 제품에 쓰인 퀄컴 스냅드래곤 X 시리즈의 NPU가 45 TOPS라고 밝혔다.[6] 개발자 문서는 코파일럿+ PC를 초당 40조 회(40 TOPS) 이상 연산하는 고성능 NPU를 갖춘 윈도우 11 하드웨어로 정의하며, 새 윈도우 AI 기능 다수가 40 TOPS 이상의 NPU를 요구한다고 적었다. 이후 AMD 라이젠 AI 300 시리즈와 인텔 코어 울트라 200V 시리즈를 쓴 제품도 코파일럿+ PC에 포함됐다.[3]
국내에서는 스타트업을 중심으로 데이터센터 추론용 NPU 개발이 이어지고 있다.
- 퓨리오사AI: 컴퓨터 비전 추론용 1세대 칩 워보이(Warboy)에 이어 대형 언어 모델 추론용 RNGD(레니게이드)를 내놓았다. RNGD는 FP8 기준 최대 512 TFLOPS, 48GB HBM3(대역폭 1.5TB/s), 256MB 온칩 SRAM, 열설계전력 180W다.[7]
- 리벨리온: 2020년 9월 설립. GDDR6 기반 추론 가속기 ATOM을 2022년 6월 테이프아웃해 2023년 5월 KT 클라우드에 처음 공급했고, 2024년 11월 HBM3E 144GB를 갖춘 칩렛 구조의 REBEL을 테이프아웃했다. 2024년 12월 SK텔레콤 계열 AI 반도체 회사 사피온과 합병해 SK하이닉스의 HBM 공급망과 연결됐다고 설명한다.[8]
- 삼성전자: 엑시노스 모바일 칩에 자체 NPU를 넣어 왔다.[5]
NPU 성능은 보통 제조사가 TOPS(초당 조 회 연산)로 발표하는데, 이 숫자만으로 칩을 비교하면 틀리기 쉽다.
- 정밀도: 같은 칩도 INT4로 세면 INT8의 두 배, FP16의 네 배 가까운 숫자가 나온다. 어떤 정밀도 기준인지 밝히지 않은 TOPS는 비교할 수 없다. 부동소수점 기준 성능은 FLOPS로 따로 표시한다.
- 희소성: 0인 가중치를 건너뛰는 희소 연산을 가정한 수치는 밀집 연산의 두 배로 표시되기도 한다.
- 최대치와 실효치: TOPS는 모든 MAC이 매 클록 쉬지 않고 일할 때의 이론 최대치다. 실제 모델에서는 지원하지 않는 연산자, 메모리 대역폭, 데이터 이동 때문에 이용률이 크게 떨어진다. 특히 대형 언어 모델의 토큰 생성 단계는 연산보다 메모리 대역폭이 병목이어서, TOPS가 높아도 메모리가 느리면 생성 속도는 빨라지지 않는다.
- 전력 조건: 순간 최대 전력에서의 수치인지, 휴대폰이 지속할 수 있는 발열 한도 안의 수치인지에 따라 실사용 성능이 다르다.
- 합산 수치: CPU·GPU·NPU의 TOPS를 더한 "플랫폼 TOPS"는 세 장치가 한 모델을 동시에 나눠 처리할 수 있다는 뜻이 아니다.
따라서 실제 비교에는 MLPerf 같은 표준 벤치마크나, 쓰려는 모델의 지연시간·초당 토큰 수·전력 소모를 직접 재는 방법이 낫다.
- ↑ Huawei, "Ascend", 2026-10-15 확인.
- ↑ Norman P. Jouppi 외, 〈In-Datacenter Performance Analysis of a Tensor Processing Unit〉, ISCA 2017. arXiv:1704.04760
- ↑ 3.0 3.1 3.2 Microsoft Learn, "Copilot+ PCs developer guide", 2026-10-15 확인.
- ↑ Apple Newsroom, "The future is here: iPhone X", 2017-09-12.
- ↑ 5.0 5.1 Samsung Newsroom, "Samsung Brings On-device AI Processing for Premium Mobile Devices with Exynos 9 Series 9820 Processor", 2018-11-14.
- ↑ Microsoft, "Introducing Copilot+ PCs", 2024-05-20.
- ↑ FuriosaAI, "Furiosa RNGD PCIe Card", 2026-10-15 확인.
- ↑ Rebellions, "About", 2026-10-15 확인.