MLPerf
IT 위키
더 많은 작업
MLPerf는 기계 학습 시스템의 학습·추론 성능을 같은 과제와 같은 규칙으로 측정해 비교하도록 만든 업계 공통 벤치마크 모음이다. 2018년 구글·바이두·하버드·스탠퍼드 등이 시작했고, 지금은 비영리 컨소시엄 MLCommons가 운영한다.
AI 반도체와 서버가 늘어나면서 제조사마다 서로 다른 모델, 정밀도, 배치 크기로 잰 수치를 내세웠다. 이런 수치는 서로 비교할 수 없다. MLPerf 는 과제(모델과 데이터셋), 달성해야 할 정확도, 측정 방법을 미리 정해 두고, 제출한 결과를 다른 참가자들이 검토한 뒤 공개한다. 학습(Training), 추론(Inference: 데이터센터·엣지), 모바일, 소형 기기(Tiny), 클라이언트 PC, 스토리지 같은 분야별 벤치마크가 있다.
- 공정한 비교 — 같은 모델, 같은 품질 목표, 같은 측정 규칙에서 하드웨어·소프트웨어 조합을 비교한다. 제조사가 고른 유리한 조건의 수치를 걸러 낸다
- 구매·설계 의사결정 — 데이터센터와 엣지 장비를 고를 때 처리량, 지연 시간, 전력을 함께 놓고 판단하는 근거가 된다
- 품질과 성능의 동시 검증 — 정밀도를 낮춰 빠르게 만든 경우에도 정해진 정확도(예: 기준 모델 정확도의 99%)를 지켜야 결과로 인정된다
- 재현성과 투명성 — 시스템 구성과 코드를 함께 공개하므로 다른 사람이 다시 확인할 수 있다
- 최적화 유도 — 컴파일러, 런타임, 양자화 같은 소프트웨어 최적화를 자극한다. 같은 하드웨어의 점수가 소프트웨어 개선만으로 오르는 일이 흔하다
- 대규모 언어 모델처럼 새 과제가 생기면 과제를 추가해 실제 사용 환경을 따라간다
| 시나리오 | 상황 | 성능 지표 |
|---|---|---|
| 단일 스트림(Single Stream) | 한 번에 질의 하나 (스마트폰의 사진 인식) | 지연 시간의 90번째 백분위수 |
| 다중 스트림(Multi Stream) | 여러 입력을 묶어 주기적으로 처리 (여러 카메라를 보는 자율주행) | 질의당 지연 시간의 백분위수 |
| 서버(Server) | 질의가 무작위로 도착 (온라인 서비스) | 지연 시간 제한을 지키면서 처리할 수 있는 초당 질의 수(QPS) |
| 오프라인(Offline) | 모아 둔 데이터를 한꺼번에 처리 (사진 일괄 분류) | 초당 처리 샘플 수(처리량) |
- 규칙의 엄격함에 따라 Closed 부문(정해진 모델을 그대로 써야 함, 하드웨어끼리 비교)과 Open 부문(모델 변경 허용, 새로운 기법 비교)으로 나뉜다.
- 대규모 언어 모델 과제는 첫 토큰까지의 시간(TTFT)과 토큰당 출력 시간(TPOT) 제한을 함께 둔다.
MLPerf Power는 성능을 잴 때 시스템 전체의 소비 전력을 전력 분석기로 함께 측정해 효율을 낸다(2021년 추론 v1.0 부터). 측정 대상은 가속기 칩만이 아니라 서버·장비 전체의 벽면 전력이다.
| 지표 | 뜻 | 쓰는 곳 |
|---|---|---|
| 와트당 성능 (초당 샘플 수 ÷ 와트, QPS/W) | 1W 로 처리하는 양. 클수록 좋다 | 서버·오프라인 시나리오 |
| 질의당 에너지 (줄/질의, J/query) | 질의 하나를 처리하는 데 드는 에너지. 작을수록 좋다 | 단일·다중 스트림, 엣지 |
| 토큰당 에너지 (J/token), 와트당 토큰 처리량 | 생성형 모델에서 토큰 하나를 만드는 에너지 | 대규모 언어 모델 서비스 |
| TOPS/W | 칩이 1W 로 낼 수 있는 이론상 연산 수(초당 조 단위 연산) | 반도체 사양 비교. 실제 모델 성능과 차이가 커서 벤치마크 결과로 확인해야 한다 |
| PUE(전력 사용 효율) | 데이터센터 전체 전력 ÷ IT 장비 전력. 1에 가까울수록 좋다 | 냉각·전력 설비까지 포함한 시설 효율 |
- 같은 칩이라도 배치 크기, 정밀도(FP16·INT8·FP8), 전력 제한 설정에 따라 효율이 크게 달라진다. 그래서 효율 수치는 성능 수치와 같은 조건에서 잰 것끼리만 비교한다.
- 최고 성능 지점과 최고 효율 지점은 보통 다르다. 전력 제한을 낮추면 성능은 조금 줄고 효율은 오르는 경우가 많다.
- 정해진 과제에만 최적화한 결과가 실제 서비스 성능을 그대로 보여 주지는 않는다(벤치마크 과적합).
- 참가는 자발적이어서 모든 제품의 결과가 있지는 않다.
- 과제가 새 모델을 따라가기까지 시차가 있다.