벤치마크 데이터셋
IT 위키
더 많은 작업
벤치마크 데이터셋(Benchmark Dataset)은 인공지능 모델의 성능을 같은 조건에서 재고 비교하기 위해 과제, 데이터, 정답, 평가 지표를 함께 정해 공개한 표준 데이터 모음이다.
| 요소 | 내용 |
|---|---|
| 과제 정의 | 무엇을 맞히는가 (이미지 분류, 질의응답, 문장 함의 판정 등) |
| 데이터와 정답(레이블) | 사람이 검수한 입력과 정답. 수집 출처와 라이선스를 밝힌다 |
| 데이터 분할 | 학습·검증·시험 세트. 시험 세트 정답은 공개하지 않고 평가 서버로만 채점하기도 한다 |
| 평가 지표 | 정확도, F1, BLEU, top-5 오류율 등 채점 방법 |
| 리더보드·제출 규칙 | 결과 비교 방식, 외부 데이터 사용 허용 여부 |
- 객관적 성능 비교 — 같은 데이터와 지표로 서로 다른 모델을 줄 세운다
- 재현성 확보 — 다른 연구자가 같은 데이터로 결과를 다시 확인할 수 있다
- 연구 목표 제시 — 아직 못 푸는 과제를 보여 주어 연구가 몰리게 한다. 점수가 사람 수준에 가까워지면 더 어려운 벤치마크가 나온다
- 진입 장벽 낮춤 — 데이터를 직접 모으지 않아도 바로 실험할 수 있다. 교육과 입문에도 쓰인다
- 산업의 선택 기준 — 기업이 모델이나 서비스를 고를 때 참고하는 공통 근거가 된다
- 신뢰성 점검 — 편향, 강건성, 유해성처럼 정확도 밖의 성질을 재는 벤치마크도 늘었다 → 인공지능 강건성
| 분야 | 데이터셋 | 내용 |
|---|---|---|
| 이미지 | MNIST | 손글씨 숫자 7만 장. 입문용 |
| 이미지 | CIFAR-10/100 | 32×32 컬러 이미지 6만 장, 10개·100개 범주 |
| 이미지 | ImageNet | 1,000개 범주 약 128만 장(ILSVRC). 이미지 인식의 대표 벤치마크 |
| 자연어 | GLUE 벤치마크 | 문장 분류·유사도·추론 등 자연어 이해 과제 9개 묶음 |
| 자연어 | SQuAD | 문단을 읽고 질문의 답이 되는 구간을 찾는 독해 과제 |
| 대규모 언어 모델 | MMLU | 57개 분야 객관식 지식 문제 |
| 한국어 | KLUE | 한국어 자연어 이해 과제 8개 묶음 |
| 시스템 성능 | MLPerf | 모델 정확도가 아니라 하드웨어·소프트웨어의 학습·추론 속도와 전력 효율을 잰다 |
- 벤치마크 과적합 — 점수를 올리는 데만 맞춘 모델이 실제 환경에서는 잘 작동하지 않는다
- 데이터 오염 — 시험 문제가 대규모 학습 데이터에 섞여 들어가면 모델이 답을 외운 것인지 푼 것인지 알 수 없다
- 포화 — 많은 모델이 사람 수준을 넘으면 더는 차이를 가르지 못한다
- 편향과 대표성 — 특정 언어·지역·집단의 데이터에 치우치면 그 밖의 사용자에게서 성능이 떨어진다
- 레이블 오류 — 정답 자체가 틀린 항목이 있으면 점수의 의미가 흐려진다
- 그래서 여러 벤치마크를 함께 보고, 실제 서비스 데이터로 따로 검증한다