NIST AI 100-2
더 많은 작업
- NIST AI 100-2, Adversarial Machine Learning
- A Taxonomy and Terminology of Attacks and Mitigations; NIST AI 100-2
- 미국 국립표준기술연구소(NIST)가 적대적 머신러닝 공격과 완화책을 분류하고 용어를 정리한 보고서
NIST AI 100-2는 NIST의 "신뢰할 수 있는 책임 있는 AI(Trustworthy and Responsible AI)" 간행물 가운데 하나로, 제목은 "적대적 머신러닝: 공격과 완화책의 분류 체계와 용어"다. AI 시스템을 겨냥한 공격을 체계적으로 나누고, 공격마다 NISTAML.xxx 형식의 ID를 붙이고, 용어집을 함께 실었다. 최신판은 2025년 3월의 E2025다.[1]
원문은 이 보고서가 AI 보안을 평가하고 관리하는 다른 표준과 실무 지침의 공통 언어가 되기를 목표로 한다고 적었다.[2] 위험을 얼마나 받아들일지는 맥락에 따라 다르다며 위험 허용 수준은 권고하지 않는다. 보안, 회복력, 강건성의 개념은 NIST AI RMF에서 가져왔다.[2]
이 문서는 간행물 자체(판, 구조, ID 체계)를 다룬다. 적대적 머신러닝이라는 연구 분야의 역사와 위협 모델, 공격 원리는 적대적 머신러닝 문서에, 개별 공격은 적대적 예제, 데이터 오염 공격, 백도어 공격 (인공지능), 모델 추출 공격, 멤버십 추론 공격, 프롬프트 인젝션 등의 문서에 있다.
| 날짜 | 판 | 내용 |
|---|---|---|
| 2019-10-30 | NISTIR 8269 초안 | 전신. 제목 "A Taxonomy and Terminology of Adversarial Machine Learning". CSRC 문서 이력에 이 간행물의 앞선 초안으로 올라 있다 |
| 2023-03-08 | AI 100-2 E2023 초안 | 첫 공개 초안 |
| 2024-01-04 | AI 100-2 E2023 확정 | 표지 날짜 2024년 1월, 편집 심사 승인 2024-01-02. 저자 4명(Vassilev, Oprea, Fordyce, Anderson). 예측형 AI와 생성형 AI를 처음으로 나누어 분류 |
| 2025-03-24 | AI 100-2 E2025 확정 | 편집 심사 승인 2025-03-20. 저자 6명으로 늘었고 미국 AI 안전연구소와 영국 AI 보안연구소 소속 저자가 참여. NISTAML ID 도입 |
| 2025-04-01 | E2025 수정 PDF | 저자 소속 갱신, 그림 대체 텍스트 보완 |
| 2025-06-03 | E2025 정오 | x쪽(분류 색인)의 오류를 확인하고 수정 예정 사항을 별도 PDF로 공개 |
날짜는 NIST CSRC의 E2023, E2025 간행물 페이지와 원문 표지 기준이다.[1][3][4] 판 이름의 "E2023", "E2025"는 발행 연도가 아니라 판(edition)을 가리키므로 E2023의 확정본이 2024년에 나왔다. 2026년 10월 현재 E2025보다 새 판은 없다.
| 장 | 내용 |
|---|---|
| 앞부분 | 예측형·생성형 AI 분류 색인(공격 유형과 ID 목록), 요약 |
| 1. 서론 | 범위와 배경 |
| 2. 예측형 AI 분류 | 공격 분류 축(학습 단계, 공격 목표, 공격자 능력, 공격자 지식, 데이터 양식), 회피 공격, 중독 공격(가용성, 표적, 백도어, 모델 중독), 프라이버시 공격(데이터 재구성, 멤버십 추론, 속성 추론, 모델 추출)과 각각의 완화책 |
| 3. 생성형 AI 분류 | 생성형 AI의 학습 단계·목표·능력, 공급망 공격, 직접 프롬프팅 공격(탈옥 기법, 정보 추출), 간접 프롬프트 인젝션(가용성, 무결성, 프라이버시), 에이전트 보안, 취약점 벤치마크 |
| 4. 핵심 과제와 논의 | 신뢰성 특성 사이의 맞바꿈, 적대적 강건성의 이론적 한계, 평가 문제, 규모 문제, 공급망, 다중 양식 모델, 양자화 모델, AML 관점의 위험 관리 |
| 부록 | 용어집 |
분류의 축은 다섯 가지다: AI 시스템 유형(예측형 PredAI / 생성형 GenAI), 공격이 일어나는 생명주기 단계(학습 / 배포), 공격 목표(침해하려는 시스템 속성), 공격자 능력, 공격자 지식(화이트박스, 그레이박스, 블랙박스).[2]
공격자 능력은 예측형 AI에서 학습 데이터 제어, 모델 제어, 시험 데이터 제어, 레이블 제한, 소스 코드 제어, 질의 접근의 여섯 가지이고, 생성형 AI에서는 학습 데이터 제어, 질의 접근, 자원 제어(모델이 실행 중 읽는 문서·웹 페이지를 고치는 능력), 모델 제어의 네 가지를 든다. 자원 제어는 간접 프롬프트 인젝션에, 모델 제어는 공개 미세 조정 API나 공개 가중치를 이용한 모델 중독과 안전장치 제거에 쓰인다.[2]
E2025는 공격 목표에 두 자리 ID를, 그 아래 공격 유형에 세 자리 ID를 붙였다. 같은 공격 유형이 여러 목표에 걸치면 같은 ID가 여러 번 나온다. 아래는 원문 x~xi쪽 색인을 옮긴 것이다.[2]
| 공격 목표 | 예측형 AI(PredAI) | 생성형 AI(GenAI) |
|---|---|---|
| NISTAML.01 가용성 침해(Availability Violations) | .011 모델 중독, .012 클린 레이블 중독, .013 데이터 중독, .014 에너지-지연 공격 | .013 데이터 중독, .015 간접 프롬프트 인젝션, .018 프롬프트 인젝션 |
| NISTAML.02 무결성 침해(Integrity Violations) | .012 클린 레이블 중독, .021 클린 레이블 백도어, .022 회피, .023 백도어 중독, .024 표적 중독, .025 블랙박스 회피, .026 모델 중독 | .013 데이터 중독, .015 간접 프롬프트 인젝션, .018 프롬프트 인젝션, .023 백도어 중독, .024 표적 중독, .027 오정렬 출력(Misaligned Outputs) |
| NISTAML.03 프라이버시 침해(Privacy Compromises) | .031 모델 추출, .032 재구성, .033 멤버십 추론, .034 속성 추론 | .015 간접 프롬프트 인젝션, .018 프롬프트 인젝션, .023 백도어 중독, .033 멤버십 추론, .035 프롬프트 추출, .036 사용자 상호작용 정보 유출, .037 학습 데이터 공격, .038 데이터 추출, .039 연결된 자원 침해 |
| NISTAML.04 오용(Misuse Violations) | (해당 없음) | .018 프롬프트 인젝션 |
| NISTAML.05 공급망 공격(Supply Chain Attacks) | .051 모델 중독 | .051 모델 중독 |
ID별로 보면 다음과 같다.
| ID | 공격 유형 | 관련 문서 |
|---|---|---|
| NISTAML.011, .026, .051 | 모델 중독(Model Poisoning). 목표별로 ID가 다르다 | 데이터 오염 공격, 연합 학습 |
| NISTAML.012 | 클린 레이블 중독(Clean-label Poisoning) | 데이터 오염 공격 |
| NISTAML.013 | 데이터 중독(Data Poisoning) | 데이터 오염 공격 |
| NISTAML.014 | 에너지-지연 공격(Energy-latency) | 무제한 소비 (인공지능) |
| NISTAML.015 | 간접 프롬프트 인젝션(Indirect Prompt Injection) | 간접 프롬프트 인젝션 |
| NISTAML.018 | 프롬프트 인젝션(Prompt Injection) | 프롬프트 인젝션, 탈옥 (인공지능) |
| NISTAML.021 | 클린 레이블 백도어(Clean-label Backdoor) | 백도어 공격 (인공지능) |
| NISTAML.022 | 회피(Evasion) | 적대적 예제 |
| NISTAML.023 | 백도어 중독(Backdoor Poisoning) | 백도어 공격 (인공지능) |
| NISTAML.024 | 표적 중독(Targeted Poisoning) | 데이터 오염 공격 |
| NISTAML.025 | 블랙박스 회피(Black-box Evasion) | 적대적 예제 |
| NISTAML.027 | 오정렬 출력(Misaligned Outputs) | 인공지능 정렬 |
| NISTAML.031 | 모델 추출(Model Extraction) | 모델 추출 공격 |
| NISTAML.032 | 재구성(Reconstruction) | 모델 인버전 공격 |
| NISTAML.033 | 멤버십 추론(Membership Inference) | 멤버십 추론 공격 |
| NISTAML.034 | 속성 추론(Property Inference) | 멤버십 추론 공격 |
| NISTAML.035 | 프롬프트 추출(Prompt Extraction) | 시스템 프롬프트 유출 |
| NISTAML.036 | 사용자 상호작용 정보 유출(Leaking information from user interactions) | |
| NISTAML.037 | 학습 데이터 공격(Training Data Attacks) | 학습 데이터 추출 공격 |
| NISTAML.038 | 데이터 추출(Data Extraction) | 학습 데이터 추출 공격 |
| NISTAML.039 | 연결된 자원 침해(Compromising connected resources) | AI 에이전트 보안 |
오용(NISTAML.04)은 생성형 AI에만 있는 목표로, 개발자가 걸어 둔 사용 제한을 우회해 모델을 해로운 용도에 쓰게 만드는 것이다. 원문은 어떤 오용이 금지되는지를 특정하지 않고도 AML의 틀 안에서 분류할 수 있게 이 목표를 두었다고 설명한다.[2]
| 항목 | E2023 | E2025 |
|---|---|---|
| 쪽수(PDF) | 107쪽 | 127쪽 |
| 저자 | 4명 | 6명(미국 AI 안전연구소, 영국 AI 보안연구소 소속 추가) |
| 공격 ID | 없음 | NISTAML.01~.05와 하위 ID, 분류 색인 |
| 생성형 AI 목표 이름 | 남용 침해(Abuse Violations) | 오용 침해(Misuse Violations) |
| 생성형 AI 공급망 | 역직렬화 취약점, 중독 공격 | 데이터 중독, 모델 중독 |
| 직접 공격 | 직접 프롬프트 인젝션(데이터 추출) | 직접 프롬프팅 공격(공격 기법, 정보 추출) |
| 새 절 | 실제 환경의 회피·중독 사례, 에이전트 보안, AML 취약점 벤치마크, 평가 문제, AML 관점의 위험 관리 |
- NIST AI RMF: 보안·회복력·강건성 개념의 출처. AI 100-2는 AI RMF의 "보안성과 회복력" 특성을 공격 단위로 풀어 쓴 자료에 가깝다.
- MITRE ATLAS: AI 100-2가 공격을 성질(목표, 능력, 지식)로 나눈다면 ATLAS는 공격자가 실제 침투 과정에서 쓰는 전술·기법과 사례로 나눈다.
- OWASP Top 10 for LLM Applications: LLM 애플리케이션 개발자를 위한 우선순위 목록. AI 100-2의 생성형 AI 공격 ID와 대부분 대응된다.
- 인공지능(AI) 보안 안내서: 국내 안내서도 예측형 AI(Pred AI)와 생성형 AI(Gen AI)를 나눠 검증 항목을 제시한다.
- ↑ 1.0 1.1 NIST AI 100-2 E2025 (Final), NIST CSRC.
- ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 Apostol Vassilev, Alina Oprea, Alie Fordyce, Hyrum Anderson, Xander Davies, Maia Hamin, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations, NIST AI 100-2e2025, 2025-03. doi:10.6028/NIST.AI.100-2e2025
- ↑ NIST AI 100-2 E2023 (Final), NIST CSRC.
- ↑ 4.0 4.1 Apostol Vassilev, Alina Oprea, Alie Fordyce, Hyrum Anderson, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations, NIST AI 100-2e2023, 2024-01. doi:10.6028/NIST.AI.100-2e2023