적대적 머신러닝
더 많은 작업
- Adversarial machine learning; 적대적 머신러닝
- 공격자가 있는 환경에서 기계 학습 시스템이 어떻게 공격받고 어떻게 지킬 수 있는지를 연구하는 분야
적대적 머신러닝(adversarial machine learning, AML)은 학습 데이터, 모델, 입력을 일부러 조작하는 공격자가 있다는 가정 아래 기계 학습 시스템의 취약점과 방어를 연구하는 분야다. 국내에서는 적대적 기계학습이라고도 쓴다. 보통의 기계 학습은 학습 데이터와 실제 데이터가 같은 분포에서 나온다고 가정하지만, 스팸 필터나 악성코드 탐지기처럼 상대가 있는 환경에서는 그 가정이 깨진다. 이 분야는 그 차이를 정면으로 다룬다.
미국 NIST는 이 분야의 용어와 분류를 정리한 보고서 NIST AI 100-2 「Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations」를 내고 있으며, 최신판은 2025년 3월의 E2025다.[1] 이 문서는 분야의 위협 모델과 역사, 연구 동향을 다룬다. 개별 공격은 인공지능 대상 공격, AI 시스템 보안 전체 지도는 AI 보안 문서에 있다.
적대적 머신러닝은 공격을 "공격자가 무엇을 원하고(목표), 무엇을 알고(지식), 무엇을 할 수 있는가(능력)"로 기술한다. 이 틀은 바레노(Barreno) 등의 2006년 분류에서 시작해 비조(Biggio)와 롤리(Roli)의 정리를 거쳐 NIST 분류의 축이 되었다.[2][3]
| 기준 | 구분 | 설명 |
|---|---|---|
| 보안 침해 유형 | 무결성 침해 | 정상 동작은 유지하면서 특정 입력의 판정을 바꾼다(예: 악성코드를 정상으로 판정하게 함) |
| 가용성 침해 | 정상 사용자에게 서비스가 제대로 돌아가지 않게 한다(예: 오류율을 전반적으로 높임) | |
| 프라이버시 침해 | 모델, 학습 데이터, 사용자에 관한 비공개 정보를 빼낸다 | |
| 오용 조장 | 생성형 AI의 안전 제한을 우회해 금지된 용도로 쓰게 한다. NIST가 생성형 AI 분류에만 둔 목표다 | |
| 공격 범위 | 표적(targeted) | 특정 표본이나 특정 사용자만 노린다 |
| 무차별(indiscriminate) | 아무 표본이나 틀리게 만든다 | |
| 오류의 구체성 | 구체적(specific) | 지정한 클래스로 틀리게 한다 |
| 일반적(generic) | 정답이 아닌 어느 클래스든 된다 |
보안 침해 세 가지는 전통 보안의 기밀성·무결성·가용성(CIA)에 대응하는데, NIST는 이 분야에서 기밀성 대신 "프라이버시"를 상위 용어로 쓰는 관행을 따른다고 밝힌다. 모델 가중치를 빼내는 공격과 학습 데이터를 노출시키는 공격을 함께 묶기 위해서다.[1] 비조와 롤리는 "표적"이라는 말이 공격 범위와 오류 구체성 양쪽에 쓰여 생기는 혼동을 지적하고 둘을 따로 구분했다.[3]
- 화이트박스(완전 지식): 학습 데이터, 특징 표현, 학습 알고리즘, 학습된 매개변수를 모두 안다. 비현실적이지만 최악의 경우를 평가하기 위해 쓴다. NIST는 방어 기법까지 아는 적응형 공격도 여기에 포함한다.
- 그레이박스(제한 지식): 구조는 알지만 매개변수는 모르거나, 학습 데이터 대신 비슷한 분포의 대리 데이터만 가진 경우 등. 대리 모델을 만들어 공격한 뒤 전이시키는 공격이 여기에 속한다.
- 블랙박스(무지식): 질의를 보내고 레이블이나 점수만 받는다. 가장 현실적이다. 다만 비조와 롤리는 공격자가 적어도 시스템이 하는 일과 입력의 종류(예: 이미지 화소)는 안다는 점에서 "완전한 무지식"은 아니라고 지적한다.
바레노 등은 공격자의 영향력을 두 가지로 나눴다. 원인적 공격(causative)은 학습 데이터까지 조작해 학습 결과에 영향을 주고, 탐색적 공격(exploratory)은 학습에 영향을 주지 않고 시험 단계 입력만 조작하거나 탐색한다. 오늘날 이 둘은 각각 중독(poisoning)과 회피(evasion)라는 이름으로 더 많이 불린다.[2][3] 국내 시험 대비 자료에서 쓰는 회피·중독·탐색 3분류와의 관계는 적대적 공격 문서 참고.
NIST AI 100-2는 예측형 AI 공격에 필요한 능력을 여섯 가지로 나눈다.[1]
| 능력 | 내용 | 이 능력을 쓰는 공격 |
|---|---|---|
| 학습 데이터 제어 | 학습 표본 일부를 넣거나 고친다 | 가용성 중독, 표적 중독, 백도어 중독 |
| 모델 제어 | 모델 매개변수를 조작한다 | 트로이 목마 삽입, 연합 학습의 악성 갱신 |
| 시험 데이터 제어 | 배포 단계 입력에 교란을 더한다 | 회피, 백도어 트리거 입력 |
| 레이블 제한 | 중독 표본의 레이블은 조작하지 못한다는 제약 | 클린 레이블 중독 |
| 소스 코드 제어 | 학습 코드, 난수 생성기, 외부 라이브러리를 고친다 | 백도어(학습을 외주로 맡긴 경우 등) |
| 질의 접근 | 모델에 질의하고 예측을 받는다 | 블랙박스 회피, 에너지-지연 공격, 프라이버시 공격 |
여기에 현실적인 조작 제약이 붙는다. 악성코드 탐지를 회피하려면 악성 기능을 해치지 않는 변형만 쓸 수 있고, 스팸은 사람이 읽을 수 있어야 한다. 비조와 롤리는 이 제약을 공격 최적화 문제의 허용 변형 공간으로 넣어 다룬다.[3]
NIST AI 100-2 E2025는 예측형 AI(PredAI)와 생성형 AI(GenAI)로 나눠 공격을 분류하고 각각에 식별자를 붙인다.[1] 세부 분류와 OWASP·MITRE ATLAS 대응은 인공지능 대상 공격 문서에 정리했다.
| 단계 | 공격 | 노리는 것 | 문서 |
|---|---|---|---|
| 학습 | 데이터 중독(가용성·표적·클린 레이블) | 무결성, 가용성 | 데이터 오염 공격 |
| 학습 | 백도어 중독 | 무결성 | 백도어 공격 (인공지능) |
| 학습 | 모델 중독(연합 학습, 공급망) | 무결성, 가용성 | 연합 학습, AI 공급망 보안 |
| 배포 | 회피(적대적 예제) | 무결성 | 적대적 예제 |
| 배포 | 모델 추출 | 프라이버시(모델) | 모델 추출 공격 |
| 배포 | 멤버십 추론, 속성 추론 | 프라이버시(데이터) | 멤버십 추론 공격 |
| 배포 | 데이터 재구성, 모델 인버전 | 프라이버시(데이터) | 모델 인버전 공격 |
| 배포 | 학습 데이터 추출(생성형) | 프라이버시(데이터) | 학습 데이터 추출 공격 |
| 배포 | 직접·간접 프롬프트 인젝션, 탈옥 | 무결성, 오용 | 프롬프트 인젝션, 간접 프롬프트 인젝션, 탈옥 (인공지능) |
| 배포 | 에너지-지연 공격, 무제한 소비 | 가용성 | 무제한 소비 (인공지능) |
| 연도 | 사건 |
|---|---|
| 1988 | 컨스(Kearns)와 리(Li)가 악의적 오류가 섞인 데이터로부터의 학습 가능성을 이론적으로 분석했다. NIST는 이를 회피 공격의 가장 이른 사례로 든다[1] |
| 2004 | 달비(Dalvi) 등이 스팸 필터를 상대로 분류기와 공격자를 게임으로 모델링한 「Adversarial classification」을 KDD에 발표했다. 비조와 롤리는 이를 적대적 머신러닝의 첫 연구로 본다[4][3] |
| 2005 | 로드(Lowd)와 미크(Meek)가 질의만으로 선형 분류기를 회피하는 방법을 연구했다(KDD 2005)[5] |
| 2006 | 바레노 등이 「Can machine learning be secure?」에서 원인적/탐색적, 무결성/가용성, 표적/무차별 분류를 제시했다.[2] 같은 해 웜 서명 생성기를 잡음 주입으로 속이는 중독 공격이 IEEE S&P에 발표되었다[1] |
| 2007 | NIPS에서 보안 분야 적대 환경의 기계 학습 워크숍이 열렸고, 이후 학술지 Machine Learning 특집호로 이어졌다[3] |
| 2008 | 넬슨(Nelson) 등이 학습용 메일을 오염시켜 스팸 필터를 무력화하는 공격을 발표했다[1] |
| 2012 | 비조 등이 SVM에 대한 경사 기반 중독 공격을 발표했다(ICML 2012)[6] |
| 2013 | 비조 등이 경사 최적화로 PDF 악성코드 탐지기를 회피했고(ECML PKDD), 세게디(Szegedy) 등이 심층 신경망의 적대적 예제를 보고했다. 두 연구는 독립적으로 같은 방법에 도달했다[1] |
| 2014 | 굿펠로(Goodfellow) 등이 FGSM과 적대적 훈련을 발표했다[7] |
| 2016 | 예측 API로 모델을 복제하는 모델 추출 공격(트라메르 등)과 멤버십 추론 공격(쇼크리 등)이 나왔다[8][9] |
| 2017 | 매드리(Madry) 등의 PGD와 최소-최대 적대적 훈련, 칼리니·와그너 공격, 백도어 공격 BadNets가 발표되었다[10] |
| 2018 | ICLR 2018 방어 다수가 기울기 난독화에 기대고 있었음이 밝혀졌다(아탈리 등)[11] |
| 2019 | 랜덤 스무딩으로 ImageNet 규모의 인증된 강건성이 처음 실현되었다(코언 등)[12] |
| 2020 | MITRE가 AI 시스템 공격 지식 베이스 ATLAS를 만들었다(데이터 생성일 2020-10-23)[13] |
| 2023 | 대형 언어 모델에 대한 적대적 접미사 공격(GCG), 간접 프롬프트 인젝션, 웹 규모 데이터 중독이 발표되며 연구 중심이 생성형 AI로 옮겨 갔다[14][15][16] |
| 2025 | NIST AI 100-2 E2025가 나와 생성형 AI 분류, 공급망, 에이전트 보안을 보강했다.[1] 10월에는 대형 언어 모델 사전 학습 중독에 모델 크기와 관계없이 거의 일정한 수(실험에서는 문서 250개)의 오염 문서면 충분하다는 연구가 나왔다[17] |
비조와 롤리는 딥 러닝의 적대적 예제가 2014년 무렵 큰 주목을 받기 전에 이미 보안 분야에서 10년 가까이 연구가 쌓여 있었다고 강조한다. 두 흐름이 서로를 잘 참조하지 않아 같은 개념이 다른 이름으로 다시 발견된 일이 많았다는 것이다.[3]
비조와 롤리는 보안을 공격과 방어가 번갈아 발전하는 군비 경쟁(arms race)으로 보고, 공격이 나온 뒤 대응하는 반응적(reactive) 방식 대신 설계 단계에서 공격자를 가정하는 선제적(proactive) "보안 설계(security by design)"를 권한다. 이를 세 원칙으로 요약했다.[3]
- 적을 알라: 위협 모델을 세우고 그에 맞는 공격을 모의해 본다.
- 선제적으로 대비하라: 공격 시나리오를 미리 상정해 보안 평가를 한다. 교란 크기를 키워 가며 정확도가 떨어지는 곡선(보안 평가 곡선)으로 비교한다.
- 스스로를 보호하라: 강건한 학습, 탐지, 다중 분류기 같은 대응책을 설계한다.
방어 기법은 공격 단계에 따라 나뉜다.
| 대상 공격 | 대표 방어 |
|---|---|
| 회피 | 적대적 훈련, 랜덤 스무딩 등 인증된 방어, 형식 검증 |
| 중독·백도어 | 데이터 정제와 출처 관리, 강건 학습, 백도어 탐지·제거 |
| 프라이버시 | 차분 프라이버시(DP-SGD), 출력 정보 줄이기, 질의 제한 |
| 생성형 AI 오용 | 안전성 학습, 가드레일, 레드티밍, 설계 단계의 권한 분리 |
NIST는 방어 평가에서 반복되는 실패를 경고한다. 약한 공격으로 평가한 방어가 더 강한 공격에 곧 깨지는 일이 계속되었으므로, 새 방어는 방어 방식을 아는 적응형 공격으로 평가해야 한다.[1] 아탈리 등의 기울기 난독화 연구가 대표 사례다.[11]
NIST AI 100-2 E2025 4장은 남은 과제로 다음을 든다.[1]
- 신뢰할 수 있는 AI 속성 사이의 상충: 강건성과 정확도, 강건성과 공정성, 프라이버시와 정확도처럼 한 속성을 높이면 다른 속성이 떨어진다.
- 강건성의 이론적 한계: 어떤 조건에서 강건한 학습이 가능한지, 탐지가 원리적으로 가능한지에 대한 이론이 부족하다.
- 평가: 방어의 효과를 일관되게 비교할 평가 방법과 벤치마크가 필요하다.
- 규모: 웹에서 모은 거대한 학습 데이터는 출처를 일일이 확인하기 어려워 중독을 막기 어렵다.
- 공급망: 공개 모델과 데이터셋을 내려받아 쓰는 구조가 모델 중독과 악성 모델 배포의 통로가 된다.
- 다중 양식: 이미지와 텍스트를 함께 다루는 모델은 여러 양식을 동시에 노리는 공격에 노출된다.
- 양자화: 경량화한 모델이 원래 모델과 다른 취약성을 보일 수 있다.
생성형 AI 이후 연구의 무게는 "작은 교란으로 분류기를 속이기"에서 "명령과 데이터가 섞이는 시스템에서 모델이 공격자의 지시를 따르게 만들기"로 옮겨 가고 있다. NIST가 E2025에서 공급망 공격, 간접 프롬프트 인젝션, 에이전트 보안 절을 새로 둔 것도 이 변화를 반영한다.[1] 이 흐름은 AI 보안과 인공지능 대상 공격 문서에서 이어진다.
- ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 Apostol Vassilev 외, 〈Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations〉, NIST AI 100-2 E2025, 2025-03. NIST CSRC doi:10.6028/NIST.AI.100-2e2025
- ↑ 2.0 2.1 2.2 Marco Barreno 외, 〈Can machine learning be secure?〉, ASIACCS 2006. doi:10.1145/1128817.1128824
- ↑ 3.0 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 Battista Biggio, Fabio Roli, 〈Wild Patterns: Ten Years After the Rise of Adversarial Machine Learning〉, Pattern Recognition 84, 2018, pp. 317-331. arXiv:1712.03141
- ↑ Nilesh Dalvi 외, 〈Adversarial classification〉, KDD 2004, pp. 99-108. doi:10.1145/1014052.1014066
- ↑ Daniel Lowd, Christopher Meek, 〈Adversarial learning〉, KDD 2005, pp. 641-647. doi:10.1145/1081870.1081950
- ↑ Battista Biggio, Blaine Nelson, Pavel Laskov, 〈Poisoning Attacks against Support Vector Machines〉, ICML 2012. arXiv:1206.6389
- ↑ Ian J. Goodfellow, Jonathon Shlens, Christian Szegedy, 〈Explaining and Harnessing Adversarial Examples〉, ICLR 2015. arXiv:1412.6572
- ↑ Florian Tramèr 외, 〈Stealing Machine Learning Models via Prediction APIs〉, USENIX Security 2016. arXiv:1609.02943
- ↑ Reza Shokri 외, 〈Membership Inference Attacks against Machine Learning Models〉, IEEE S&P 2017. arXiv:1610.05820
- ↑ Tianyu Gu, Brendan Dolan-Gavitt, Siddharth Garg, 〈BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain〉, 2017. arXiv:1708.06733
- ↑ 11.0 11.1 Anish Athalye, Nicholas Carlini, David Wagner, 〈Obfuscated Gradients Give a False Sense of Security〉, ICML 2018. arXiv:1802.00420
- ↑ Jeremy Cohen, Elan Rosenfeld, J. Zico Kolter, 〈Certified Adversarial Robustness via Randomized Smoothing〉, ICML 2019. arXiv:1902.02918
- ↑ MITRE, ATLAS 데이터 2026.09판. mitre-atlas/atlas-data
- ↑ Andy Zou 외, 〈Universal and Transferable Adversarial Attacks on Aligned Language Models〉, 2023. arXiv:2307.15043
- ↑ Kai Greshake 외, 〈Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection〉, AISec 2023. arXiv:2302.12173
- ↑ Nicholas Carlini 외, 〈Poisoning Web-Scale Training Datasets is Practical〉, IEEE S&P 2024. arXiv:2302.10149
- ↑ Alexandra Souly 외, 〈Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples〉, 2025-10-08. arXiv:2510.07192