적대적 예제

Adversarial example; 적대적 예제

사람이 보기에는 원본과 거의 같지만 기계 학습 모델이 틀린 답을 내도록 일부러 만든 입력

적대적 예제(adversarial example)는 정상 입력에 아주 작은 교란(perturbation)을 더해 모델의 예측을 공격자가 원하는 쪽으로 바꾼 입력이다. 판다 사진에 사람 눈에는 보이지 않는 잡음을 더하면 이미지 분류 신경망이 이를 긴팔원숭이로 99% 넘는 확신을 가지고 분류하는 예가 잘 알려져 있다. 적대적 샘플이라고도 한다.

적대적 예제를 만들어 배포 단계의 모델을 속이는 공격을 회피 공격(evasion attack)이라 하며, 과기정통부·KISA 「인공지능(AI) 보안 안내서」도 이 이름을 쓴다. NIST AI 100-2 E2025 분류에서 회피 공격은 무결성 침해에 속하며, 화이트박스 회피는 NISTAML.022, 블랙박스 회피는 NISTAML.025라는 식별자를 갖는다. MITRE ATLAS에서는 "Craft Adversarial Data"(AML.T0043) 기법과 그 하위 기법(화이트박스 최적화, 블랙박스 최적화, 블랙박스 전이, 수동 변형)에 해당한다. 이 문서는 적대적 예제를 만드는 방법과 성질, 방어를 다룬다. 분야 전체의 위협 모델과 역사는 적대적 머신러닝, 공격 분류 전체는 인공지능 대상 공격 문서에 있다.

정의

분류기 $f$, 정답 레이블이 $y$인 입력 $x$, 거리 함수 $D$, 허용 교란 크기 $\epsilon$가 있을 때, 다음을 만족하는 $x^{\prime }$가 적대적 예제다.

$D(x,x^{\prime })\le \epsilon \text{and}f(x^{\prime })\ne y$

• 비표적(untargeted) 공격: 정답만 아니면 어떤 클래스로 바뀌어도 된다.
• 표적(targeted) 공격: 공격자가 정한 클래스 $t$로 바꾸는 것이 목표다($f(x^{\prime })=t$).

거리로는 주로 $L_p$ 노름을 쓴다.

노름	뜻	대표 공격	예시 예산
$L_{\mathrm{\infty }}$	모든 화소의 변화 중 최댓값	FGSM, PGD	CIFAR-10에서 $\epsilon =8/255$, MNIST에서 0.3
$L_2$	변화 벡터의 유클리드 길이	C&W $L_2$, DeepFool	ImageNet에서 0.5 안팎
$L_0$	바뀐 화소의 개수	JSMA, C&W $L_0$	몇 개~수십 개 화소
비노름 제약	회전·이동, 패치, 물리 변형	적대적 패치, EOT	사람이 알아채지 못할 정도

예시 예산은 매드리(Madry) 등의 실험 설정(MNIST $\epsilon =0.3$, CIFAR-10 $\epsilon =8/255$)과 코언(Cohen) 등의 ImageNet 인증 실험($L_2$ 0.5)에서 가져왔다. 텍스트나 악성코드처럼 입력이 이산적인 분야에서는 노름 대신 "의미나 기능이 유지되는 변형"을 제약으로 쓴다. 예를 들어 PDF 악성코드 탐지를 회피하려면 악성 기능을 그대로 둔 채 특징만 바꿔야 한다.

발견과 원인 가설

• 2004~2005년: 스팸 필터 같은 선형 분류기를 상대로 단어 몇 개를 바꿔 분류를 피하는 연구가 나왔다(달비(Dalvi) 등 KDD 2004, 로드(Lowd)·미크(Meek) KDD 2005).
• 2013년: 비조(Biggio) 등이 경사 기반 최적화로 SVM·신경망 기반 PDF 악성코드 탐지기를 회피했고, 같은 해 세게디(Szegedy) 등이 심층 신경망 이미지 분류기에서 같은 현상을 보고하며 "adversarial examples"라는 용어를 썼다. NIST는 두 연구가 독립적으로 경사 최적화 방법을 제안했다고 정리한다.
• 세게디 등은 같은 교란이 다른 데이터 부분집합으로 학습한 다른 신경망도 속인다는 점(전이성)을 함께 보고했다.

존재 이유에 대한 대표 가설은 다음과 같다.

가설	주장	출처
비선형성·과적합	신경망의 결정 경계가 불연속적이고 이상한 "주머니"가 있다	세게디 등 2013(초기 해석)
선형성 가설	고차원에서 선형에 가까운 모델은 각 차원의 작은 변화가 내적으로 누적되어 큰 출력 변화가 된다	굿펠로(Goodfellow) 등 2014
강건하지 않은 특징	데이터에는 예측에 유용하지만 사람이 알아보지 못하는 취약한 특징이 있고, 모델은 이를 학습해 쓴다. 적대적 예제는 버그가 아니라 이런 특징의 결과다	일리아스(Ilyas) 등 2019

선형성 가설은 다음 계산으로 설명된다. 가중치 $w$인 선형 모델에 $\eta =\epsilon \cdot \mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w)$를 더하면 출력은 $w^{\mathrm{\top }}\eta =\epsilon \Vert w{\Vert }_1$만큼 바뀐다. 차원 $n$이 커지면 각 성분의 변화 $\epsilon$이 작아도 전체 변화는 $n$에 비례해 커진다. 일리아스 등은 강건하지 않은 특징만으로 학습한 모델도 원래 테스트 집합에서 정확도가 나온다는 실험으로 두 번째 해석을 뒷받침했다.

화이트박스 공격

공격자가 모델 구조와 가중치를 알아 손실의 입력 기울기 ${\mathrm{\nabla }}_{x}L(\theta ,x,y)$를 계산할 수 있는 경우다.

L-BFGS (세게디 등, 2013)

최초의 신경망 공격은 교란 크기와 표적 손실의 합을 상자 제약(화소 값 범위) 아래에서 최소화했다.

$\underset{r}{\min }c\Vert r{\Vert }_2+L(x+r,t)\text{s.t. }x+r\in [0,1{]}^n$

상자 제약 L-BFGS로 풀고, 조건을 만족하는 가장 작은 $c$를 선 탐색으로 찾는다. 정확하지만 느리다.

FGSM (굿펠로 등, 2014)

빠른 경사 부호법(Fast Gradient Sign Method, FGSM)은 손실을 선형 근사해 $L_{\mathrm{\infty }}$ 공 안에서 한 번에 손실을 최대화한다.

$x^{\prime }=x+\epsilon \cdot \mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}({\mathrm{\nabla }}_{x}L(\theta ,x,y))$

기울기 한 번만 계산하므로 매우 빠르다. 원 논문에서 $\epsilon =0.25$일 때 MNIST 맥스아웃(maxout) 신경망이 적대적 예제의 89.4%를 틀렸고 평균 확신도는 97.6%였다. ImageNet의 GoogLeNet에서는 $\epsilon =0.007$(8비트 이미지의 최소 단위에 해당)만으로 확신도 57.7%의 "판다"가 99.3%의 "긴팔원숭이"가 되었다. 표적 공격은 부호를 바꿔 $x^{\prime }=x-\epsilon \cdot \mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}({\mathrm{\nabla }}_{x}L(\theta ,x,t))$로 표적 클래스의 손실을 줄인다.

BIM과 PGD

쿠라킨(Kurakin) 등의 반복법(Basic Iterative Method, BIM)은 FGSM을 작은 걸음 $\alpha$로 여러 번 반복하고 매번 $\epsilon$ 범위로 잘라 낸다. 매드리 등은 여기에 허용 범위 안의 무작위 시작점을 더한 것을 투영 경사 하강법(Projected Gradient Descent, PGD) 공격으로 정리했다.

$x^{(k+1)}={\Pi }_{B_{\epsilon }(x)}(x^{(k)}+\alpha \cdot \mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}({\mathrm{\nabla }}_{x}L(\theta ,x^{(k)},y))),x^{(0)}=x+𝒰(-\epsilon ,\epsilon )$

${\Pi }_{B_{\epsilon }(x)}$는 $L_{\mathrm{\infty }}$ 공 $\{x^{\prime }:\Vert x^{\prime }-x{\Vert }_{\mathrm{\infty }}\le \epsilon \}$로의 투영이며, $L_{\mathrm{\infty }}$에서는 성분별로 $[x-\epsilon ,x+\epsilon ]$에 자르는 것과 같다. 매드리 등은 PGD를 1차(기울기만 쓰는) 공격자 중 "가장 강한" 공격으로 보고, PGD에 강건하면 1차 공격 전반에 강건하다는 관점을 제시했다. 이후 강건성 평가와 적대적 훈련의 사실상 기준 공격이 되었다.

C&W 공격 (칼리니·와그너, 2016)

칼리니(Carlini)와 와그너(Wagner)는 $L_0$, $L_2$, $L_{\mathrm{\infty }}$ 세 거리에 대한 최적화 공격을 제안했다. $L_2$ 판은 다음과 같다.

$\underset{w}{\min }\Vert x^{\prime }-x{\Vert }_2^2+c\cdot g(x^{\prime }),x^{\prime }=\frac{1}{2}(\tanh (w)+1)$

$g(x^{\prime })=\max (\underset{i\ne t}{\max }Z(x^{\prime }{)}_i-Z(x^{\prime }{)}_t,-\kappa )$

$Z$는 소프트맥스 이전의 로짓, $t$는 표적 클래스, $\kappa$는 확신도 여유다. $\tanh$ 변수 변환으로 화소 범위 제약을 없애고 Adam으로 푼다. 이 공격은 당시 방어 기법으로 주목받던 방어적 증류(defensive distillation)가 적용된 신경망에서도 100% 성공해 방어가 효과 없음을 보였다. PGD보다 느리지만 더 작은 교란을 찾는다.

그 밖의 화이트박스 공격

• DeepFool(2015): 결정 경계까지의 최소 $L_2$ 거리를 선형 근사로 반복 계산한다.
• 보편적 적대적 교란(universal adversarial perturbation, 2016): 입력마다 따로 만들지 않고 대부분의 자연 이미지를 틀리게 만드는 교란 하나를 찾는다. 다른 신경망에도 잘 전이된다.
• AutoAttack(2020): 걸음 크기를 자동 조절하는 APGD 변형 둘과 기존 공격 둘을 묶은 매개변수 없는 평가용 공격 묶음이다. 학회 논문 50여 개 모델 중 하나를 빼고 모두 논문이 보고한 것보다 낮은 강건 정확도를 얻었고, 10%포인트 넘게 낮춘 경우도 많았다.

파이토치 구현

아래는 파이토치 2.x 기준 FGSM과 $L_{\mathrm{\infty }}$ PGD의 최소 구현이다. 입력은 $[0,1]$ 범위로 정규화되어 있다고 가정한다.

import torch
import torch.nn.functional as F

def fgsm(model, x, y, eps):
    """FGSM: 손실 기울기의 부호 방향으로 한 번에 eps만큼 이동"""
    x = x.clone().detach().requires_grad_(True)
    loss = F.cross_entropy(model(x), y)
    grad, = torch.autograd.grad(loss, x)
    return (x + eps * grad.sign()).clamp(0, 1).detach()

def pgd(model, x, y, eps=8/255, alpha=2/255, steps=10, random_start=True):
    """L-무한대 PGD: 작은 걸음 반복 + eps 공 안으로 투영"""
    x_adv = x.clone().detach()
    if random_start:
        x_adv = (x_adv + torch.empty_like(x_adv).uniform_(-eps, eps)).clamp(0, 1)
    for _ in range(steps):
        x_adv.requires_grad_(True)
        loss = F.cross_entropy(model(x_adv), y)
        grad, = torch.autograd.grad(loss, x_adv)
        x_adv = x_adv.detach() + alpha * grad.sign()
        x_adv = torch.min(torch.max(x_adv, x - eps), x + eps)  # 투영
        x_adv = x_adv.clamp(0, 1)                               # 유효한 화소 범위
    return x_adv.detach()

# 사용 예: model.eval() 상태에서
# x_adv = pgd(model, images, labels)
# robust_acc = (model(x_adv).argmax(1) == labels).float().mean()

평가할 때는 모델을 eval() 상태로 두어 배치 정규화 통계와 드롭아웃이 공격 중에 바뀌지 않게 한다. 실무에서는 직접 구현보다 검증된 라이브러리(IBM Adversarial Robustness Toolbox, torchattacks, AutoAttack 공식 구현 등)를 쓰는 편이 평가 실수를 줄인다.

블랙박스 공격

공격자가 모델 내부를 모르고 질의(query)만 할 수 있는 경우다. NIST는 블랙박스 회피를 따로 분류하고 영차 최적화, 이산 최적화, 베이즈 최적화, 전이성을 대표 방법으로 든다.

방식	필요한 출력	원리	대표 연구
전이 기반	없음(대리 모델 학습용 레이블 정도)	대리(surrogate) 모델에 화이트박스 공격을 하고 결과를 대상 모델에 그대로 쓴다	파페르노(Papernot) 등 2016, 류(Liu) 등 2016
점수 기반	클래스 확률·점수	유한 차분으로 기울기를 추정하는 영차 최적화	ZOO(2017)
결정 기반	최종 레이블만	이미 틀린 점에서 출발해 경계를 따라 원본 쪽으로 다가간다	경계 공격(Boundary Attack, 2017)

파페르노 등은 대리 모델과 전이를 써서 아마존과 구글의 상용 기계 학습 분류 서비스를 질의 800번만으로 각각 96.19%, 88.94% 오분류시켰다. ZOO는 대리 모델 없이 좌표별 유한 차분으로 기울기를 추정해 C&W 목적 함수를 푼다. 경계 공격은 최종 레이블만 공개되는 가장 제한된 환경에서도 공격이 가능함을 보였다.

전이성

한 모델에서 만든 적대적 예제가 구조나 학습 데이터가 다른 모델도 속이는 성질을 전이성(transferability)이라 한다. 세게디 등이 처음 관찰했고, 굿펠로 등은 서로 다른 모델이 비슷한 선형 함수를 학습하기 때문이라고 설명했다. 비표적 공격은 잘 전이되지만 표적 레이블까지 그대로 전이되는 경우는 드물어, 류 등은 여러 모델을 함께 공격하는 앙상블 방법으로 표적 전이율을 높였다. 전이성 때문에 "모델을 공개하지 않으면 안전하다"는 가정은 성립하지 않는다. 대형 언어 모델에서도 공개 모델로 찾은 적대적 접미사(GCG)가 상용 모델의 탈옥으로 전이된다는 결과가 나왔다.

물리적 적대적 예제

디지털 이미지가 아니라 실제 사물에 교란을 입혀 카메라로 들어가게 하는 공격이다. 시점, 거리, 조명, 카메라 잡음이 바뀌어도 효과가 남아야 하므로 디지털 공격보다 어렵다. 국내에서는 적대적 스티커라고도 하며, KISA 안내서는 "적대적 스티커(Adversarial patch)"로 적었다. 언론에서는 적대적 패치라는 표기도 쓴다.

연도	연구	내용
2016	쿠라킨 등	적대적 이미지를 인쇄해 휴대전화 카메라로 찍어도 ImageNet Inception 분류기가 상당 부분 틀린다는 것을 보였다
2016	샤리프(Sharif) 등, ACM CCS	적대적 무늬를 인쇄한 안경테로 얼굴 인식 시스템을 회피하거나 다른 사람으로 인식시켰다
2017	아탈리(Athalye) 등, EOT	변환 분포에 대한 기대값을 최적화하는 EOT(Expectation over Transformation)를 제안하고, 3D 프린터로 만든 거북이를 여러 각도에서 "소총"으로 분류되게 했다
2017	아이크홀트(Eykholt) 등, RP2	실제 정지 표지판에 흑백 스티커를 붙여 "속도 제한 45" 표지판으로 오분류시켰다. 실험실 사진에서 100%, 주행 차량에서 찍은 영상 프레임에서 84.8% 성공했다
2017	브라운(Brown) 등, 적대적 패치	구글 연구진이 어느 장면에 붙여도 분류기가 다른 사물을 무시하고 표적 클래스를 내놓게 하는 보편적 패치를 만들었다. 바나나가 놓인 탁자에 "토스터" 패치를 두자 VGG16이 97% 확신하던 "바나나" 대신 99% 확신으로 "토스터"라고 답했다
2019	티스(Thys) 등	사람이 몸 앞에 든 인쇄 패치만으로 감시 카메라용 사람 탐지 모델(YOLOv2)에서 사람을 숨겼다. 정지 표지판과 달리 생김새가 제각각인 "사람" 클래스를 노렸다
2019	쉬(Xu) 등, 적대적 티셔츠	움직이는 사람의 옷 주름까지 모델링한 적대적 티셔츠로 YOLOv2 사람 탐지를 디지털에서 74%, 실제 환경에서 57% 회피했다

EOT는 변환 $T$의 분포에 대해 기대 손실을 최적화한다.

$\underset{x^{\prime }}{\max }{𝔼}_{T\sim 𝒯}[\log P(t\mid T(x^{\prime }))]\text{s.t. }{𝔼}_{T\sim 𝒯}[d(T(x^{\prime }),T(x))]<\epsilon$

학습 때 회전, 크기 변화, 밝기 변화, 원근 변환을 무작위로 적용해 기울기를 평균하면, 실제 환경의 변화에도 살아남는 교란이 나온다. 적대적 패치는 교란 크기 제약을 버리고 이미지의 작은 영역 안에서는 아무 값이나 허용한다. 대신 사람 눈에 띄므로, 브라운 등은 패치를 무늬처럼 위장하는 실험도 함께 했다. 아이크홀트 등도 스티커를 낙서처럼 보이게 설계했다.

교통 표지판에 스티커를 붙여 인식 모델의 오작동을 유도하는 예.

구글 연구진의 적대적 패치. 책상 무늬처럼 보이는 스티커를 옆에 두는 것만으로 분류 결과가 바뀌며, 누구나 인쇄해서 쓸 수 있다.

MITRE ATLAS는 물리 환경을 통한 공격을 "Physical Environment Access"(AML.T0041)와 "Physical Countermeasures"(AML.T0008.003)로 분류하고, 물리적 장치로 얼굴 인식을 회피한 사례 연구를 싣고 있다.

이미지 밖의 적대적 예제

• 음성: 사람에게는 같은 소리로 들리지만 음성 인식 모델이 다른 문장으로 받아쓰게 하는 공격이 있다. NIST는 음성을 공격 대상 데이터 양식 중 하나로 든다.
• 텍스트: 단어 바꾸기, 철자 변형처럼 이산적인 변형을 쓴다. 대형 언어 모델에서는 적대적 접미사나 프롬프트 최적화가 탈옥과 프롬프트 인젝션으로 이어진다.
• 보안 데이터: 악성코드, PDF, 안드로이드 앱, 네트워크 침입 탐지 분류기를 회피하는 연구가 이어졌다. 기능을 보존해야 하는 제약이 붙는다.
• 멀티모달: 이미지 쪽에 교란을 넣어 멀티모달 모델의 텍스트 출력을 조작하는 공격이 보고되었다.

방어

적대적 예제 방어의 역사는 "제안된 방어가 더 강한 적응형 공격(adaptive attack)에 곧 깨지는" 일의 반복이었다. NIST도 방어는 강한 적응형 공격으로 평가해야 한다고 강조하고, 유망한 방향으로 적대적 훈련, 랜덤 스무딩 같은 인증 기법, 형식 검증을 꼽는다. 이 방법들도 정확도 하락(적대적 훈련, 랜덤 스무딩)이나 계산 복잡도(형식 검증)라는 한계가 있다.

방어	원리	결과
적대적 훈련	학습 중에 PGD 등으로 만든 적대적 예제로 학습	경험적 방어 중 가장 오래 버텼다. 깨끗한 정확도 하락, 학습 비용 증가
방어적 증류	높은 온도의 소프트맥스로 증류해 기울기를 평탄하게 만듦	C&W 공격에 깨졌다
입력 변환·잡음 제거	압축, 양자화, 잡음 제거 신경망으로 교란 제거	상당수가 기울기 난독화로 판명
탐지기	적대적 입력을 따로 구분하는 모델이나 통계 검정	칼리니·와그너가 탐지 방법 10개를 우회했다
인증된 방어	반지름 안에서는 어떤 공격도 예측을 못 바꾼다는 것을 증명	증명은 확실하지만 반지름이 작고 정확도가 낮다

기울기 난독화

아탈리, 칼리니, 와그너는 많은 방어가 실제로 강건해진 것이 아니라 기울기를 쓸모없게 만들어 기울기 기반 공격만 막는다는 것을 보이고 이를 기울기 난독화(obfuscated gradients)라 불렀다. ICLR 2018에 실린 화이트박스 방어 9개 중 7개가 여기에 기대고 있었고, 새 공격으로 6개를 완전히, 1개를 부분적으로 깼다. 우회 방법은 미분 불가능한 전처리를 항등 함수로 근사하는 BPDA, 무작위성에 EOT 적용, 재매개변수화 등이다. 이 연구 이후 방어 논문은 적응형 공격과 AutoAttack 같은 표준 평가를 함께 내는 것이 관례가 되었고, 공개 순위표 RobustBench가 이를 표준화했다.

인증된 강건성과 랜덤 스무딩

인증된 강건성(certified robustness)은 "입력 $x$ 주변 반지름 $R$ 안의 모든 점에서 예측이 같다"를 수학적으로 보장하는 방어다. 구간 경계 전파(Interval Bound Propagation, IBP) 같은 검증 기반 학습과 랜덤 스무딩(randomized smoothing)이 대표적이다.

랜덤 스무딩은 기본 분류기 $f$에 가우스 잡음을 더해 다수결을 낸 분류기 $g$를 쓴다.

$g(x)=\arg \underset{c}{\max }P(f(x+\delta )=c),\delta \sim 𝒩(0,{\sigma }^{2}I)$

가장 확률이 높은 클래스 $c_A$의 확률 하한을 $\underset{\_}{p_A}$, 두 번째 클래스의 확률 상한을 $\overline{p_B}$라 하면, $g$는 다음 $L_2$ 반지름 안에서 예측이 바뀌지 않는다.

$R=\frac{\sigma }{2}({\Phi }^{-1}(\underset{\_}{p_A})-{\Phi }^{-1}(\overline{p_B}))$

${\Phi }^{-1}$은 표준 정규 분포의 역누적분포함수다. $\overline{p_B}=1-\underset{\_}{p_A}$로 두면 $R=\sigma {\Phi }^{-1}(\underset{\_}{p_A})$가 된다. 코언 등은 이 경계가 빡빡함(tight)을 증명했고, ImageNet에서 $L_2$ 반지름 0.5(=127/255) 안의 교란에 대해 top-1 인증 정확도 49%를 얻었다. 논문 시점에 ImageNet 규모에서 실현 가능한 인증 방어는 스무딩뿐이었다.

실제로는 확률을 정확히 알 수 없으므로 몬테카를로 표본으로 추정하고, 신뢰 하한이 1/2을 넘지 못하면 판정을 보류(abstain)한다. 아래는 논문의 CERTIFY 절차를 줄인 구현이다.

import torch
from scipy.stats import beta, norm

@torch.no_grad()
def certify(model, x, sigma=0.25, n0=100, n=10000, alpha=0.001,
            batch=1000, num_classes=10):
    """Cohen 외(2019) CERTIFY의 축약판. x는 배치 차원 없는 입력 하나."""
    def counts(num):
        c = torch.zeros(num_classes, dtype=torch.long)
        while num > 0:
            b = min(batch, num); num -= b
            xb = x.unsqueeze(0).repeat(b, *([1] * x.dim()))
            pred = model(xb + sigma * torch.randn_like(xb)).argmax(1)
            c += torch.bincount(pred, minlength=num_classes)
        return c
    c_a = counts(n0).argmax().item()   # 1단계: 후보 클래스 선택
    k = counts(n)[c_a].item()           # 2단계: 새 표본으로 확률 추정
    p_lower = beta.ppf(alpha, k, n - k + 1) if k > 0 else 0.0  # 클로퍼-피어슨 하한
    if p_lower < 0.5:
        return None, 0.0                # 판정 보류
    return c_a, sigma * norm.ppf(p_lower)  # 인증 반지름

후보 클래스를 고르는 표본과 확률을 추정하는 표본을 분리해야 선택 편향 없이 통계적 보장이 성립한다. $\sigma$를 키우면 인증 반지름은 커지지만 기본 분류기가 잡음 낀 입력을 맞히기 어려워져 깨끗한 정확도가 떨어진다. 기본 분류기는 잡음을 섞은 데이터 증강으로 학습해야 한다.

한계와 쟁점

• 강건성과 정확도의 상충: 치프라스(Tsipras) 등은 단순한 분포에서도 적대적 강건성과 표준 정확도가 상충할 수 있음을 증명했다. NIST도 이 상충을 방어의 본질적 한계로 적는다.
• 위협 모델의 현실성: $L_p$ 공은 연구에 편한 가정일 뿐 실제 공격자가 그 제약을 지킬 이유는 없다. 패치, 회전, 의미 보존 변형처럼 다른 교란에는 $L_p$ 강건성이 그대로 옮겨 가지 않는다.
• 평가의 어려움: 새 방어는 저자가 상정하지 않은 적응형 공격으로 검증해야 한다. 이 원칙이 지켜지지 않은 방어가 여러 번 깨졌다.
• 언어 모델로의 확장: 생성형 AI에서는 교란 크기보다 "정책을 어기게 만드는 입력"이 문제가 되어, 적대적 예제 연구가 탈옥과 프롬프트 인젝션 연구로 이어졌다. 자세한 내용은 인공지능 대상 공격 참고.

같이 보기

• 적대적 머신러닝
• 적대적 공격
• 적대적 훈련
• 인공지능 대상 공격
• AI 보안
• 인공지능 강건성
• 데이터 오염 공격
• 백도어 공격 (인공지능)
• 탈옥 (인공지능)
• MITRE ATLAS
• NIST AI 100-2

참고 문헌

• NIST AI 100-2 E2025, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations
• Battista Biggio, Fabio Roli, Wild Patterns: Ten Years After the Rise of Adversarial Machine Learning, Pattern Recognition 84, 2018
• RobustBench
• 코언 등의 랜덤 스무딩 공식 코드