AI 보안
더 많은 작업
- AI security; AI 보안
- 인공지능 시스템을 공격으로부터 지키는 일과, 인공지능을 이용해 사이버 보안을 강화하거나 AI를 악용한 공격에 대응하는 일을 함께 이르는 말
AI 보안(AI security)은 인공지능 시스템의 데이터, 모델, 소프트웨어, 인프라를 공격으로부터 보호하는 활동과 연구를 가리킨다. 넓게는 인공지능을 보안 업무에 활용하는 것과, 공격자가 인공지능을 무기로 쓰는 상황에 대응하는 것까지 포함한다. 인공지능 보안이라고도 한다. 과기정통부와 KISA는 「인공지능(AI) 보안 안내서」에서 AI 보안을 "외부 사이버 공격·침해행위로 인한 AI 시스템 손상·탈취 등 무결성·기밀성·가용성 저해 행위로부터 AI 시스템을 보호하는 것"으로 정의한다.[1]
AI 보안은 모델의 행동이 학습 데이터에 따라 정해지고, 출력이 확률적이며, 대형 언어 모델에서는 명령과 데이터가 같은 텍스트로 섞인다는 점에서 전통적인 소프트웨어 보안과 다르다. 그래서 기존 보안 통제(접근 제어, 암호화, 패치 관리)를 그대로 적용하는 것만으로는 부족하고, 적대적 머신러닝에서 나온 공격·방어 지식과 AI 거버넌스가 함께 필요하다.
이 문서는 AI 보안 전체를 한눈에 보는 허브다. 각 주제의 세부 내용은 연결된 문서에 있고, 여기서는 분류 체계, 생명주기별 위협 지도, 프레임워크 비교, 연표처럼 전체를 묶는 내용만 다룬다. AI를 대상으로 한 공격의 상세 분류는 인공지능 대상 공격 문서에 따로 정리했다.
AI와 보안이 만나는 영역은 보통 세 갈래로 나뉜다.
- (A) AI를 대상으로 한 공격: 학습 데이터 오염, 적대적 예제, 프롬프트 인젝션, 모델 추출처럼 AI 시스템 자체를 노리는 공격.
- (B) AI를 위한 보안(Security for AI): (A)의 공격에서 AI 시스템을 지키는 기술과 관리 체계.
- (C) AI에 의한 보안(Security by AI 또는 AI for Security): AI를 써서 위협을 탐지·분석·대응하는 것. 반대로 공격자가 AI를 써서 공격을 고도화하는 것(AI 기반 사이버 공격)과 그에 대한 대응도 이 축에서 함께 다룬다.
국제 자료와 국내 자료도 이 틀로 나뉜다.
| 축 | NIST IR 8596 Cyber AI Profile | KISA 「인공지능(AI) 보안 안내서」 | 야오(Yao) 등 LLM 보안 서베이 |
|---|---|---|---|
| (A) AI 대상 공격 | Secure(보호해야 할 위협) | AI 모델 취약점 공격, AI 서비스 공격, 데이터 유출 | Ugly(LLM 자체의 취약점) |
| (B) AI를 위한 보안 | Secure: AI 시스템 구성요소 보호 | Security for AI(안내서의 주 범위) | Ugly에 대한 방어 |
| (C-1) AI를 이용한 방어 | Defend: AI 기반 사이버 방어 | Security by AI | Good(보안에 쓰이는 LLM) |
| (C-2) 공격자의 AI 악용 | Thwart: AI 기반 사이버 공격 저지 | AI 악용 보안 위협 | Bad(공격에 쓰이는 LLM) |
NIST IR 8596(Cyber AI Profile)은 NIST 사이버보안 프레임워크(CSF) 2.0 구조로 AI 관련 사이버 보안 위험을 다루는 프로파일이다. 2025년 12월 16일 예비 초안이 공개되어 2026년 1월 30일까지 의견을 받았고, 2026년 봄 작업 세션을 거쳐 다음 단계인 초기 공개 초안을 준비하고 있다. 초점 영역을 AI 시스템 구성요소 보호(Secure), AI 기반 사이버 방어 수행(Defend), AI 기반 사이버 공격 저지(Thwart) 셋으로 나눈다.[2] KISA 안내서는 Security for AI와 Security by AI를 표로 구분한 뒤 Security for AI에 집중한다.[1] 야오 등의 서베이는 LLM과 보안의 관계를 좋은 쪽(보안에 쓰임), 나쁜 쪽(공격에 쓰임), 추한 쪽(LLM 자체의 취약점)으로 나눴다.[3]
| 특성 | 전통 소프트웨어 | AI 시스템 | 보안상 결과 |
|---|---|---|---|
| 동작을 정하는 것 | 사람이 쓴 코드 | 학습 데이터와 학습 과정 | 데이터가 곧 공격면이다. 코드를 건드리지 않고 데이터를 오염시켜 동작을 바꿀 수 있다(데이터 오염 공격, 백도어 공격 (인공지능)) |
| 입력 검증 | 형식과 범위를 명세할 수 있다 | 정상 입력의 경계를 명세하기 어렵다 | 사람에게는 정상으로 보이는 입력이 모델을 속인다(적대적 예제) |
| 명령과 데이터 | 코드와 데이터를 분리하고 매개변수화한다 | LLM은 지시와 데이터를 같은 텍스트로 받는다 | 문서, 웹 페이지, 메일 속 문장이 명령이 된다(프롬프트 인젝션, 간접 프롬프트 인젝션) |
| 출력 | 결정적이다 | 확률적이고 같은 입력에도 다를 수 있다 | 테스트로 안전을 증명하기 어렵고, 출력이 다른 시스템으로 흘러가면 새 취약점이 된다(OWASP의 "부적절한 출력 처리") |
| 비밀의 위치 | 데이터베이스, 설정 파일 | 모델 가중치 안에 학습 데이터가 남는다 | 질의만으로 학습 데이터나 모델을 빼낼 수 있다(학습 데이터 추출 공격, 모델 추출 공격) |
| 행동 권한 | 정해진 기능만 수행 | 에이전트가 도구를 고르고 실행한다 | 권한이 큰 에이전트가 속으면 피해가 실제 행동으로 이어진다(과도한 위임, AI 에이전트 보안) |
| 구성요소 | 라이브러리, 패키지 | 사전 학습 모델, 데이터셋, 모델 파일 형식까지 | 모델 파일 자체가 코드를 실행하거나 백도어를 품을 수 있다(AI 공급망 보안) |
| 패치 | 취약한 코드를 고친다 | 재학습해도 같은 유형의 공격이 다시 통하는 경우가 많다 | 완전한 해결보다 위험 완화와 지속 평가가 중심이 된다 |
그레샤케(Greshake) 등은 LLM 통합 애플리케이션이 "데이터와 명령의 경계를 흐린다"고 지적했다.[5] 마이크로소프트 AI 레드팀은 생성형 AI 제품 100개 이상을 시험한 경험에서 "AI 시스템을 깨는 데 기울기 계산은 필요 없다", "LLM은 기존 보안 위험을 키우고 새 위험을 만든다", "AI 시스템을 지키는 일은 끝나지 않는다" 같은 교훈을 정리했다.[6] 실제 사고 상당수는 정교한 적대적 예제보다 노출된 AI 서버, 유출된 자격 증명, 안전하지 않은 모델 파일처럼 전통적인 보안 실패에서 나온다는 점도 기억할 만하다. 사례는 인공지능 관련 해킹 사례 참고.
KISA 안내서는 AI 생명주기를 계획·설계, 데이터 수집·준비, 모델 개발, 모델 배포, 모니터링·유지보수, 파기의 6단계로 나눠 단계별 보안 조치를 제시한다.[1] 영국 NCSC와 미국 CISA 등이 함께 낸 「Guidelines for Secure AI System Development」(2023년 11월)는 안전한 설계, 안전한 개발, 안전한 배포, 안전한 운영·유지보수의 4단계로 나눈다.[7] 아래 표는 KISA 6단계에 단계별 주요 위협과 대응을 대응시킨 것이다.
| KISA 단계 | NCSC 단계 | 주요 위협 | 주요 대응 |
|---|---|---|---|
| 계획·설계 | 안전한 설계 | 위협 모델 부재, 과도한 권한 설계, 민감 데이터 사용 범위 불명확 | 위협 모델링, 최소 권한 설계, 위험 평가 |
| 데이터 수집·준비 | 안전한 개발 | 데이터 오염, 웹 규모 데이터셋 중독, 개인정보 포함, 출처 불명 데이터 | 데이터 출처 관리, 정제·이상치 제거, 가명처리, 차분 프라이버시 |
| 모델 개발 | 안전한 개발 | 백도어, 악성 사전 학습 모델·라이브러리, 연합 학습의 모델 중독 | 공급망 검증(서명·해시, 안전한 모델 형식), 적대적 훈련, 레드티밍 |
| 모델 배포 | 안전한 배포 | 모델 가중치 유출, 노출된 추론 서버, 안전하지 않은 도구 연동(MCP 등) | 접근 제어, 비밀 관리, MCP 서버 점검, 배포 전 보안 시험 |
| 모니터링·유지보수 | 안전한 운영·유지보수 | 회피 공격, 프롬프트 인젝션, 모델 추출, 멤버십 추론, 무제한 소비, 에이전트 도구 악용 | 가드레일, 질의 제한, 로그 모니터링, AI DLP, 사고 대응 |
| 파기 | 안전한 운영·유지보수 | 폐기 모델·데이터의 잔존, 삭제 요청 미이행 | 안전한 삭제, 머신 언러닝 |
NIST AI 100-2 E2025는 공격을 학습 단계(학습/배포), 공격 목표(가용성·무결성·프라이버시 침해와 생성형 AI의 오용 조장), 공격자 능력과 지식으로 분류하고 공격마다 NISTAML 식별자를 붙인다.[8] 세부 분류표, OWASP·MITRE ATLAS 대응표, 공격별 요약은 인공지능 대상 공격 문서에 있다. 여기서는 갈래만 정리한다.
| 갈래 | 공격 | 문서 |
|---|---|---|
| 학습 단계 | 데이터 오염, 라벨 뒤집기, 백도어, 모델 오염 | 데이터 오염 공격, 백도어 공격 (인공지능), 연합 학습 |
| 공급망 | 악성 모델 파일, 위장 모델 배포, 환각 패키지 선점 | AI 공급망 보안, 슬롭스쿼팅 |
| 추론 단계 무결성 | 회피(적대적 예제), 프롬프트 인젝션, 탈옥 | 적대적 예제, 적대적 공격, 프롬프트 인젝션, 간접 프롬프트 인젝션, 탈옥 (인공지능) |
| 에이전트 | 도구 중독, 메모리·컨텍스트 중독, 과도한 권한 악용 | AI 에이전트 보안, 툴 포이즈닝, 과도한 위임 |
| 프라이버시·기밀성 | 모델 추출, 모델 인버전, 멤버십 추론, 학습 데이터 추출, 시스템 프롬프트 유출 | 모델 추출 공격, 모델 인버전 공격, 멤버십 추론 공격, 학습 데이터 추출 공격, 시스템 프롬프트 유출 |
| 가용성 | 에너지-지연 공격, 서비스 거부, 비용 폭증 | 무제한 소비 (인공지능) |
학문 분야로서의 역사와 위협 모델(목표·지식·능력)은 적대적 머신러닝 문서에서 다룬다.
| 영역 | 내용 | 문서 |
|---|---|---|
| 모델 강건성 | 적대적 훈련, 랜덤 스무딩 등 인증된 방어 | 적대적 훈련, 인공지능 강건성 |
| 공급망 | 모델 서명과 해시 검증, 코드 실행이 없는 모델 형식(safetensors), AI 자재 명세서 | AI 공급망 보안, SBOM, 허깅 페이스 |
| 프라이버시 보호 | 차분 프라이버시, 연합 학습, 동형 암호, 기밀 컴퓨팅, 머신 언러닝 | 개인정보 보호 강화기술, 차분 프라이버시, 연합 학습, 동형 암호, 기밀 컴퓨팅, 머신 언러닝 |
| LLM 애플리케이션 | 입출력 가드레일, 민감 정보 유출 방지, 출력 검증, 신뢰할 수 없는 데이터와 제어 흐름의 분리 | AI 가드레일, 인공지능 언어모델 가드레일 솔루션, 인공지능 DLP |
| 에이전트 | 최소 권한, 도구 샌드박스, 사람의 승인, 도구·서버 검증 | AI 에이전트 보안, 모델 컨텍스트 프로토콜 |
| 평가 | 레드티밍, 자동화된 공격 도구, 벤치마크 | 인공지능 레드티밍, 인공지능 레드티밍 도구 |
| 출처·진위 | 워터마크, 콘텐츠 출처 증명 | AI 워터마크 |
| 조직 통제 | 승인되지 않은 AI 사용 관리, 사용 지침 | 섀도우 AI, AI 사용 지침 |
AI 보안 관련 자료는 성격이 서로 다르다. 공격을 분류하는 용어집, 위험 순위 목록, 공격 지식 베이스, 통제 목록, 관리 체계 표준, 법률을 구분해 보면 어떤 자료를 언제 쓸지 정하기 쉽다.
| 자료 | 발행 주체 | 성격 | 최신판(2026-10 기준) | 문서 |
|---|---|---|---|---|
| AI RMF 1.0(NIST AI 100-1)과 생성형 AI 프로파일(AI 600-1) | 미국 NIST | 위험 관리 체계(Govern, Map, Measure, Manage) | AI RMF 2023-01-26, AI 600-1 2024-07-26[9] | NIST AI RMF |
| NIST AI 100-2 | 미국 NIST | 적대적 머신러닝 공격·완화 분류와 용어 | E2025(2025-03)[8] | NIST AI 100-2 |
| NIST IR 8596 Cyber AI Profile | 미국 NIST | CSF 2.0 기반 프로파일(Secure/Defend/Thwart) | 예비 초안(2025-12-16)[2] | 이 문서 |
| MITRE ATLAS | MITRE | 공격 전술·기법 지식 베이스와 사례 연구(ATT&CK 형식) | 2026.09판, 전술 16개, 하위 기법 포함 기법 208개[10] | MITRE ATLAS |
| OWASP Top 10 for LLM Applications | OWASP 생성형 AI 보안 프로젝트 | LLM 애플리케이션 위험 순위 | 2025년판(2024-11 영문, 2025-06 한국어판), 2026년판(2026-08)[11][12] | OWASP Top 10 for LLM Applications |
| OWASP Top 10 for Agentic Applications | OWASP 생성형 AI 보안 프로젝트 | AI 에이전트 위험 순위(ASI01~ASI10) | 2026년판(2025-12-09 발표)[13] | OWASP Top 10 for Agentic Applications |
| 구글 SAIF | 구글 | 보안 프레임워크(핵심 요소 6개)와 위험·통제 목록 | 2023-06-08 발표[14] | 구글 SAIF |
| Guidelines for Secure AI System Development | 영국 NCSC, 미국 CISA 등 여러 나라 기관(국가정보원 공동 서명) | 개발 생명주기별 지침(4단계) | 1.0(2023-11-27)[7] | 안전한 AI 시스템 개발 가이드라인 |
| 인공지능(AI) 보안 안내서 | 과기정통부·KISA | 위협 분류(4분류 13종)와 생명주기별 체크리스트 | 2025-12-10 발간, 2026-03-13 정오 수정[1] | 인공지능(AI) 보안 안내서 |
| ISO/IEC 42001 | ISO/IEC JTC 1/SC 42 | AI 경영시스템 인증 표준 | 2023년판 | ISO/IEC 42001 |
| ISO/IEC 27090 | ISO/IEC JTC 1/SC 27 | AI 시스템 보안 위협 대응 지침 | 발행 단계(2026-10 현재 미발행) | 해당 없음 |
| CSA AI Controls Matrix(AICM) | 클라우드 보안 연합(CSA) | 통제 목록(18개 도메인, 247개 통제 목표) | v1.1(2026-06-22)[15] | 해당 없음 |
| EU 인공지능법 | 유럽연합 | 법률(위험 기반 규제, 고위험 AI의 사이버 보안 요건 포함) | 규정 (EU) 2024/1689[16] | EU 인공지능법 |
| 인공지능기본법 | 대한민국 | 법률(고영향 AI 사업자 책무, 생성형 AI 표시, 대규모 AI 안전성 확보) | 2025-01-21 제정, 2026-01-22 시행 | 인공지능기본법 |
용도로 나누면 다음과 같다. 공격 용어를 맞추려면 NIST AI 100-2, 레드팀 시나리오와 탐지 규칙을 짜려면 MITRE ATLAS, LLM 서비스 점검 항목을 뽑으려면 OWASP 목록, 조직의 관리 체계를 세우려면 NIST AI RMF와 ISO/IEC 42001, 국내 서비스의 체크리스트로는 KISA 안내서를 쓴다. 이 밖에 마이크로소프트의 ML 실패 모드 분류(2019)와 에이전트 실패 모드 분류(2025), ENISA의 AI 사이버 보안 보고서들, CSA의 에이전트 위협 모델링 프레임워크 MAESTRO(2025) 등이 참고 자료로 쓰인다.[4]
보안 분야는 기계 학습을 오래전부터 써 왔다. 스팸 필터, 이상 탐지, UEBA, 침입탐지시스템, 악성코드 분류가 대표적이다. 대형 언어 모델 이후에는 다음 쓰임이 늘었다.[17]
- 보안 관제 보조: 경보 요약과 분류, 조사 질의 작성, 사고 보고서 초안. AI SOC, 보안 관제, SIEM, SOAR 참고.
- 위협 인텔리전스: 보고서에서 침해 지표와 공격 기법을 추출하고 정리한다.
- 취약점 발견과 자동 패치: 구글 프로젝트 제로와 딥마인드의 Big Sleep 에이전트는 SQLite에서 악용 가능한 스택 버퍼 언더플로를 찾아 정식 배포 전에 고쳤고, 구글은 이를 AI 에이전트가 널리 쓰이는 실제 소프트웨어에서 알려지지 않은 악용 가능 메모리 안전 취약점을 찾은 첫 공개 사례로 소개했다.[18] 미국 DARPA의 AI 사이버 챌린지(AIxCC) 결선(2025년 8월 발표)에서는 참가 시스템들이 합성 취약점 63개 중 54개를 찾고 43개를 패치했으며, 실제 취약점 18개도 발견했다. 1위는 조지아 공대, 삼성리서치, KAIST, 포스텍 연구진으로 이루어진 Team Atlanta였고, 3위는 미국과 한국의 연구자로 구성된 티오리(Theori)였다.[19] 퍼즈 테스트의 하네스 작성에도 LLM이 쓰인다.
- 피싱·사기 탐지: 메일과 메시지의 문맥을 이해해 사회공학 공격을 걸러 낸다. 피싱 참고.
방어용 AI도 (A)의 공격 대상이 된다는 점을 잊으면 안 된다. ATLAS 사례 연구에는 AI 기반 악성코드 탐지와 메일 보안 제품을 회피한 사례가 들어 있다.[10]
공격자도 AI를 쓴다. KISA 안내서는 이를 악성코드 생성, 피싱·스미싱 메일 생성, 범죄 지식 학습으로 정리하고,[1] MITRE ATLAS는 공격자가 AI 모델을 공격용으로 다루는 "AI 공격 준비(AI Attack Adaptation)" 전술(AML.TA0001)을 두고 있다.[10]
- 사회공학 고도화: 문법 오류 없는 맞춤형 피싱 메일, 대량 생성. 피싱 참고.
- 사칭: 얼굴과 목소리를 합성한 사기, 영상 통화 사칭. 딥페이크, 딥보이스, 음성 합성 참고.
- 악성코드와 공격 자동화: 코드 생성 보조, 악성 LLM 서비스, 자율 에이전트를 이용한 공격.
- 종합 정리는 AI 기반 사이버 공격, 실제 사건 모음은 인공지능 관련 해킹 사례 문서에 있다.
| 연도 | 사건 |
|---|---|
| 2004 | 달비(Dalvi) 등이 스팸 필터를 상대로 한 「Adversarial classification」을 발표했다. 적대적 머신러닝의 첫 연구로 꼽힌다[20] |
| 2006 | 바레노(Barreno) 등이 「Can machine learning be secure?」에서 기계 학습 공격 분류를 제시했다[21] |
| 2013 | 세게디(Szegedy) 등이 심층 신경망의 적대적 예제를 보고했다[22] |
| 2014 | 굿펠로(Goodfellow) 등이 FGSM과 적대적 훈련을 발표했다[23] |
| 2016 | 예측 API를 통한 모델 추출 공격(트라메르 등)과 멤버십 추론 공격(쇼크리 등)이 발표되었다. 3월에는 마이크로소프트의 트위터 챗봇 테이(Tay)가 사용자들의 조직적 공격으로 공개 하루 만에 중단되었다[24][25][26] |
| 2017 | 백도어 공격 BadNets와 PGD 적대적 훈련이 발표되고, 정지 표지판 스티커 같은 물리적 적대적 예제 연구가 나왔다[27][28] |
| 2019 | 마이크로소프트와 하버드 버크먼 클라인 센터가 「Failure Modes in Machine Learning」을 냈다[4] |
| 2020 | MITRE가 AI 시스템 공격 지식 베이스 ATLAS를 만들었다(데이터 생성일 2020-10-23)[10] |
| 2023 | 1월 NIST AI RMF 1.0, 6월 구글 SAIF, 11월 NCSC 등의 안전한 AI 시스템 개발 가이드라인이 나왔다. OWASP가 LLM 애플리케이션 Top 10 첫 판을 냈고, 간접 프롬프트 인젝션과 적대적 접미사 탈옥(GCG)이 발표되었다[9][11][14][7][29] |
| 2024 | 1월 NIST AI 100-2 E2023, 7월 NIST AI 600-1 생성형 AI 프로파일이 나왔다. 구글 Big Sleep이 SQLite 취약점을 찾았다[30][9][18] |
| 2025 | 3월 NIST AI 100-2 E2025, 8월 DARPA AIxCC 결선 결과 발표, 10월 LLM 중독에 거의 일정한 수의 오염 문서면 충분하다는 연구, 12월 KISA 「인공지능(AI) 보안 안내서」, OWASP 에이전트 Top 10, NIST IR 8596 예비 초안이 나왔다[8][19][31][1][13][2] |
| 2026 | 1월 인공지능기본법 시행, 6월 CSA AICM v1.1, 8월 OWASP LLM Top 10 2026년판, 9월 MITRE ATLAS 2026.09판(형식 6.0)이 나왔다[15][12][10] |
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 과학기술정보통신부·한국인터넷진흥원, 「인공지능(AI) 보안 안내서」, 2025-12-10(2026-03-13 정오 수정본·정오표 재배포). KISA 지식플랫폼
- ↑ 2.0 2.1 2.2 Katerina Megas 외, 〈Cybersecurity Framework Profile for Artificial Intelligence (Cyber AI Profile)〉, NIST IR 8596 예비 초안, 2025-12-16. NIST CSRC
- ↑ Yifan Yao 외, 〈A Survey on Large Language Model (LLM) Security and Privacy: The Good, the Bad, and the Ugly〉, High-Confidence Computing, 2024. arXiv:2312.02003
- ↑ 4.0 4.1 4.2 Microsoft·Berkman Klein Center, 〈Failure Modes in Machine Learning〉, 2019-11. Microsoft Learn
- ↑ Kai Greshake 외, 〈Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection〉, AISec 2023. arXiv:2302.12173
- ↑ Blake Bullwinkel 외, 〈Lessons From Red Teaming 100 Generative AI Products〉, 2025. arXiv:2501.07238
- ↑ 7.0 7.1 7.2 UK NCSC 외, 〈Guidelines for Secure AI System Development〉, 2023-11-27. NCSC
- ↑ 8.0 8.1 8.2 Apostol Vassilev 외, 〈Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations〉, NIST AI 100-2 E2025, 2025-03. NIST CSRC
- ↑ 9.0 9.1 9.2 NIST, AI Risk Management Framework. NIST
- ↑ 10.0 10.1 10.2 10.3 10.4 MITRE, ATLAS 데이터 2026.09판(2026-09-15). mitre-atlas/atlas-data
- ↑ 11.0 11.1 OWASP Gen AI Security Project, 〈OWASP Top 10 for LLM Applications〉. genai.owasp.org
- ↑ 12.0 12.1 OWASP Gen AI Security Project, 〈OWASP GenAI LLM Top 10 2026〉. genai.owasp.org
- ↑ 13.0 13.1 OWASP Gen AI Security Project, 〈OWASP Top 10 for Agentic Applications for 2026〉, 2025-12-09. genai.owasp.org
- ↑ 14.0 14.1 Royal Hansen, Phil Venables, 〈Introducing Google's Secure AI Framework〉, 구글 블로그, 2023-06-08. blog.google
- ↑ 15.0 15.1 Cloud Security Alliance, 〈AI Controls Matrix v1.1〉, 2026-06-22. CSA
- ↑ Regulation (EU) 2024/1689 (Artificial Intelligence Act). EUR-Lex
- ↑ Hanxiang Xu 외, 〈Large Language Models for Cyber Security: A Systematic Literature Review〉, ACM TOSEM 게재 승인. arXiv:2405.04760
- ↑ 18.0 18.1 Big Sleep team, 〈From Naptime to Big Sleep: Using Large Language Models To Catch Vulnerabilities In Real-World Code〉, Google Project Zero, 2024. Project Zero
- ↑ 19.0 19.1 DARPA, 〈AI Cyber Challenge marks pivotal inflection point for cyber defense〉, 2025-08-08. DARPA
- ↑ Battista Biggio, Fabio Roli, 〈Wild Patterns: Ten Years After the Rise of Adversarial Machine Learning〉, Pattern Recognition 84, 2018. arXiv:1712.03141
- ↑ Marco Barreno 외, 〈Can machine learning be secure?〉, ASIACCS 2006. doi:10.1145/1128817.1128824
- ↑ Christian Szegedy 외, 〈Intriguing properties of neural networks〉, ICLR 2014. arXiv:1312.6199
- ↑ Ian J. Goodfellow, Jonathon Shlens, Christian Szegedy, 〈Explaining and Harnessing Adversarial Examples〉, ICLR 2015. arXiv:1412.6572
- ↑ Florian Tramèr 외, 〈Stealing Machine Learning Models via Prediction APIs〉, USENIX Security 2016. arXiv:1609.02943
- ↑ Reza Shokri 외, 〈Membership Inference Attacks against Machine Learning Models〉, IEEE S&P 2017. arXiv:1610.05820
- ↑ Peter Lee, 〈Learning from Tay's introduction〉, The Official Microsoft Blog, 2016-03-25. 마이크로소프트 블로그
- ↑ Tianyu Gu, Brendan Dolan-Gavitt, Siddharth Garg, 〈BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain〉, 2017. arXiv:1708.06733
- ↑ Aleksander Madry 외, 〈Towards Deep Learning Models Resistant to Adversarial Attacks〉, ICLR 2018. arXiv:1706.06083
- ↑ Andy Zou 외, 〈Universal and Transferable Adversarial Attacks on Aligned Language Models〉, 2023. arXiv:2307.15043
- ↑ NIST, 〈NIST AI 100-2 E2023〉, 2024-01. NIST CSRC
- ↑ Alexandra Souly 외, 〈Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples〉, 2025-10-08. arXiv:2510.07192