인공지능(AI) 보안 안내서
더 많은 작업
- 인공지능(AI) 보안 안내서
- 과학기술정보통신부와 한국인터넷진흥원(KISA)이 AI 모델·서비스를 외부 사이버 위협으로부터 보호하도록 개발자, 서비스 제공자, 이용자별 보안 요구 사항과 점검 항목을 정리해 2025년 12월 펴낸 안내서
「인공지능(AI) 보안 안내서」는 과학기술정보통신부와 한국인터넷진흥원(KISA)이 2025년 12월 10일 공개한 AI 보안 지침이다. 본문 239쪽이며, 2026년 3월 13일 일부 오류를 고친 정오 수정본과 정오표가 다시 배포되었다. KISA 누리집과 과학기술정보통신부 누리집에서 받을 수 있다.[1] 과학기술정보통신부와 KISA의 정책연구 사업 결과물이고, 안내서 스스로 대외적인 법적 효력이 없으므로 본문의 "~해야 한다" 같은 표현에도 불구하고 참고로만 활용하라고 밝힌다.[2]
안내서는 AI 보안을 "외부의 사이버 공격·침해행위 등으로 인한 AI 시스템 손상, 탈취 등 무결성, 기밀성, 가용성을 저해하는 행위로부터 AI 시스템을 보호하는 것"으로 정의한다. 그동안 국내 지침이 주로 신뢰성 관점에서 쓰여 보안 관점의 상세한 안내가 부족했다는 문제의식에서 출발했으며, 윤리, 편향, 개인정보 보호는 다른 자료를 함께 보라며 범위에서 뺐다.[2] 2024년 6월부터 「AI 보안 정책 포럼」을 꾸려 의견을 모았고, NIST AI RMF, OWASP Top 10 for LLM Applications(v1.1), 구글 SAIF, 영국 NCSC의 안전한 AI 시스템 개발 가이드라인, EU 인공지능법 등 해외 자료와 국내 지침을 참고했다.[2]
| 부분 | 내용 |
|---|---|
| 체크리스트 요약 | AI 개발자용, AI 서비스 제공자용 점검표(예/아니오/해당 없음) |
| 제1장 개요 | 개발 목적, AI 보안 위협, 안내서의 필요성과 적용 범위 |
| 제2장 AI 개발자를 위한 보안 안내서 | 개발자 대상 보안 프레임워크, 생명주기별 보안 요구 사항과 검증 항목 |
| 제3장 AI 서비스 제공자를 위한 보안 안내서 | 서비스 제공자 대상 보안 프레임워크, 서비스 생명주기별 요구 사항과 검증 항목 |
| 제4장 AI 이용자를 위한 보안 수칙 | 이용자에게 생길 수 있는 보안 위협 사례와 보안 수칙 |
| 부록 | 용어 정의, 참고 자료, TTA 「신뢰할 수 있는 인공지능 개발 안내서」와 비교, 국내 주요 AI 보안 가이드라인 비교, 개발자·서비스 제공자 대상 보안 프레임워크 |
목차 기준이다.[2]
안내서는 AI와 관련된 보안을 두 가지로 나누고, 이 안내서는 앞의 것에 초점을 맞춘다고 밝힌다.[2]
| 구분 | Security for AI(AI 시스템에 대한 보안) | Security by AI(AI에 의한 보안) |
|---|---|---|
| 목적 | AI 시스템 자체를 보호 | AI 기술로 보안 시스템을 강화 |
| 대상 | AI 모델, 데이터, 인프라 | 침입 탐지, 위협 예측, 자동 대응 등의 보안 시스템 |
| 주요 위협 | 데이터 포이즈닝, 모델 탈취, 적대적 예제 공격 | 사이버 공격, 네트워크 침입, 악성 소프트웨어 |
| 활용 기술 | 데이터 암호화, 모델 보호, API 접근 제어 | AI 기반 위협 탐지, 이상 행동 탐지, 자동 대응 |
| 예 | 모델 기밀성 보호, 데이터 무결성 유지 | AI 기반 침입탐지시스템, 피싱 탐지·차단 |
같은 구분은 국제 자료에서도 쓰인다. 자세한 비교는 AI 보안 문서 참고.
제1장 첫머리의 분류표다. 원문 번호를 그대로 옮겼다.[2]
| 구분 | 정의 | 위협 |
|---|---|---|
| AI 모델 취약점 공격 | AI 모델과 시스템의 취약점을 공격해 서비스 중단, 결과물 조작, 데이터 탈취 등을 일으키는 행위 | ① 프롬프트 공격 ② 회피 공격 ③ 오염 공격 ④ 데이터 추출 공격 ⑤ 모델 추출 공격 |
| AI 서비스 공격 | AI 기반 서비스를 마비시키거나 서비스 기업이 가진 데이터를 탈취하려는 행위 | ⑥ DoS/DDoS ⑦ 피싱 메일 등을 통한 악성코드 배포 ⑧ AI 서비스 대상 해킹 |
| AI 악용 보안 위협 | AI 서비스의 성능을 해킹, 침해 사고 등에 악용하는 행위 | ⑨ 악성코드 생성 ⑩ 피싱·스미싱 메일 등 생성 ⑪ 범죄 지식 학습 |
| 데이터 유출 | 이용자가 실수로 민감 정보를 입력하거나 서비스 오류로 민감 정보가 출력되는 것 | ⑫ 민감 정보(기업 기밀 정보 등) 입력 ⑬ 개인정보 등 출력 |
이어지는 절은 대표 위협을 사례와 함께 설명한다. 프롬프트 인젝션(직접·간접), 민감 정보 노출, 적대적 예제 공격을 다루고, 적대적 예제 공격은 다시 회피 공격(정지 표지판 스티커, 적대적 스티커), 오염 공격(마이크로소프트 Tay), 탐색적 공격(데이터 추출, 모델 추출)으로 나눈다.[2] 각 공격은 프롬프트 인젝션, 적대적 예제, 데이터 오염 공격, 모델 추출 공격 문서에 자세히 있다. 위협 분류 가운데 AI 악용 보안 위협은 Security by AI의 반대편인 공격자의 AI 악용에 해당하며 AI 기반 사이버 공격 문서에서 다룬다.
안내서는 자신의 특징을 네 가지로 든다.[2]
- 첫째, 신뢰성, 프라이버시 항목을 빼고 기밀성, 무결성, 가용성 보장을 위한 요구 사항에 집중했다.
- 둘째, 개발자뿐 아니라 서비스 제공자와 이용자로 대상을 넓혔다. 세 주체의 개념은 인공지능기본법과 EU 인공지능법을 참고해 정의했고, 요구 사항마다 개인(담당자)이 할 일인지 조직이 할 일인지 수행 주체를 표시했다.
- 셋째, 보안상 중요한 "파기" 단계를 더해 생명주기를 6단계로 나눴다.
- 넷째, 예측형 AI(Pred AI)와 생성형 AI(Gen AI)를 구별해 검증 항목을 제시했다.
| 단계 | 목표 | 주요 활동 |
|---|---|---|
| 1. 계획 및 설계 | AI 시스템이 해결할 목표와 성공 지표 정의 | 비즈니스·기술 목표 정의, 관리 감독 조직 마련, 위험 요소 분석과 대응 방안 |
| 2. 데이터 수집 및 준비 | 학습용 데이터 수집과 전처리 | 데이터 출처 정의, 보안 정책과 법적 제약 고려, 결측·중복 처리, 학습·검증·시험 세트 분할 |
| 3. 모델 개발(학습/모델링/검증) | 모델 구축, 학습, 성능 평가 | 기술·알고리즘·구조 선택, 학습과 하이퍼파라미터 조정, 정확도·견고성 시험 |
| 4. 모델 배포 | 학습된 모델을 운영 환경에 통합 | 클라우드·엣지·내부 서버 배포, 다른 시스템과의 연동 확인 |
| 5. 모니터링 및 유지보수 | 배포된 모델의 지속 감시와 관리 | 성능 추적, 배포 후 보안 취약점 탐지·완화, 업데이트와 패치 |
| 6. 파기 | 더 이상 쓰지 않는 모델의 안전한 폐기 | 중요 데이터와 로그 백업, 잔여 데이터·지식재산 유출 방지, 폐기 사유와 교훈 문서화 |
안내서 표 1-2 기준이다. 안내서는 파기 단계의 보안 사항이 다른 지침에 없는 내용이라고 강조한다.[2]
요구 사항 14개에 체크리스트 항목이 딸려 있다. 각 항목에는 수행 주체(담당자, 조직)와 적용 AI 유형(Pred AI, Gen AI)이 표시된다.[2]
| 생명주기 | 요구 사항 | 항목 수 |
|---|---|---|
| 1. 계획 및 설계 | 1.1 AI 보안 거버넌스 체계 구축, 1.2 AI 모델 개발에 대한 위험관리 계획 수립(둘 다 서비스 제공자와 공통) | 6 |
| 2. 데이터 수집 및 준비 | 2.1 데이터 수집 및 전처리, 2.2 데이터 무결성 검증, 2.3 데이터 공격에 대한 방어 | 9 |
| 3. 모델 개발 | 3.1 학습·검증 환경 보안, 3.2 모델 공격에 대한 방어, 3.3 오픈소스 라이브러리 보안, 3.4 LLM 보안 | 21 |
| 4. 모델 배포 | 4.1 모델 파일 및 배포 환경 보호, 4.2 API 및 인터페이스 보안 | 8 |
| 5. 모니터링 및 유지보수 | 5.1 실시간 모니터링, 5.2 보안 패치 및 업데이트 관리 | 8 |
| 6. 파기 | 6.1 파기 시 보안 | 3 |
| 합계 | 14개 | 55 |
항목 수는 정오 수정본 앞부분의 체크리스트 요약을 센 것이다. 모델 공격 방어(3.2)에는 프롬프트 인젝션, 적대적 예제, 모델 회피, 모델 오염, 모델 추출·리버스 엔지니어링, 반복 질의, 기계 학습을 이용한 모델 공격에 대한 방어가, LLM 보안(3.4)에는 LLM 애플리케이션 공격 예방, 모델 서비스 거부 방어, API 보안, 인터페이스 공격 예방, 안전한 코딩 관행, 출력 모니터링, 프롬프트 인젝션 방어, 벡터 및 임베딩 취약점 방어가 들어 있다. 3.1에는 연합 학습에 참여하는 악의적 장치를 검증하는 항목도 있다.[2]
배포 단계의 예시로는 배포 전 모델 컨텍스트 프로토콜(MCP) 보안 점검이 실려 있다. MCP로 호출될 수 있는 도구·기능 식별, MCP 도구별 신뢰성·보안 검토, 비정상 컨텍스트 요청에 대한 응답 검증, 세션 간 정보 누출 확인, MCP 호출 흐름의 감사 로깅, 도구 권한 설정과 호출 패턴의 이상 탐지를 든다.[2]
서비스 제공자 대상 보안 프레임워크는 예방(Prevention) 단계와 탐지·대응(Detection) 단계로 나뉜다. 예방 단계는 거버넌스와 위험 관리 아래 데이터 보호, 모델 보안 유지, 응용 프로그램·네트워크·시스템·DB 보안 같은 사이버 보안 기술을 두고, 탐지·대응 단계는 데이터 이상 징후 탐지, 모델 보안 유지, 데이터 수집·관리 시스템, 예방·탐지·대응 시스템을 둔다.[2]
| 서비스 생명주기 | 요구 사항 | 항목 수 |
|---|---|---|
| 1. 서비스 기획 및 설계 | 1.1 AI 보안 거버넌스 체계 구축, 1.2 AI 서비스 위험관리 계획 수립(둘 다 공통), 1.3 서비스 수준 계약(SLA) 관리 | 9 |
| 2. 서비스 개발 및 구축 | 2.1 코드 취약점 점검 등 관리, 2.2 모델 환경의 보안, 2.3 데이터 보안, 2.4 API 및 인터페이스 보안 | 14 |
| 3. 서비스 제공 및 운영 | 3.1 로그 및 운영 데이터 보안 | 4 |
| 4. 서비스 유지보수 및 지원 | 4.1 모니터링·업데이트·패치, 4.2 성능 및 장애 관리 | 9 |
| 5. 피드백 및 서비스 개선 | 5.1 사용자 피드백 관리 | 4 |
| 6. 파기 | 6.1 파기 시 보안 | 3 |
| 합계 | 12개 | 43 |
SLA 관리에서는 공급업체 계약에 암호화 수준, 무결성 검증, 데이터 소유권과 사용 범위, 계약 종료 시 반환·삭제, 보안 모니터링 의무를 명시하라고 예시한다. 장애 관리에는 모델 드리프트 탐지, 다중화와 백업, DoS/DDoS 방어 항목이 있다.[2]
발간 당시 보도는 안내서가 "총 113개의 항목"으로 구성됐다고 전했다.[3] 정오 수정본을 직접 세면 개발자 체크리스트 55개, 서비스 제공자 체크리스트 43개, 이용자 수칙 6개로 합계 104개라 보도 숫자와 맞지 않는다. 안내서 안에서도 집계가 조금씩 다르다.
- TTA 안내서와 비교한 부록 3의 "부록 표 4"는 개발자 요구 사항 14개·검증 항목 57개로, 같은 부록의 "부록 표 7"은 서비스 제공자 요구 사항 12개·검증 항목 44개로 적는다(서비스 제공자 표에는 파기 단계 행이 없다).
- 제2장 체크리스트 요약은 데이터 무결성 검증(2.2)을 2개 항목으로, 앞부분 요약은 3개 항목으로 적는다.
정오표가 고친 내용은 세 가지다: 17쪽 표를 가독성 때문에 옮김, 25쪽에 인쇄·편집 중 빠졌던 3.4.8(LLM 벡터 및 임베딩 취약점 방어) 추가, 54쪽에 빠졌던 3.4.7 추가.[4]
부록 4는 국내 주요 AI 지침을 비교한다.[2]
| 지침 | 발행 | 초점 |
|---|---|---|
| 챗GPT 등 생성형 AI 활용 보안 가이드라인 | 국가정보원(국가보안기술연구소), 2023-06 | 공공 부문의 생성형 AI 이용 시 업무상 비밀·개인정보 유출 예방 |
| 금융분야 AI 보안 가이드라인 | 금융보안원, 2023-04 | 금융 AI의 학습 데이터와 모델 보안. 검증 항목 14개 |
| 신뢰할 수 있는 인공지능 개발 안내서 일반분야 | 과학기술정보통신부·한국정보통신기술협회, 2023-07 | 신뢰성. 요구 사항 15개, 검증 항목 69개 |
| 인공지능 시대 안전한 개인정보 활용 정책 방향 | 개인정보보호위원회, 2023-08 | AI 데이터 수집·활용의 개인정보 규범 |
| 인공지능(AI) 보안 안내서 | 과학기술정보통신부·KISA, 2025-12 | 기밀성·무결성·가용성 중심 보안. 개발자, 서비스 제공자, 이용자 |
TTA 신뢰성 안내서와의 차이로, 그쪽이 「인공지능 윤리기준」의 10대 핵심 요건에서 다양성 존중, 책임성, 안전성, 투명성을 도출했다면 이 안내서는 편향성·프라이버시 등 윤리 요소를 빼고 "안전성" 가운데 정보보안 관점만 다뤘다고 설명한다.[2]
과학기술정보통신부와 KISA는 2026년 7월 8일 「AI 보안 위협 대응 매뉴얼」과 「AI 보안 레드티밍 가이드」 두 가지를 추가로 펴냈다. 보도에 따르면 매뉴얼은 위협을 데이터, 모델, 에이전트, 공급망, 고성능 모델 위협으로 나누고 금융, 의료, 공공·행정, 교육, 제조·에너지, 통신, 법률, IT 분야의 위협 시나리오를 담았으며, 경영진에게는 위협 유형과 사례를, 실무자에게는 진단·대응 기준을 제시한다. 레드티밍 가이드는 계획과 팀 구성부터 준비, 수행, 결과 보고까지 절차와 점검표, 진단 도구, 레드팀 직무 설명을 담았고 AI 레드티밍 국제표준안 ISO/IEC 42119-7을 바탕으로 했다.[5][6] 이 문서 작성 시점에는 두 자료의 원문을 확인하지 못해 보도 내용만 옮겼다. 레드티밍 일반은 인공지능 레드티밍 문서 참고.
- ↑ 인공지능(AI) 보안 안내서 발간 (정오 수정본 및 정오표 추가 배포), 한국인터넷진흥원, 2025-12-10 게시, 2026-03-13 갱신.
- ↑ 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 2.11 2.12 2.13 2.14 2.15 2.16 2.17 2.18 2.19 과학기술정보통신부·한국인터넷진흥원, 「인공지능(AI) 보안 안내서」(정오 수정본), 2025-12(2026-03 정오). 이하 본문 인용은 정오 수정본 기준.
- ↑ 과기정통부, '인공지능(AI) 보안 안내서' 발표, 뉴스서울, 2025-12-10.
- ↑ 인공지능(AI) 보안 안내서 정오표, 한국인터넷진흥원, 2026-03-13.
- ↑ 과기정통부·KISA, AI 보안 위협 대응 가이드 2종 발간, 바이라인네트워크, 2026-07-08.
- ↑ 파이낸셜뉴스 기사(연합뉴스 제공), 2026-07-08.