안전한 AI 시스템 개발 가이드라인
IT 위키
더 많은 작업
- Guidelines for Secure AI System Development; 안전한 AI 시스템 개발 가이드라인
- 영국 국가사이버보안센터(NCSC)와 미국 사이버보안·인프라보호청(CISA)이 주도하고 한국 국가정보원 등 여러 나라 기관이 함께 낸, AI 시스템 제공자를 위한 보안 개발 지침
안전한 AI 시스템 개발 가이드라인(Guidelines for Secure AI System Development)은 2023년 11월 27일 영국 국가사이버보안센터(NCSC)가 발표한 국제 공동 지침이다. NCSC가 주도하고 미국 사이버보안·인프라보호청(CISA)과 함께 만들었으며, 18개국 기관이 지지·공동 서명했다.[1] 한국에서는 국가정보원이 협력 파트너로 참여했고, 국정원 보도자료가 이 지침을 「안전한 AI 시스템 개발 가이드라인」이라고 불렀다.[2]
지침은 AI 시스템 개발 생명주기를 안전한 설계, 안전한 개발, 안전한 배포, 안전한 운영·유지보수의 네 단계로 나누고 단계마다 고려 사항과 완화책을 제시한다. 처음부터 AI를 만드는 경우뿐 아니라 다른 조직의 모델이나 API를 가져다 시스템을 만드는 제공자를 주 대상으로 하며, 법적 구속력은 없다.[3]
PDF 첫 장은 NCSC와 CISA에 이어 다음 21개 기관을 공동 발행자로 적는다. 국정원 보도자료도 참여 기관을 23개로 셌다.[3][2]
| 국가 | 기관 |
|---|---|
| 영국 | 국가사이버보안센터(NCSC) |
| 미국 | 사이버보안·인프라보호청(CISA), 국가안보국(NSA), 연방수사국(FBI) |
| 호주 | 호주 신호국 산하 호주 사이버보안센터(ACSC) |
| 캐나다 | 캐나다 사이버보안센터(CCCS) |
| 뉴질랜드 | 국가사이버보안센터(NCSC-NZ) |
| 칠레 | 정부 CSIRT |
| 체코 | 국가사이버·정보보안청(NÚKIB) |
| 에스토니아 | 정보시스템청(RIA), 국가사이버보안센터(NCSC-EE) |
| 프랑스 | 국가사이버보안청(ANSSI) |
| 독일 | 연방정보보안청(BSI) |
| 이스라엘 | 국가사이버청(INCD) |
| 이탈리아 | 국가사이버보안청(ACN) |
| 일본 | 내각 사이버보안센터(NISC), 내각부 과학기술·혁신 정책 사무국 |
| 나이지리아 | 국가정보기술개발청(NITDA) |
| 노르웨이 | 국가사이버보안센터(NCSC-NO) |
| 폴란드 | 디지털부, NASK 국가연구소 |
| 한국 | 국가정보원(NIS) |
| 싱가포르 | 사이버보안청(CSA) |
작성에는 앨런 튜링 연구소, 아마존, 앤트로픽, 데이터브릭스, 구글, 구글 딥마인드, 허깅 페이스, IBM, 마이크로소프트, OpenAI, 팔란티어, RAND, 스케일 AI 등 기업·연구기관이 의견을 냈다.[3]
국정원은 그해 4월 「한미 전략적 사이버안보 협력 프레임워크」, 11월 「한영 전략적 사이버 파트너십」 체결에 이어 연대를 다지려고 협력 파트너로 참여했다고 밝혔다.[2]
- 범위: 지침에서 AI는 머신러닝 응용을 뜻하며 모든 종류의 머신러닝을 포함한다. AI 시스템은 기존 사이버 위협 외에 적대적 머신러닝 같은 새로운 취약점을 안고 있고, 그 예로 프롬프트 인젝션과 학습 데이터·사용자 피드백 오염(데이터 중독)을 든다.[3]
- 책임: AI 공급망에는 여러 주체가 얽혀 최종 사용자가 위험을 판단하기 어렵다. 그래서 '보안 내재화'(secure by design) 원칙에 따라 AI 구성 요소를 제공하는 쪽이 하위 사용자의 보안 결과까지 책임지고, 설정이 있으면 가장 안전한 값을 기본으로 두며, 줄이지 못한 위험은 하위 사용자에게 알리고 안전한 사용법을 안내하라고 한다.[3]
- 정렬: NCSC의 안전한 개발·배포 지침, NIST의 보안 소프트웨어 개발 프레임워크(SSDF), CISA 등이 낸 보안 내재화 원칙과 맞췄다. 우선순위로 고객의 보안 결과에 대한 책임, 철저한 투명성과 책임성, 보안 내재화를 최우선 업무로 삼는 조직 구조와 리더십의 셋을 든다.[3] 국정원 보도자료도 이 셋을 지침의 3개 원칙으로 소개했다.[2]
제목은 원문 소제목이다. 한국어는 이 문서에서 옮긴 것이다.[3]
| 단계 | 지침 | 요지 |
|---|---|---|
| 1. 안전한 설계(Secure design) | Raise staff awareness of threats and risks | 경영진, 데이터 과학자, 개발자가 AI 고유 위협과 실패 유형을 알고 시큐어 코딩과 책임 있는 AI 관행을 교육받는다 |
| Model the threats to your system | 시스템 전체 위협을 위협 모델링으로 평가한다 | |
| Design your system for security as well as functionality and performance | 기능·성능과 함께 보안을 설계 요구 사항으로 둔다 | |
| Consider security benefits and trade-offs when selecting your AI model | 모델 구조, 학습 데이터 특성, 적대적 훈련 같은 강화 기법, 구성 요소의 출처를 따져 모델을 고른다 | |
| 2. 안전한 개발(Secure development) | Secure your supply chain | 공급망 보안을 평가·감시하고 공급자에게 자사와 같은 기준을 요구한다. SLSA 같은 체계로 증명을 추적한다 |
| Identify, track and protect your assets | 모델, 데이터, 프롬프트, 로그 같은 AI 자산의 가치를 알고 보호한다 | |
| Document your data, models and prompts | 모델 카드, 데이터 카드, SBOM 등으로 데이터 출처, 범위와 한계, 가드레일, 해시·서명을 문서화한다 | |
| Manage your technical debt | 빠른 개발 주기 때문에 쌓이기 쉬운 기술 부채를 폐기 절차까지 포함해 관리한다 | |
| 3. 안전한 배포(Secure deployment) | Secure your infrastructure | API, 모델, 데이터, 학습·처리 파이프라인에 접근 통제를 적용하고 민감한 환경을 분리한다 |
| Protect your model continuously | 모델과 데이터에 대한 직접·간접 접근을 막는다. 필요하면 차분 프라이버시, 동형 암호 같은 프라이버시 강화 기술을 쓴다 | |
| Develop incident management procedures | AI 사고를 가정한 대응·복구 계획을 세우고, 고객이 사고 대응에 쓸 감사 로그를 추가 비용 없이 제공한다 | |
| Release AI responsibly | 벤치마크와 레드티밍 같은 보안 평가를 거친 뒤 공개하고 알려진 한계를 밝힌다 | |
| Make it easy for users to do the right things | 가장 안전한 설정을 유일한 선택지나 기본값으로 두고, 사용자가 책임질 보안 영역과 데이터 사용 방식을 분명히 알린다 | |
| 4. 안전한 운영·유지보수(Secure operation and maintenance) | Monitor your system's behaviour | 출력과 성능의 급격하거나 점진적인 변화를 관찰해 침해와 데이터 드리프트를 찾는다 |
| Monitor your system's inputs | 추론 요청, 질의, 프롬프트를 기록·감시하고 분포 밖 입력과 적대적 입력을 탐지한다 | |
| Follow a secure by design approach to updates | 자동 업데이트를 기본으로 하고, 데이터·모델·프롬프트 변경을 새 버전처럼 시험한다 | |
| Collect and share lessons learned | 정보 공유 공동체에 참여하고 보안 연구자의 취약점 신고를 받아들이며 필요하면 공개 권고문을 낸다 |
국정원 보도자료는 이 구성을 "설계ㆍ개발ㆍ배포ㆍ운영 등 4 STEP"이라고 요약했다.[2]
- 인공지능(AI) 보안 안내서: 과학기술정보통신부와 한국인터넷진흥원의 2025년 안내서는 해외 참고 자료로 이 지침을 들었다. 안내서도 생명주기별 요구 사항을 두되 파기 단계를 따로 둔 점이 다르다.[4]
- NIST AI RMF: 조직 차원의 위험 관리 틀이고, 이 지침은 제공자가 개발 단계별로 할 일에 집중한다.
- 구글 SAIF, OWASP Top 10 for LLM Applications: 작성에 참여한 기업들의 자체 프레임워크와 위험 목록. 이 지침은 정부 기관의 공동 권고라는 점이 다르다.
- 지침의 부록 격인 "더 읽을거리"는 NCSC의 머신러닝 보안 원칙, ENISA의 AI 사이버보안 실무 프레임워크, MITRE ATLAS 등을 소개한다.[3]
- 권고일 뿐 강제력이 없고, 서명 기관이 각자 자기 나라 제도로 이행을 요구하지는 않는다.
- 원칙 수준의 지침이라 "무엇을 할지"는 적지만 "어느 정도면 충분한지"는 정하지 않는다. 지침 스스로 모든 내용이 모든 조직에 그대로 적용되지는 않으며 조직의 사용 사례와 위협 수준에 맞춰 보라고 한다.[3]
- 2023년 11월 문서라 그 뒤 크게 늘어난 AI 에이전트의 도구 호출과 권한 위임 문제는 직접 다루지 않는다. 이 부분은 OWASP Top 10 for Agentic Applications, AI 에이전트 보안을 함께 봐야 한다.
- ↑ UK and US develop new global guidelines for AI security, NCSC, 2023-11-27.
- ↑ 2.0 2.1 2.2 2.3 2.4 국정원, 美ㆍ英 주관 '안전한 AI 개발 가이드'에 파트너 참여, 국가정보원 보도자료, 2023-11-28.
- ↑ 3.0 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 Guidelines for secure AI system development, NCSC·CISA 외, 2023-11. TLP:CLEAR.
- ↑ 인공지능(AI) 보안 안내서, 과학기술정보통신부·한국인터넷진흥원, 2025-12-10(2026-03-13 정오).