구글 SAIF
더 많은 작업
- Secure AI Framework (SAIF); 구글 SAIF
- 구글이 AI 시스템 보안을 위해 내놓은 개념 프레임워크로, 핵심 요소 6가지와 AI 개발 과정의 위험·통제 지도로 이루어진다
SAIF(Secure AI Framework, 보안 AI 프레임워크)는 구글이 2023년 6월 8일 발표한 AI 보안 프레임워크다. 구글의 프라이버시·안전·보안 담당 부사장 로열 핸슨(Royal Hansen)과 구글 클라우드 최고정보보안책임자 필 버너블스(Phil Venables)가 블로그 글로 소개했다. 기존 보안 모범 사례를 AI 시스템에 맞게 넓힌다는 취지로, 처음에는 핵심 요소 6가지만 제시했다.[1]
이후 구글은 별도 사이트(saif.google)에 AI 개발 과정을 구성 요소별로 그린 지도, 위험 15종, 통제 24개, 에이전트 위험 자가 진단을 공개했다.[2][3] 2024년에는 SAIF를 바탕으로 업계 연합체 CoSAI가 만들어졌다. 국내 인공지능(AI) 보안 안내서도 해외 참고 자료로 SAIF를 들었다.[4]
| 번호 | 원문 | 내용 |
|---|---|---|
| 1 | Expand strong security foundations to the AI ecosystem | 기본값이 안전한 기존 인프라 보호 수단과 보안 역량을 AI 시스템, 애플리케이션, 사용자에게 넓히고 위협 변화에 맞춰 고친다 |
| 2 | Extend detection and response to bring AI into an organization's threat universe | AI 시스템의 입력과 출력을 감시해 이상을 찾고 위협 인텔리전스로 공격을 예측한다 |
| 3 | Automate defenses to keep pace with existing and new threats | 공격자도 AI를 쓸 것이므로 AI로 대응 속도와 규모를 키운다 |
| 4 | Harmonize platform level controls to ensure consistent security across the organization | 플랫폼과 도구 전반의 통제를 일관되게 맞춰 모든 AI 애플리케이션이 같은 보호를 받게 한다 |
| 5 | Adapt controls to adjust mitigations and create faster feedback loops for AI deployment | 지속 시험, 사고와 사용자 피드백 반영, 학습 데이터와 모델 갱신, 정기 레드팀으로 통제를 조정한다 |
| 6 | Contextualize AI system risks in surrounding business processes | 데이터 계보, 검증, 운영 모니터링을 포함해 업무 과정 전체에서 위험을 평가한다 |
원문 블로그 기준이다.[1] 블로그는 다음 단계로 NIST AI RMF와 ISO/IEC 42001 개발 지원, 고객·정부 워크숍, 맨디언트(Mandiant)와 TAG의 위협 정보 공유, AI 안전·보안 연구까지 버그 바운티 확대, SAIF 실천용 오픈소스 도구 공개를 약속했다.[1]
saif.google의 위험 목록이다. "책임" 열은 사이트가 그 위험을 주로 누가 다뤄야 한다고 보는지(모델 제작자, 모델 사용자)를 나타낸다.[2]
| 위험 | 책임 | 내용 | 관련 문서 |
|---|---|---|---|
| Data Poisoning(데이터 중독) | 제작자 | 학습 데이터를 삭제, 수정, 주입해 성능을 떨어뜨리거나 편향·백도어를 심는다 | 데이터 오염 공격 |
| Unauthorized Training Data(무단 학습 데이터) | 제작자 | 정책, 계약, 동의, 라이선스상 쓸 수 없는 데이터로 학습한다 | |
| Model Source Tampering(모델 소스 변조) | 제작자 | 공급망이나 내부자 공격으로 모델 코드, 의존성, 가중치를 바꾼다 | AI 공급망 보안 |
| Excessive Data Handling(과도한 데이터 처리) | 제작자 | 정책이 허용하는 범위를 넘어 사용자 데이터를 수집, 보관, 처리, 공유한다 | |
| Model Exfiltration(모델 유출) | 제작자, 사용자 | 모델이나 가중치를 무단 복사·탈취한다 | |
| Model Deployment Tampering(모델 배포 변조) | 제작자, 사용자 | 배포 과정이나 서빙 도구를 무단 변경해 배포 후 동작을 바꾼다 | |
| Denial of ML Service(ML 서비스 거부) | 사용자 | 과도한 호출이나 자원을 많이 먹는 입력으로 시스템을 마비시킨다 | 무제한 소비 (인공지능) |
| Model Reverse Engineering(모델 역공학) | 사용자 | 체계적인 질의로 모델의 동작을 재현한다 | 모델 추출 공격 |
| Insecure Integrated Component(안전하지 않은 통합 구성 요소) | 사용자 | 플러그인, 라이브러리, 연결된 서비스의 취약점으로 모델에 접근하거나 코드를 주입한다 | |
| Prompt Injection(프롬프트 인젝션) | 제작자, 사용자 | 프롬프트나 외부 콘텐츠에 지시를 넣어 모델이 데이터가 아닌 명령으로 실행하게 한다 | 프롬프트 인젝션 |
| Model Evasion(모델 회피) | 제작자, 사용자 | 입력을 살짝 바꿔 틀린 추론을 끌어낸다 | 적대적 예제 |
| Sensitive Data Disclosure(민감 데이터 노출) | 제작자, 사용자 | 프롬프트, 학습 데이터, 연결된 시스템의 기밀 데이터가 질의로 드러난다 | 학습 데이터 추출 공격 |
| Inferred Sensitive Data(추론된 민감 데이터) | 제작자, 사용자 | 학습 데이터에 없던 개인의 민감한 사실을 모델이 추론해 낸다 | |
| Insecure Model Output(안전하지 않은 모델 출력) | 사용자 | 출력을 검증 없이 사용자나 하위 시스템에 넘긴다 | |
| Rogue Actions(불량 행동) | 사용자 | 에이전트가 추론 오류나 조작 때문에 의도하지 않은 행동을 하고, 피해는 권한만큼 커진다 | 과도한 위임, AI 에이전트 보안 |
사이트의 통제 목록을 분류별로 옮겼다. 괄호 안은 그 통제가 다루는 위험이다.[3]
| 분류 | 통제 |
|---|---|
| 데이터 | Privacy Enhancing Technologies(민감 데이터 노출), Training Data Management(추론된 민감 데이터, 무단 학습 데이터), Training Data Sanitization(데이터 중독, 무단 학습 데이터), User Data Management(민감 데이터 노출, 과도한 데이터 처리) |
| 인프라 | Model and Data Inventory Management, Model and Data Access Controls, Model and Data Integrity Management, Secure-by-Default ML Tooling(데이터 중독, 모델 소스 변조, 모델 유출, 모델 배포 변조 등) |
| 모델 | Input Validation and Sanitization(프롬프트 인젝션), Output Validation and Sanitization(프롬프트 인젝션, 불량 행동, 민감 데이터 노출 등), Adversarial Training and Testing(모델 회피, 프롬프트 인젝션 등) |
| 애플리케이션 | Application Access Management(ML 서비스 거부, 모델 역공학), User Transparency and Controls(민감 데이터 노출, 과도한 데이터 처리), Agent User Control, Agent Permissions, Agent Observability(불량 행동, 민감 데이터 노출 등) |
| 보증 | Red Teaming, Vulnerability Management, Threat Detection, Incident Response Management(모든 위험) |
| 거버넌스 | User Policies and Education, Internal Policies and Education, Product Governance, Risk Governance |
에이전트 통제 3개(사용자 통제, 권한, 관측성)는 사이트가 애플리케이션 분류 안에 두었고, 관측성은 "새로 추가"로 표시되어 있다. 사이트에는 이 밖에 AI 에이전트 보안을 따로 다루는 "Focus on Agents"와 에이전트 위험 자가 진단 도구가 있다.[3][5] 위험 이름 가운데 "불량 행동"과 에이전트 통제 셋은 OWASP Top 10 for Agentic Applications의 도구 오용, 통제를 벗어난 에이전트와 겹친다.
CoSAI(Coalition for Secure AI)는 2024년 7월 18일 애스펀 보안 포럼에서 발표된 업계 연합체로, 국제 표준·오픈소스 컨소시엄 OASIS Open이 운영을 맡는다. 구글은 SAIF를 첫걸음으로 내놓았고 CoSAI가 그 위에서 공동 프레임워크를 실용적인 표준으로 만들 것이라고 설명했다. 창립 참여사로 아마존, 앤트로픽, Chainguard, 시스코, Cohere, GenLab, IBM, 인텔, 마이크로소프트, 엔비디아, OpenAI, 페이팔, Wiz를 들었다.[6]
처음 작업 흐름은 AI 시스템의 소프트웨어 공급망 보안, 변하는 사이버보안 환경에 대한 방어자 준비, AI 보안 거버넌스의 셋이었고,[6] 현재 CoSAI 사이트는 여기에 에이전트 시스템을 위한 안전한 설계 패턴을 더해 넷을 든다.[7]
| 구분 | 구글 SAIF | NIST AI RMF | OWASP Top 10 for LLM Applications | MITRE ATLAS |
|---|---|---|---|---|
| 발행 | 구글(기업) | 미국 정부 기관 | 비영리 오픈 커뮤니티 | 비영리 연구기관 |
| 성격 | 원칙 + 위험·통제 지도 | 위험 관리 프레임워크 | 우선순위 위험 목록 | 공격 전술·기법 지식 베이스 |
| 대상 | AI 개발·사용 조직 전체 | 조직 전체 | LLM 애플리케이션 개발자 | 보안 관제, 레드팀 |
| 구조 | 핵심 요소 6, 위험 15, 통제 24 | 4기능 19범주 72하위 범주 | 항목 10 | 전술 16, 기법 120, 완화책 40 |
SAIF의 위험은 모델 제작자와 사용자 가운데 누가 책임지는지를 함께 표시한다는 점이 다른 목록과 다르다.
- 한 기업이 만든 프레임워크라 다른 공개 표준처럼 공개 의견 수렴이나 판 관리 절차가 드러나 있지 않다. saif.google의 위험·통제 목록에는 판 번호나 갱신 날짜가 표시되지 않는다.
- 핵심 요소 6가지는 원칙 수준이라 그대로는 점검할 수 없고, 통제도 이름과 짧은 설명 수준이다. 세부 요구 사항은 조직이 정해야 한다.
- ↑ 1.0 1.1 1.2 Royal Hansen, Phil Venables, Introducing Google's Secure AI Framework, The Keyword(구글 블로그), 2023-06-08.
- ↑ 2.0 2.1 SAIF Risks, Google.
- ↑ 3.0 3.1 3.2 SAIF Controls, Google.
- ↑ 인공지능(AI) 보안 안내서, 과학기술정보통신부·한국인터넷진흥원, 2025-12-10(2026-03-13 정오). 제2장 "주요 해외 참고자료" 표.
- ↑ SAIF.google, Google.
- ↑ 6.0 6.1 Google announces the Coalition for Secure AI, The Keyword(구글 블로그), 2024-07-18.
- ↑ About CoSAI, Coalition for Secure AI.