AI 워터마크
더 많은 작업
- AI watermark, AI watermarking; AI 워터마크
- 생성형 인공지능이 만든 글, 이미지, 소리, 영상에 사람 눈에는 띄지 않지만 기계로 검출할 수 있는 신호를 넣어, AI 생성물임을 나중에 확인할 수 있게 하는 기술
AI 워터마크는 생성형 인공지능의 결과물에 생성 단계에서 식별 신호를 심어 두는 기술이다. 저작권 보호용으로 쓰이던 디지털 워터마킹을 AI 생성물 식별에 적용한 것으로, 이미 만들어진 글이 AI 작품인지 사후에 추측하는 탐지기와 달리 생성하는 쪽이 처음부터 표식을 남긴다는 점이 다르다. 딥페이크와 허위 정보 대응, 학습 데이터에 자사 모델 출력이 섞였는지 가리는 용도로 쓰이며, EU 인공지능법과 한국 인공지능기본법이 AI 생성물 표시 의무를 두면서 구현 수단으로 주목받는다.
| 방식 | 원리 | 장점 | 약점 |
|---|---|---|---|
| 보이는 표시 | "AI 생성" 문구, 로고, 아이콘 | 누구나 바로 알아봄 | 잘라내거나 지우기 쉬움 |
| 비가시 워터마크 | 픽셀, 음향, 토큰 선택 확률에 통계적 신호를 심음 | 사람은 못 느끼고 일부 편집에도 남음 | 검출에 비밀 키나 전용 도구가 필요하고 강한 변형에 약함 |
| 출처 메타데이터(C2PA 등) | 생성 도구, 편집 이력을 전자서명한 메타데이터로 파일에 붙임 | 위변조를 암호학적으로 검증 | 메타데이터를 지우면 사라짐 |
| 사후 탐지기 | 문체나 통계 특징으로 AI 생성 여부를 추정 | 생성 쪽 협조 없이 사용 가능 | 오탐이 많고 새 모델에 뒤처짐 |
실무에서는 여러 방식을 함께 쓴다. 메타데이터가 지워져도 비가시 워터마크가 남고, 워터마크가 약해져도 서명된 이력이 남는 식이다.
이미지는 픽셀 값을 사람이 알아채지 못할 만큼 조금 바꿔 신호를 넣을 수 있지만, 텍스트는 단어 하나만 바꿔도 뜻과 품질이 달라진다. 그래서 텍스트 워터마크는 글자를 고치는 대신 디코딩 단계에서 다음 토큰을 고르는 확률을 비밀 키에 따라 살짝 기울이는 방식을 쓴다.
2023년 키르헨바우어(John Kirchenbauer) 등이 제안한 방식이 대표적이다.[1]
- 직전 토큰을 해시해 난수 생성기의 시드를 정한다.
- 그 난수로 어휘 전체를 비율 의 녹색 목록과 나머지 적색 목록으로 나눈다.
- 녹색 토큰의 로짓에 를 더해 녹색 토큰이 조금 더 잘 뽑히게 한다(소프트 워터마크). 적색 토큰을 아예 금지하면 하드 워터마크가 된다.
- 검출할 때는 같은 해시 규칙으로 각 토큰이 녹색인지 다시 계산하고, 녹색 토큰 수 가 우연보다 많은지 z-검정으로 판단한다.
는 검사한 토큰 수다. 사람이 쓴 글은 녹색 비율이 근처에 머물고, 워터마크된 글은 그보다 뚜렷이 높다. 검출에는 모델 자체나 API 접근이 필요 없고 해시 키만 있으면 되며, 짧은 구간에서도 해석 가능한 p값을 얻을 수 있다.[1]
정답이 거의 하나로 정해진 낮은 엔트로피 상황(코드, 정해진 서식, 사실 질문)에서는 확률을 기울일 여지가 적어 신호가 약해진다. 반대로 그런 상황에서는 품질 저하도 거의 없다. 출력 분포를 전혀 바꾸지 않는 왜곡 없는(distortion-free) 방식도 제안되었다. 키로 만든 난수열을 샘플링에 쓰는 방식으로, OPT-1.3B와 라마 7B에서 토큰의 40~50%를 무작위로 고쳐도 35토큰부터 검출되었지만, 응답 엔트로피가 낮은 지시 따르기 모델에서는 약 25%만 검출되었다.[2]
SynthID는 구글 딥마인드의 AI 생성물 워터마크 기술 묶음이다. 2023년 8월 구글 클라우드 버텍스 AI의 이미지 생성 모델 이마젠(Imagen) 사용자 일부에게 이미지 워터마크 베타로 처음 공개되었다.[3] 2024년 5월에는 제미나이 앱과 웹의 텍스트, 영상 생성 모델 비오(Veo)의 영상으로 범위를 넓혔다. 구글은 이 텍스트 워터마크가 일부 단어 교체와 가벼운 바꿔 쓰기에는 견디지만, 글을 완전히 다시 쓰거나 다른 언어로 번역하면 신뢰도가 크게 떨어지고, 사실 질문 응답에서는 효과가 낮다고 밝혔다.[4]
텍스트 방식인 SynthID-Text는 2024년 10월 《네이처》에 발표되었다. 학습은 건드리지 않고 샘플링 절차만 바꾸며, 여러 후보 토큰을 비밀 키 기반 점수로 겨루게 하는 토너먼트 샘플링을 쓴다. 검출에 원래 모델이 필요 없고, 실서비스에서 쓰이는 추측 샘플링(추측 디코딩)과도 결합할 수 있다. 약 2,000만 건의 제미나이 응답에 대한 사용자 피드백을 분석한 실서비스 실험에서 텍스트 품질 저하가 확인되지 않았다고 보고했다.[5]
C2PA(Coalition for Content Provenance and Authenticity)는 콘텐츠의 출처와 편집 이력을 기록하는 기술 표준을 만드는 단체로, 2021년 2월 어도비, Arm, BBC, 인텔, 마이크로소프트, 트루픽(Truepic)이 창립했다.[6] 어도비 주도의 콘텐츠 진위 이니셔티브(Content Authenticity Initiative)와 마이크로소프트·BBC 등의 프로젝트 오리진(Project Origin)을 하나의 표준화 작업으로 합친 것이다.[7] C2PA 명세는 누가 어떤 도구로 만들고 어떻게 편집했는지를 담은 매니페스트를 전자서명해 파일에 붙이며, 이렇게 붙은 정보를 사용자에게 보여 줄 때 흔히 콘텐츠 자격 증명(Content Credentials)이라 부른다. 워터마크가 "AI가 만들었다"는 신호 하나를 숨겨 넣는다면, C2PA는 생성과 편집의 전체 이력을 검증 가능한 형태로 기록한다. 다만 소셜 미디어 업로드나 화면 캡처 과정에서 메타데이터가 지워지면 정보가 사라지므로, 비가시 워터마크와 함께 쓰는 방안이 논의된다.
- 제거 공격: 바꿔 쓰기 모델로 문장을 반복해서 다시 쓰는 재귀적 바꿔 쓰기 공격은 품질을 크게 해치지 않으면서 워터마크 검출률을 크게 떨어뜨렸다.[8]
- 강한 워터마크의 불가능성: 공격자가 출력 품질을 판정하는 수단과 품질을 유지하며 출력을 조금씩 바꾸는 수단을 갖고 있으면, 비밀 키를 몰라도 품질을 크게 떨어뜨리지 않고 워터마크를 지울 수 있다는 증명이 나왔다.[9]
- 위조: 반대로 공격자가 워터마크 패턴을 추정해 사람이 쓴 글을 AI 생성물로 오인하게 만들 수 있어, 모델 개발사의 평판을 해칠 수 있다.[8]
- 낮은 엔트로피와 짧은 글: 서식이 정해진 글, 사람이 쓴 글을 AI가 조금만 다듬은 글, 아주 짧은 글은 신호가 약해 검출이 어렵다.[4]
- 검증 주체의 한정: 키를 가진 개발사만 검출할 수 있어, 개발사가 검출 도구를 공개하지 않으면 일반 사용자는 확인할 수 없다.
- 적용 범위: 오픈 웨이트 모델은 사용자가 샘플링 코드를 바꿔 워터마크를 끌 수 있으므로, 모든 AI 생성물에 워터마크가 있으리라고 기대할 수 없다. 워터마크가 없다는 사실이 사람이 만들었다는 증거가 되지는 않는다.
| 구분 | EU 인공지능법 | 한국 인공지능기본법 |
|---|---|---|
| 생성물 표시 | 합성 음향, 이미지, 영상, 텍스트를 생성하는 AI 시스템(범용 AI 시스템 포함)의 제공자는 출력이 기계 판독 가능한 형식으로 표시되고 인공적으로 생성·조작되었음을 검출할 수 있게 해야 한다. 기술적으로 가능한 범위에서 효과적이고 상호 운용 가능하며 견고하고 신뢰할 수 있어야 한다(제50조 제2항)[10] | 생성형 인공지능 또는 이를 이용한 제품·서비스를 제공하는 인공지능사업자는 결과물이 생성형 인공지능으로 생성되었다는 사실을 표시해야 한다(제31조 제2항)[11] |
| 딥페이크 | 딥페이크 이미지·음향·영상을 생성하거나 조작하는 배포자는 인공적으로 생성·조작된 것임을 공개해야 한다. 명백한 예술·풍자·허구 작품은 감상을 방해하지 않는 방식으로 존재만 알리면 된다(제50조 제4항)[10] | 실제와 구분하기 어려운 가상의 음향, 이미지, 영상을 제공하면 이용자가 명확하게 인식할 수 있는 방식으로 고지 또는 표시해야 한다. 예술적·창의적 표현물은 전시나 향유를 저해하지 않는 방식으로 할 수 있다(제31조 제3항)[11] |
| 공익 목적 텍스트 | 공익 사안을 알리기 위해 발행하는 AI 생성 텍스트는 배포자가 공개해야 하나, 사람의 검토나 편집 통제를 거치고 편집 책임자가 있으면 예외(제50조 제4항)[10] | 별도 규정 없음 |
| 위반 시 | 최대 1,500만 유로 또는 전 세계 연 매출의 3% 가운데 높은 금액의 과징금(제99조 제4항)[10] | 과태료(3천만 원 이하)는 제31조 제1항의 사전 고지 의무 위반에만 규정되어 있고, 제2항·제3항 표시 의무 위반에 대한 과태료 조항은 없다(제43조)[12] |
| 시행 | 제50조는 일반 적용일인 2026년 8월 2일부터 적용(제113조)[10] | 2026년 1월 22일 시행 |
EU 집행위원회는 제50조 이행을 돕기 위해 AI 생성 콘텐츠의 표시와 라벨링에 관한 자율 행동 강령(Code of Practice on Marking and Labelling of AI-generated Content)을 마련했다.[13] 두 법 모두 표시의 구체적 방법은 하위 규범에 맡기고 있어, 워터마크, 메타데이터, 보이는 표시 가운데 무엇을 어떻게 조합할지가 실무 과제로 남아 있다.
- ↑ 1.0 1.1 John Kirchenbauer 외, 〈A Watermark for Large Language Models〉, ICML 2023. arXiv:2301.10226
- ↑ Rohith Kuditipudi 외, 〈Robust Distortion-free Watermarks for Language Models〉, TMLR. arXiv:2307.15593
- ↑ Sven Gowal, Pushmeet Kohli, Identifying AI-generated images with SynthID, 구글 딥마인드, 2023-08-29.
- ↑ 4.0 4.1 Watermarking AI-generated text and video with SynthID, 구글 딥마인드, 2024-05-14.
- ↑ Sumanth Dathathri 외, 〈Scalable watermarking for identifying large language model outputs〉, Nature 634, 818~823쪽, 2024. doi:10.1038/s41586-024-08025-4
- ↑ Technology and media entities join forces to create standards group aimed at building trust in online content, 마이크로소프트, 2021-02-22.
- ↑ About C2PA, C2PA.
- ↑ 8.0 8.1 Vinu Sankar Sadasivan 외, 〈Can AI-Generated Text be Reliably Detected?〉, TMLR. arXiv:2303.11156
- ↑ Hanlin Zhang 외, 〈Watermarks in the Sand: Impossibility of Strong Watermarking for Generative Models〉, ICML 2024. arXiv:2311.04378
- ↑ 10.0 10.1 10.2 10.3 10.4 Regulation (EU) 2024/1689 (Artificial Intelligence Act), 제50조·제99조·제113조, EUR-Lex.
- ↑ 11.0 11.1 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제31조, 국가법령정보센터.
- ↑ 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 제43조, 국가법령정보센터.
- ↑ AI Act, 유럽 집행위원회 디지털 전략 누리집.