AI 기반 사이버 공격
더 많은 작업
- AI-enabled cyberattack; AI 기반 사이버 공격
- 공격자가 생성형 인공지능이나 AI 에이전트를 정찰, 사회공학, 악성코드 개발, 취약점 악용 같은 공격 단계에 쓰는 것
AI 기반 사이버 공격은 공격자가 인공지능, 특히 생성형 인공지능과 대형 언어 모델(LLM)을 도구로 써서 벌이는 공격을 말한다. AI 시스템 자체를 노리는 공격(인공지능 대상 공격, 프롬프트 인젝션 등)과는 방향이 반대다. 국제 자료도 이 둘을 나누는데, 미국 NIST의 사이버 AI 프로파일 초안(NIST IR 8596)은 AI 시스템 보호(Secure), AI를 이용한 방어(Defend)와 함께 AI 기반 공격 저지(Thwart)를 별도 초점 영역으로 두고,[1] 과학기술정보통신부·KISA 「인공지능(AI) 보안 안내서」는 위협 분류 가운데 하나로 "AI 악용 보안 위협"(악성코드 생성, 피싱·스미싱 메일 생성, 범죄 지식 학습)을 둔다[2]
2024~2025년 OpenAI, 마이크로소프트, 구글, 앤트로픽이 낸 위협 보고서를 보면, 초기에는 공격자가 LLM을 검색·번역·코딩 보조 같은 생산성 도구로 쓰는 수준이었고, 2025년 하반기에는 실행 중에 LLM을 호출하는 악성코드와 공격 단계 대부분을 AI 에이전트가 수행한 사례가 보고되었다. 개별 사건의 경과는 인공지능 관련 해킹 사례 문서에 정리되어 있고, 이 문서는 수법의 분류, 연구 동향, 방어를 다룬다.
| 유형 | 내용 | 관련 문서 |
|---|---|---|
| AI 피싱·사회공학 | 문법 오류 없는 다국어 미끼 문서, 표적별 맞춤 스피어 피싱, 대화형 사칭 | 피싱, 비즈니스 이메일 침해, 사회공학 기법 |
| 딥페이크 사기 | 임원·가족을 흉내 낸 영상·이미지로 송금 지시, 신원 확인(KYC) 우회 | 딥페이크 |
| 딥보이스 | 짧은 녹음으로 복제한 목소리로 전화 사칭 | 딥보이스, 음성 합성 |
| AI 생성 악성코드 | 공격 도구·스크립트 개발 보조, 난독화, 실행 중 LLM에 기능을 생성시키는 악성코드 | 악성코드, 코드 난독화 |
| 취약점 탐색·악용 자동화 | 공개 취약점 분석, 익스플로잇 작성, 웹 취약점 자율 공격 | 취약점, 익스플로잇 |
| 악성 LLM | 안전장치 없이 범죄용으로 판매되는 LLM 서비스 | 아래 절 |
| 자율 공격 에이전트 | 정찰부터 침투·유출까지 여러 단계를 에이전트가 이어서 수행 | 에이전트 인공지능 |
| 영향력 공작 | 허위 정보 대량 생성, 가짜 인물 계정 운영 |
예전 보안 교육은 "어색한 문장이면 피싱"이라는 단서를 가르쳤지만, LLM은 맞춤법이 정확하고 표적의 업무 맥락에 맞는 미끼를 대량으로 만든다. 마이크로소프트·OpenAI가 2024년 공개한 국가 배후 그룹 5곳 중 북한 연계 Emerald Sleet와 이란 연계 Crimson Sandstorm은 피싱 문구와 사회공학 자료 작성에 LLM을 썼다.[3] 구글 위협 인텔리전스 그룹(GTIG)은 2025년 11월 보고서에서 지하 포럼에 광고되는 AI 범죄 도구 대부분이 피싱 지원 기능을 내세운다고 밝혔다.[4] MITRE ATLAS는 LLM을 표적형 사회공학자로 쓰는 기법을 "Spearphishing via Social Engineering LLM"(AML.T0052.000)으로 분류한다.[5]
영상·음성 합성은 "목소리와 얼굴을 확인했다"는 신뢰를 무너뜨린다. 2019년 영국 에너지 회사 대표가 독일 모회사 대표의 목소리를 흉내 낸 전화에 속아 22만 유로를 보낸 사건은 AI 음성 사칭이 범죄에 쓰인 초기 사례로 보도되었다.[6] 2024년 1월에는 영국 설계 회사 아럽(Arup)의 홍콩 직원이 최고재무책임자와 동료들을 딥페이크로 재현한 화상회의에 속아 15차례에 걸쳐 2억 홍콩달러(약 2,560만 달러)를 송금했다.[7] GTIG는 지하 시장에서 KYC 확인 우회용 딥페이크 도구가 거래되고, 북한 연계 그룹이 딥페이크 영상 미끼를 썼다고 보고했다.[4] ATLAS는 이를 "Generate Deepfakes"(AML.T0088), "Deepfake-Assisted Phishing"(AML.T0052.001)으로 분류한다.[5] 자세한 내용은 딥페이크, 딥보이스 문서 참고.
LLM이 악성코드에 쓰이는 방식은 두 단계로 나뉜다.
- 개발 보조: 공격자가 LLM에 스크립트 작성, 디버깅, 난독화, 다른 언어로의 이식을 맡긴다. 2024년 마이크로소프트·OpenAI 보고와 2025년 1월 구글 보고에서 관찰된 대부분이 이 수준이었다.[3][8]
- 실행 중 호출: 악성코드가 실행되는 동안 LLM API를 불러 명령이나 코드를 생성한다. 기능이 바이너리에 고정되어 있지 않아 정적 시그니처로 잡기 어렵다. ATLAS는 이를 "Generate Malicious Commands"(AML.T0102)로 분류한다.[5]
GTIG가 2025년 11월 공개한 실행 중 호출형 악성코드는 다음과 같다.[4]
| 이름 | 유형 | 동작 | 상태 |
|---|---|---|---|
| PROMPTSTEAL | 데이터 수집기(파이썬) | 허깅 페이스 API로 Qwen2.5-Coder-32B-Instruct에 질의해 시스템·문서 정보 수집용 윈도 명령을 생성·실행. 러시아 APT28 소행으로 귀속, 우크라이나 대상 | 실제 작전에서 관찰 |
| PROMPTFLUX | 드로퍼(VBScript) | 제미나이 API로 자기 소스 코드를 다시 써서 난독화하고 시작 폴더에 저장 | 실험 단계 |
| PROMPTLOCK | 랜섬웨어(Go) | LLM으로 Lua 스크립트를 생성해 정찰·유출·암호화 수행 | 개념 증명 |
| QUIETVAULT | 자격 증명 탈취(자바스크립트) | 깃허브·NPM 토큰을 훔치고, 감염 호스트의 AI CLI 도구로 다른 비밀 정보를 찾게 함 | 실제 작전에서 관찰 |
| FRUITSHELL | 리버스 셸(PowerShell) | LLM 기반 보안 분석을 피하려는 프롬프트를 코드에 박아 둠 | 실제 작전에서 관찰 |
GTIG는 PROMPTSTEAL이 실제 작전에서 LLM에 질의하는 악성코드를 처음 관찰한 사례라고 했고, PROMPTFLUX는 아직 피해 네트워크를 침해할 능력이 없는 개발·시험 단계로 평가했다.[4] FRUITSHELL처럼 방어 쪽 LLM을 속이려고 악성코드 안에 지시문을 심는 수법은 AI SOC에 대한 간접 프롬프트 인젝션이기도 하다.
LLM 에이전트가 사람 지시 없이 공격을 수행할 수 있는지는 2024년부터 학계에서 측정되었다.
- 팡(Fang) 외(2024-02)는 GPT-4 기반 에이전트가 취약점을 미리 알려 주지 않아도 블라인드 데이터베이스 스키마 추출과 SQL 인젝션 같은 웹사이트 공격을 자율로 수행했고, 시험한 오픈소스 모델들은 그러지 못했다고 보고했다.[9]
- 같은 연구진(2024-04)은 실제 원데이 취약점 15개에 대해, CVE 설명을 준 GPT-4 에이전트가 87%를 악용한 반면 GPT-3.5, 오픈소스 LLM, 취약점 스캐너 ZAP·메타스플로잇은 0%였고, CVE 설명이 없으면 GPT-4도 7%에 그쳤다고 보고했다.[10] 취약점을 찾는 것보다 알려진 취약점을 악용하는 쪽이 훨씬 쉽다는 뜻이다.
- 실제 사례로, 앤트로픽은 2025년 11월 중국 국가 지원 그룹으로 높은 신뢰도로 평가한 공격자가 클로드 코드를 써서 약 30곳을 공격하고 일부에서 성공한 작전을 공개했다. 앤트로픽은 작전의 80~90%를 AI가 수행했고 사람은 작전당 4~6개 정도의 핵심 결정 지점에만 개입했다고 추정했으며, 최대 초당 여러 건의 요청이 오갔다고 밝혔다. 동시에 클로드가 존재하지 않는 자격 증명을 얻었다고 보고하는 환각이 완전 자율 공격의 걸림돌로 남아 있다고 했다.[11] 사건 경과는 인공지능 관련 해킹 사례 참고.
- ATLAS 2026.09 판에는 자율 에이전트 관련 기법이 따로 있다: Autonomous Exploit Development(AML.T0017.001), Autonomous Reconnaissance(AML.T0116), Autonomous Attack-Path Adaptation(AML.T0117), Autonomous AI Agent Communication(AML.T0118), Autonomous Attack Orchestration(AML.T0124).[5]
같은 능력은 방어에도 쓰인다. 취약점을 찾고 고치는 쪽의 경쟁과 연구는 AIxCC 문서 참고.
상용 LLM의 안전장치를 피하려는 공격자는 두 길을 쓴다. 하나는 탈옥이나 거짓 명분이다. GTIG는 중국 연계 공격자가 거절당한 요청을 CTF 문제 풀이로 바꿔 다시 묻고, 이란 연계 그룹이 졸업 과제나 논문을 쓰는 학생인 척해 제미나이의 안전장치를 우회한 사례를 보고했다.[4] 다른 하나는 처음부터 범죄용으로 만든 LLM 서비스다.
- 웜GPT(WormGPT): 2023년 7월 보안 업체 SlashNext가 처음 분석해 알려졌다. 해킹 포럼에서 "검열 없는" 범죄용 AI로 판매되었고, 라이선스 가격은 500~5,000유로였다. 개발자는 오픈소스 모델 GPT-J 6B를 기반으로 썼다고 밝혔다.[12]
- 이후 비슷한 이름의 서비스가 여럿 광고되었고, GTIG는 2025년 지하 시장의 AI 도구가 무료(광고 포함)와 유료 구독(이미지 생성, API 접근 등) 같은 일반 소프트웨어 가격 모델을 따른다고 정리했다.[4]
악성 LLM의 실제 성능은 상용 최상위 모델보다 낮은 경우가 많아, 위협의 핵심은 새 능력보다는 진입 장벽을 낮추는 데 있다.
주요 AI 기업은 자사 서비스의 악용을 탐지해 계정을 막고 그 내용을 정기적으로 공개한다.
| 시기 | 보고 주체 | 주요 내용 |
|---|---|---|
| 2024-02 | 마이크로소프트·OpenAI | 러시아(Forest Blizzard), 북한(Emerald Sleet), 이란(Crimson Sandstorm), 중국(Charcoal Typhoon, Salmon Typhoon) 연계 5개 그룹의 LLM 이용 공개. "특별히 새롭거나 독특한 AI 기반 공격 기법은 아직 관찰되지 않았다"고 평가하고 관련 계정 차단[3] |
| 2025-01 | 구글 GTIG | 북한·이란·중국·러시아 연계 그룹의 제미나이 이용. 완전히 새로운 공격 기법을 개발한 증거는 없음[8] |
| 2025-08 | 앤트로픽 | 클로드 코드를 이용한 데이터 탈취·갈취 사건(최소 17개 조직, 일부 요구액 50만 달러 초과), 기초 코딩 실력뿐인 범죄자가 클로드로 랜섬웨어 변종을 개발해 400~1,200달러에 판매한 사례, 북한 IT 인력의 원격 취업 위장[13] |
| 2025-11 | 구글 GTIG | 실행 중 LLM을 호출하는 악성코드 5종, 안전장치 우회용 사회공학, 지하 AI 도구 시장[4] |
| 2025-11 | 앤트로픽 | AI가 작전 대부분을 수행한 사이버 첩보 작전[11] |
마이크로소프트는 2024년 보고서에서 LLM 관련 공격 행위를 ATT&CK·ATLAS에 반영하기 위해 MITRE와 협력한다며, LLM 기반 정찰, LLM 강화 스크립트 작성, LLM 보조 개발, LLM 지원 사회공학, LLM 보조 취약점 연구, LLM 최적화 페이로드 제작, LLM 강화 이상 탐지 회피, LLM 유도 보안 기능 우회, LLM 자문 자원 개발의 9개 범주를 제시했다.[3]
보고서들의 공통된 흐름은 다음과 같다.
- 2024년: 생산성 도구. 이미 하던 일(검색, 번역, 코딩)을 빠르게 한다.
- 2025년 상반기: 공격 생애 주기 전반으로 확대. 정찰부터 C2 개발, 유출까지 각 단계에 쓰인다.
- 2025년 하반기: 실행 중 호출형 악성코드와 에이전트형 작전. 다만 대부분 실험 단계이거나 사람이 핵심 결정을 맡는다.
| 자료 | 해당 범주 |
|---|---|
| NIST IR 8596(초안) | Thwart: AI 기반 사이버 공격 저지[1] |
| KISA 「인공지능(AI) 보안 안내서」 | AI 악용 보안 위협: 악성코드 생성, 피싱·스미싱 메일 생성, 범죄 지식 학습[2] |
| MITRE ATLAS | Generate Deepfakes, Generate Malicious Commands, Deepfake-Assisted Phishing, Autonomous 계열 기법 등[5] |
| Yao 외 LLM 보안 서베이 | "Bad": 공격에 쓰이는 LLM[14] |
AI 기반 공격의 상당수는 기존 공격을 더 빠르고 그럴듯하게 만드는 것이므로, 기본 통제가 여전히 가장 효과적이다.
- 피싱 내성 인증: 사람이 속아도 인증 정보가 넘어가지 않도록 FIDO2·패스키 같은 피싱 내성 다중 인증을 쓴다. 자세한 내용은 피싱 문서 참고.
- 업무 절차 통제: 송금, 계좌 변경, 권한 부여는 화상·음성 지시만으로 처리하지 않고 미리 등록된 별도 채널로 다시 확인하고 2인 승인한다. 딥페이크 화상회의 사기에 대한 가장 확실한 대책이다.
- 행위 기반 탐지: 실행 중 코드를 생성하는 악성코드는 시그니처보다 행위·네트워크 이상(예: 업무와 무관한 LLM API 호출)으로 잡아야 한다. EDR, UEBA, 이상 탐지 참고.
- AI 서비스 제공자의 악용 탐지: 계정 차단, 분류기 강화, 업계 정보 공유. 앤트로픽은 보안 팀이 SOC 자동화, 위협 탐지, 취약점 평가, 사고 대응에 AI를 적극 도입해 볼 것을 권고했다.[11] AI SOC 참고.
- 패치 속도: 알려진 취약점 악용이 자동화되면 공개와 악용 사이 시간이 줄어든다. 패치 관리 참고.
- 인식 교육 갱신: 딥보이스, 딥페이크 화상회의, AI 생성 미끼를 훈련 시나리오에 넣는다. 보안 인식 교육 참고.
- ↑ 1.0 1.1 NIST IR 8596 (Initial Preliminary Draft), Cybersecurity Framework Profile for Artificial Intelligence, NIST, 2025-12-16.
- ↑ 2.0 2.1 인공지능(AI) 보안 안내서, 과학기술정보통신부·한국인터넷진흥원, 2025-12-10(2026-03-13 정오 수정).
- ↑ 3.0 3.1 3.2 3.3 Staying ahead of threat actors in the age of AI, Microsoft Threat Intelligence, 2024-02-14.
- ↑ 4.0 4.1 4.2 4.3 4.4 4.5 4.6 GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools, Google Threat Intelligence Group, 2025-11-06.
- ↑ 5.0 5.1 5.2 5.3 5.4 mitre-atlas/atlas-data, ATLAS 2026.09 데이터.
- ↑ Catherine Stupp, Fraudsters Used AI to Mimic CEO's Voice in Unusual Cybercrime Case, The Wall Street Journal, 2019-08-30.
- ↑ British engineering giant Arup revealed as $25 million deepfake scam victim, CNN, 2024-05-17.
- ↑ 8.0 8.1 Adversarial Misuse of Generative AI, Google Threat Intelligence Group, 2025-01.
- ↑ Richard Fang 외, 〈LLM Agents can Autonomously Hack Websites〉, 2024. arXiv:2402.06664
- ↑ Richard Fang 외, 〈LLM Agents can Autonomously Exploit One-day Vulnerabilities〉, 2024. arXiv:2404.08144
- ↑ 11.0 11.1 11.2 Disrupting the first reported AI-orchestrated cyber espionage campaign, 앤트로픽, 2025-11-13.
- ↑ Meet the Brains Behind the Malware-Friendly AI Chat Service 'WormGPT', Krebs on Security, 2023-08-08.
- ↑ Detecting and countering misuse of AI: August 2025, 앤트로픽.
- ↑ Yifan Yao 외, 〈A Survey on Large Language Model (LLM) Security and Privacy: The Good, the Bad, and the Ugly〉, High-Confidence Computing, 2024. arXiv:2312.02003