AIxCC
더 많은 작업
- AI Cyber Challenge; AIxCC
- 미국 국방고등연구계획국(DARPA)이 주최한, 오픈소스 소프트웨어의 취약점을 사람 개입 없이 찾고 고치는 인공지능 시스템 경연 대회
AIxCC(AI Cyber Challenge, AI 사이버 챌린지)는 미국 국방고등연구계획국(DARPA)이 보건고등연구계획국(ARPA-H)과 함께 2023년부터 2025년까지 2년 동안 연 대회다. 참가 팀은 사이버 추론 시스템(Cyber Reasoning System, CRS)이라 부르는 자율 시스템을 만들어, 금융·전력·의료 같은 기반 시설이 의존하는 오픈소스 소프트웨어에서 취약점을 찾고 패치를 만들어 내야 했다. 대형 언어 모델(LLM)을 퍼징·프로그램 분석 같은 기존 기법과 결합한 시스템이 실제 코드에서 어디까지 할 수 있는지를 공개 경쟁으로 측정한 첫 대규모 시도다.
2025년 8월 8일 발표된 결선 결과에서 조지아 공과대학교·삼성리서치·KAIST·POSTECH 연합인 Team Atlanta가 1위, Trail of Bits가 2위, 티오리가 3위를 차지했다.[1] 결선에 오른 일곱 팀의 시스템은 모두 오픈소스로 공개하기로 되어 있다. 이 대회는 2016년 DARPA가 연 사이버 그랜드 챌린지(CGC)의 후속 성격을 띤다.
DARPA는 2023년 8월 9일 블랙햇 USA에서 대회를 발표했다. 앤트로픽, 구글, 마이크로소프트, OpenAI가 참가 팀에 자사 AI 기술을 제공하고, 오픈소스 보안 재단(OpenSSF)이 자문을 맡는 구조였다. 참가 방식은 두 갈래로, 중소기업 혁신 연구(SBIR) 공모에서 뽑힌 최대 7개 소기업은 DARPA 자금을 받는 소기업 트랙, 나머지는 자금 지원 없는 오픈 트랙으로 참가했다. 당시 프로그램 책임자는 페리 애덤스(Perri Adams)였다.[2]
준결선에는 40개 가까운 CRS가 제출되었다. 과제는 젠킨스(Jenkins), 리눅스 커널, 엔진엑스(Nginx), SQLite, 아파치 티카(Apache Tika) 같은 실제 오픈소스 프로젝트에 주최 측이 심어 둔 합성 취약점이었다. 참가 시스템들은 합성 취약점 22개를 찾아 그중 15개를 패치했다(C 과제 11개, 자바 과제 4개). 이와 별도로 SQLite3에서 이전에 알려지지 않은 실제 버그 하나를 찾아 SQLite 버그 보고 절차에 따라 알렸다.[3]
상위 7팀(42-b3yond-6ug, all_you_need_is_a_fuzzing_brain, Lacrosse, Shellphish, Team Atlanta, Theori, Trail of Bits)이 각 200만 달러를 받고 결선에 진출했다. 결선 참가와 상금 수령 조건으로, 결선이 끝난 뒤 CRS를 오픈소스 이니셔티브(OSI) 승인 라이선스로 공개해야 했다.[3]
결선의 최종 순위와 상금은 다음과 같다.[1]
| 순위 | 팀 | 구성 | 상금 |
|---|---|---|---|
| 1 | Team Atlanta | 조지아 공과대학교, 삼성리서치, KAIST, POSTECH | 400만 달러 |
| 2 | Trail of Bits | 뉴욕의 보안 기업(소기업) | 300만 달러 |
| 3 | Theori(티오리) | 미국과 한국의 AI 연구자·보안 전문가 | 150만 달러 |
| 결선 진출 | all_you_need_is_a_fuzzing_brain, Shellphish, 42-beyond-bug, Lacrosse |
DARPA와 ARPA-H는 AIxCC 기술을 기반 시설 관련 소프트웨어에 실제로 적용하는 팀에 140만 달러의 추가 상금을 걸었다.[1]
DARPA가 발표한 결선 지표는 다음과 같다. 합성 취약점 과제 수는 처음 70개로 발표되었다가 63개로 정정되었다.[1]
| 지표 | 결선(2025) | 준결선(2024) 대비 |
|---|---|---|
| 분석한 코드 | 5,400만 줄 이상 | |
| 합성 취약점 발견 | 63개 중 54개(86%) | 37%에서 86%로 |
| 합성 취약점 패치 | 43개(68%) | 25%에서 68%로 |
| 실제(비합성) 취약점 발견 | 18개(C 6개, 자바 12개) | |
| 실제 취약점 패치 | 11개 | |
| 패치 제출까지 평균 시간 | 약 45분 | |
| 과제당 평균 비용 | 약 152달러 |
준결선에서는 C 과제 성적이 자바보다 좋았지만 결선에서는 두 언어에서 비슷한 성공률을 보였다. 모든 팀이 실제 취약점을 하나 이상 찾았고, 네 팀은 한 줄짜리 패치를, 한 팀은 300줄이 넘는 패치를 제출했다. 실제 취약점 18개는 각 프로젝트 관리자에게 알리는 절차를 밟고 있으며, 그중 하나는 관리자가 독자적으로 같은 시기에 고쳤다.[1]
DARPA는 과제당 비용 152달러를 버그 바운티 포상금(수백 달러에서 수십만 달러)과 비교하며 자동화의 경제성을 강조했다. 다만 성적의 대부분은 주최 측이 심은 합성 취약점에 대한 것이고, 실제 소프트웨어에서의 성과는 발견 18개·패치 11개 규모라는 점은 구분해서 볼 필요가 있다.
CRS는 사람의 개입 없이 다음 단계를 반복하는 파이프라인이다. 공개된 결선 시스템들은 LLM을 단독으로 쓰지 않고, 커버리지 기반 퍼징 같은 검증된 기법의 빈틈을 메우는 데 썼다. DARPA 프로그램 책임자 앤드루 카니(Andrew Carney)도 패치 단계에서 AI와 다른 방어 기법의 결합이 효과적이었다고 평가했다.[1]
| 단계 | 하는 일 | LLM이 쓰이는 곳 |
|---|---|---|
| 프로그램 모델링 | 소스 코드 구조, 호출 관계, 빌드 설정을 분석해 공격 표면을 정리한다 | 함수 의미 요약, 의심 지점 추림 |
| 입력 생성 | 퍼저에 넣을 초기 입력(시드)을 만든다 | 파일 형식·프로토콜 구조를 이해한 시드 생성, 퍼징 하네스 작성 |
| 취약점 탐색 | 퍼저와 새니타이저(메모리 오류 검출기)로 충돌을 찾는다 | 퍼저가 막힌 분기를 통과할 입력 제안 |
| 원인 분석 | 충돌을 재현하고 중복을 제거해 근본 원인을 찾는다 | 스택 추적과 코드를 읽고 원인 설명 |
| 패치 생성·검증 | 수정 코드를 만들고, 다시 빌드해 충돌이 사라지는지와 기존 기능 테스트를 확인한다 | 여러 에이전트가 패치 후보를 만들고 서로 검토 |
- Buttercup(Trail of Bits, 2위): 오케스트레이터, 시드 생성기, 퍼저, 프로그램 모델, 패처의 다섯 구성 요소로 이루어진다. OSS-Fuzz와 호환되는 C·자바 저장소를 대상으로 하며, 이미 빌드되고 퍼징 하네스가 있는 프로젝트가 전제다. OpenAI·앤트로픽·구글 중 하나 이상의 API 키가 필요하고, 권장 사양은 CPU 8코어, 메모리 16GB, 디스크 100GB다. 라이선스는 AGPL-3.0이다.[4]
- Atlantis(Team Atlanta, 1위): 이름은 "AI-driven Threat Localization, Analysis, and Triage Intelligence System"의 머리글자다. 팀 사이트는 하위 시스템을 Atlantis-C, Atlantis-Java, Atlantis-Multilang, Atlantis-Patch, Atlantis-SARIF, Atlantis-Infra로 나누어 소개하고, 코드는 팀 깃허브 조직에 공개되어 있다.[5]
결과 발표 당일 7개 CRS 중 4개가 공개되었고 나머지도 뒤이어 공개될 예정이었다. DARPA는 대회 프레임워크, 과제, 원격 측정 자료 같은 도구·데이터도 공개할 계획이라고 밝혔다.[1]
사이버 그랜드 챌린지(Cyber Grand Challenge, CGC)는 DARPA가 2014년에 시작한 첫 자동 사이버 방어 대회다. 2016년 8월 4일 라스베이거스 패리스 호텔에서 DEF CON 24와 함께 결선이 열렸고, 사람 없이 기계끼리 공격·방어형 깃발 뺏기(CTF)를 벌였다. 각 시스템은 처음 보는 바이너리에서 취약점을 찾고, 공격 입력을 만들고, 몇 초 안에 바이너리를 패치해야 했다.[6]
| 순위 | 시스템 | 팀 | 상금 |
|---|---|---|---|
| 1 | Mayhem | ForAllSecure(피츠버그) | 200만 달러 |
| 2 | Xandra | TECHx | 100만 달러 |
| 3 | Mechanical Phish | Shellphish(샌타바버라) | 75만 달러 |
우승한 Mayhem은 이어서 열린 사람끼리의 DEF CON CTF에 초청된 첫 기계가 되었다.[6]
| 구분 | CGC (2016) | AIxCC (2023~2025) |
|---|---|---|
| 대상 | 단순화된 32비트 x86 환경의 대회 전용 바이너리 | 실제 오픈소스 프로젝트의 소스 코드(C, 자바) |
| 핵심 기법 | 기호 실행, 퍼징, 바이너리 재작성 | 퍼징·정적 분석에 LLM 결합 |
| 경기 형식 | 시스템끼리 공격·방어 CTF | 과제별 취약점 발견과 패치 점수 |
| 결과물 공개 | 일부 팀이 자발적으로 공개(Shellphish의 Mechanical Phish 등) | 결선 진출 7팀 공개 의무 |
Shellphish는 두 대회 모두 결선에 올랐다.
AIxCC와 같은 시기에 대형 연구 조직들도 LLM 에이전트로 실제 소프트웨어의 취약점을 찾는 실험을 공개했다.
- 빅 슬립(Big Sleep): 구글 프로젝트 제로와 구글 딥마인드의 공동 프로젝트로, 2024년 6월 공개한 LLM 보조 취약점 연구 틀 Naptime이 발전한 것이다. 2024년 11월 1일 SQLite의
generate_series확장 함수seriesBestIndex에서 악용 가능한 스택 버퍼 언더플로를 찾았다고 발표했다. 2024년 10월 초 개발자에게 알렸고 당일 수정되어 정식 배포판에는 들어가지 않았다. 연구진은 같은 대상에 AFL을 150 CPU시간 돌려도 이 버그를 찾지 못했다고 밝히며, 이것이 AI 에이전트가 널리 쓰이는 실제 소프트웨어에서 알려지지 않은 악용 가능 메모리 안전 취약점을 찾은 첫 공개 사례라고 본다고 했다. 다만 결과가 "매우 실험적"이며 현재로서는 대상 전용 퍼저가 적어도 같은 수준으로 효과적일 것이라고 단서를 달았다.[7] - 같은 글은 그보다 앞서 Team Atlanta가 AIxCC 준결선에서 SQLite의 널 포인터 역참조를 찾았다고 언급한다.[7]
- 구글 위협 인텔리전스 그룹은 2025년 11월 보고서에서 빅 슬립과 함께, 찾은 취약점을 고치는 실험적 에이전트 CodeMender를 방어 쪽 사례로 소개했다.[8]
같은 능력은 공격자에게도 쓸모가 있다. 공격 쪽 연구와 사례는 AI 기반 사이버 공격 문서 참고.
- 공개 경쟁, 공통 과제, 비용 지표를 갖춘 대회라서 LLM 기반 보안 도구의 성능을 업체 홍보가 아닌 같은 조건에서 비교할 수 있었다.
- 결선 시스템과 데이터가 공개되어 다른 연구자가 재현·개선할 수 있다. DARPA 국장 스티븐 윈첼은 공개로 방어자가 바로 쓸 수 있게 된다는 점을 강조했다.[1]
- 평가 대상이 C·자바이고, 대부분 합성 취약점이며, OSS-Fuzz형 빌드와 하네스가 갖춰진 프로젝트를 전제로 한다. 로직 오류, 인증·권한 결함, 여러 서비스에 걸친 취약점처럼 퍼저의 충돌 신호로 드러나지 않는 유형은 범위 밖이다.
- 자동 패치가 기능을 망가뜨리지 않는지는 기존 테스트로만 검증되므로, 실제 프로젝트에 반영하려면 관리자의 검토가 여전히 필요하다.
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 AI Cyber Challenge marks pivotal inflection point for cyber defense, DARPA, 2025-08-08.
- ↑ 2.0 2.1 AI Cyber Challenge Aims to Secure Nation's Most Critical Software, DARPA, 2023-08-09.
- ↑ 3.0 3.1 3.2 Seven teams advance to final round of AI Cyber Challenge, DARPA, 2024-08-11.
- ↑ trailofbits/buttercup, GitHub.
- ↑ Team Atlanta, 팀 공식 사이트; Team-Atlanta, GitHub.
- ↑ 6.0 6.1 "Mayhem" Declared Preliminary Winner of Historic Cyber Grand Challenge, DARPA, 2016-08-05(2016-08-07 갱신).
- ↑ 7.0 7.1 From Naptime to Big Sleep: Using Large Language Models To Catch Vulnerabilities In Real-World Code, Google Project Zero, 2024-11-01.
- ↑ GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools, Google Threat Intelligence Group, 2025-11-06.