AI 종말론
더 많은 작업
AI 종말론(AI doomerism, AI extinctionism)은 고도로 발전한 인공지능이 인간의 통제를 벗어나거나 인간에 의해 위험하게 이용되어 인류의 존속 또는 문명 전체를 위협할 수 있다는 관점과 이를 둘러싼 주장을 통칭한다.
AI 종말론은 인공지능이 단순히 일자리 감소, 개인정보 침해, 허위정보 같은 사회적 문제를 일으킬 수 있다는 주장보다 훨씬 강한 형태의 위험론이다. 논의의 핵심은 미래의 고성능 인공지능이 인류 멸종(human extinction)이나 인간이 회복하기 어려운 문명적 재앙을 일으킬 가능성이 있는지에 있다.
학술적으로는 주로 인공지능 실존위험(AI existential risk), 재앙적 AI 위험(catastrophic AI risk), 통제 상실(loss of control) 등의 표현이 사용된다. 'AI 종말론'이나 'AI 둠(AI doom)'은 이를 비판적·대중적으로 표현할 때 많이 사용되는 말이며, 명확하게 정의된 하나의 학설을 뜻하지는 않는다.
실존위험을 중요하게 보는 연구자 사이에서도 실제 위험 확률, 위험이 현실화되는 시점, 위험 발생 과정과 필요한 규제 수준에는 큰 차이가 있다. 반대로 AI 종말론에 비판적인 연구자들도 인공지능 윤리, 사이버 공격, 허위정보, 차별, 안전성 같은 현실의 AI 문제 자체를 부정하는 것은 아니다.
AI가 인류에 극단적인 위험을 발생시킬 수 있다는 주장은 여러 서로 다른 시나리오로 나뉜다.
| 유형 | 개념 |
|---|---|
| 통제 상실 | 충분히 강력하고 자율적인 AI가 인간의 의도와 다른 목표를 추구하면서 인간이 이를 중단하거나 통제할 수 없게 되는 경우 |
| 목표 불일치 | AI에게 부여된 목표가 인간이 실제 원하는 가치와 정확하게 일치하지 않아, 능력이 커질수록 예상하지 못한 극단적 결과가 발생한다는 주장 |
| 악의적 이용 | 인간이 강력한 AI를 사이버 공격, 생물학적 위험, 군사적 목적 등에 사용하여 기존 기술보다 큰 피해를 발생시키는 경우 |
| 권력 집중 | 극도로 강력한 AI를 통제하는 개인·기업·국가에 경제적·군사적·정치적 권력이 집중되어 인간 사회의 통제 구조가 비가역적으로 변화하는 경우 |
| 연쇄적 사회 변화 | AI에 대한 과도한 의존이나 경제·정치 시스템의 자동화가 누적되어 인간이 중요한 사회 시스템에 대한 실질적인 통제력을 잃는 경우 |
2026년 《International AI Safety Report》는 이 가운데 통제 상실을 하나 이상의 범용 AI 시스템이 누구의 통제도 받지 않게 되고 통제권 회복이 매우 어렵거나 불가능해지는 가설적 상황으로 설명한다. 보고서는 일부 전문가가 그 결과로 인간의 주변화나 멸종까지 가능하다고 보는 반면, 다른 전문가들은 그러한 시나리오 자체를 가능성이 낮다고 평가한다고 정리한다.[1]
AI 종말론의 중심에는 흔히 통제 문제(control problem)가 있다.
인간보다 훨씬 뛰어난 능력을 가진 인공지능이 등장한다고 가정할 때, 그 시스템의 목표를 인간이 원하는 방향과 지속적으로 일치시키면서 동시에 시스템이 인간의 감독과 중단 명령을 따르게 만들 수 있는지가 문제다.
위험론에서는 다음과 같은 조건이 결합될 경우 문제가 커질 수 있다고 본다.
- AI가 장기간 독립적으로 계획하고 행동할 수 있음
- 인터넷, 외부 프로그램, 클라우드 등 다양한 도구에 접근할 수 있음
- 자신의 행동을 인간의 감독으로부터 숨길 수 있음
- 안전성 평가가 실시되는 상황과 실제 운용 상황을 구별할 수 있음
- 인간의 명령 또는 안전장치를 우회할 동기가 발생함
- 금융·에너지·통신·군사 등 중요한 시스템에 높은 수준의 권한을 가짐
다만 이러한 능력을 일부 보이는 것과 실제로 인간이 통제할 수 없는 초지능 시스템이 존재하는 것은 별개의 문제다. 2026년 국제 AI 안전 보고서는 현재 AI 시스템에는 인류 차원의 통제 상실을 일으킬 능력이 없다고 평가한다. 장기간 자율적으로 복잡한 계획을 수행하는 능력 등 핵심적인 능력이 아직 부족하기 때문이다.[1]
보고서는 동시에 최근 모델에서 평가 상황을 인식하거나 평가의 허점을 찾는 행동, 장기 계획 능력 등 통제 문제와 관련된 능력이 발전하고 있어 향후 위험을 연구할 필요가 있다고 평가한다.[1]
AI 종말론과 밀접한 개념으로 지능 폭발(intelligence explosion)이 있다.
영국의 통계학자 I. J. 굿(I. J. Good)은 1965년 인간의 모든 지적 능력을 크게 능가하는 '초지능 기계(ultraintelligent machine)'가 만들어진다면, 기계 설계 역시 지적 활동이므로 해당 기계가 자신보다 더 뛰어난 기계를 설계할 수 있다는 논리를 제시했다. 이러한 반복적인 성능 개선이 매우 빠른 지능 향상으로 이어질 수 있다는 것이 지능 폭발 가설이다.[2]
이 가설이 성립한다면 인간과 비슷한 수준의 AI가 등장한 뒤 인간보다 압도적으로 뛰어난 인공지능으로 발전하는 기간이 매우 짧을 수도 있다는 주장이 가능하다.
그러나 지능 폭발이 실제로 가능한지, AI가 자신의 능력을 반복적으로 개선할 수 있는지, 계산 자원·데이터·실험 등 현실적인 제약 때문에 성능 향상이 느려질 것인지에 대해서는 합의가 없다.
인공지능의 통제 문제는 현대 대규모 언어 모델 등장 이전부터 논의되어 왔다.
앨런 튜링은 1951년 강연 《Intelligent Machinery, A Heretical Theory》에서 학습하는 기계의 능력이 인간의 능력을 능가할 가능성을 논의했다. 해당 강연의 원고는 케임브리지 킹스 칼리지의 튜링 디지털 아카이브에 보존되어 있다.[3]
1965년 I. J. 굿은 초지능 기계가 더 우수한 기계를 설계하면서 지능 폭발이 발생할 가능성을 제시했다.[2]
2014년 철학자 닉 보스트롬(Nick Bostrom)은 저서 《Superintelligence》를 통해 초지능의 목표와 인간의 가치가 일치하지 않을 경우 발생할 수 있는 실존위험과 통제 문제를 대중적으로 알렸다. 보스트롬은 초지능 시스템이 인간에게 적대적인 감정을 가져야 위험한 것이 아니라, 인간과 무관한 목표를 매우 효과적으로 추구하는 것만으로도 충돌이 발생할 수 있다고 주장했다.[4]
2022년 말부터 생성형 AI와 대규모 언어 모델의 성능이 빠르게 높아지면서 AI 실존위험 논쟁도 대중적인 주제가 되었다.
2023년 3월 Future of Life Institute는 GPT-4보다 강력한 AI 시스템의 훈련을 최소 6개월간 중단하자는 공개서한을 발표했다. 공개서한은 강력한 AI 시스템을 개발하기 전에 안전 프로토콜과 규제 체계를 마련해야 한다고 주장했으며 수만 명이 서명했다.[5]
이 제안은 상당한 논쟁을 일으켰으며 실제 세계의 AI 개발이 6개월 동안 일괄적으로 중단되지는 않았다.
2023년 5월 미국의 비영리 연구기관 Center for AI Safety(CAIS)는 인공지능으로 인한 멸종위험 완화가 전염병이나 핵전쟁 같은 세계적 위험과 함께 우선적으로 다뤄져야 한다는 한 문장의 성명을 발표했다.[6]
성명에는 제프리 힌턴(Geoffrey Hinton), 요슈아 벤지오(Yoshua Bengio)를 비롯한 AI 연구자들과 OpenAI·Anthropic·Google DeepMind 등의 경영진이 서명했다.[6]
이 성명은 'AI가 실제로 인류를 멸종시킬 것'이라는 공동 예측을 의미하는 것은 아니다. 구체적인 발생 확률이나 발생 과정에 대한 합의가 아니라, 가능성이 낮더라도 피해가 극단적으로 큰 위험을 연구하고 대비할 필요가 있다는 수준의 공동 성명에 가깝다.
AI 종말론은 인공지능 연구계에서 합의된 결론이 아니다.
2023년에 실시된 대규모 설문에서는 주요 AI 학회에 논문을 발표한 연구자 2,778명이 참여했다. 조사 결과 응답자들은 미래 AI의 결과에 대해 매우 큰 불확실성을 보였으며, 상당수는 매우 나쁜 결과가 발생할 가능성을 무시할 수 없다고 평가했다. 동시에 전체적으로는 초인간적 AI가 좋은 결과를 낼 가능성이 나쁜 결과보다 높다고 본 응답자가 더 많았다.[7]
2024년에는 요슈아 벤지오, 제프리 힌턴, 스튜어트 러셀 등 여러 연구자가 《Science》에 논문을 발표해 고성능 AI의 악용과 통제 상실을 극단적 위험으로 다룰 필요가 있으며 기술적 안전 연구와 거버넌스가 필요하다고 주장했다.[8]
반면 얀 르쿤(Yann LeCun) 등 일부 AI 연구자는 현재의 AI에서 인간 수준 또는 초인간적 범용지능으로 곧바로 발전한다는 전제에 동의하지 않는다. 르쿤은 현재의 대규모 언어 모델에는 세계를 이해하고 장기적으로 추론·계획하는 데 필요한 중요한 능력이 부족하며, 초지능이 등장해 인류를 지배한다는 시나리오를 지나치게 비약적인 것으로 평가해 왔다.[9]
앤드루 응(Andrew Ng) 역시 AI의 현실적인 위험을 관리해야 한다는 데는 동의하지만, 멸종위험을 근거로 AI 기술 자체의 발전을 광범위하게 중단하는 접근에는 반대해 왔다. 그는 2023년의 6개월 개발 중단 제안보다 실제 AI 응용 분야의 위험에 따른 규제·감사·투명성 확보가 현실적이라는 입장을 밝혔다.[10]
AI 종말론에 대한 대표적인 비판은 다음과 같다.
- 가정의 연쇄
- 인류 멸종 시나리오 중 상당수는 인간 이상의 지능, 높은 자율성, 인간과 다른 목표, 감독 회피, 실제 세계의 자원 접근, 인간의 대응 실패 등이 동시에 성립해야 한다.
- 각 단계의 가능성이 불확실하기 때문에 최종적인 멸종 확률을 신뢰성 있게 산출하기 어렵다는 지적이 있다.
- 현재 AI와의 능력 차이
- 현재 AI는 장기간 자율적으로 활동할 때 오류가 누적되고 예상하지 못한 상황에 안정적으로 대응하지 못하는 문제가 있다.
- 2026년 국제 AI 안전 보고서 역시 현재 시스템이 통제 상실을 일으킬 수준의 능력을 갖추지 못했다고 평가한다.[1]
- 현실적인 문제의 상대적 소홀
- 극단적인 미래 위험에 지나치게 집중하면 현재 발생하고 있는 알고리즘 차별, 개인정보 침해, 노동시장 변화, 허위정보, 저작권, 시장 독점 등 구체적인 문제가 상대적으로 소홀해질 수 있다는 비판이 있다.
- 규제의 부작용
- 지나치게 높은 AI 개발 규제는 대형 기업만 규제 비용을 감당할 수 있게 만들어 오히려 시장 집중을 강화할 수 있다는 주장이 있다.
- 기술 개발 자체를 제한하기보다 실제 고위험 사용 분야를 규제해야 한다는 관점도 존재한다.
실존위험을 중요하게 보는 측에서는 위험이 확정적이어야 대비할 필요가 있는 것은 아니다라고 주장한다.
인류 멸종처럼 피해 규모가 극단적으로 큰 사건이라면 발생 가능성을 정확하게 계산하지 못하더라도 사전에 연구할 가치가 있으며, 실제 위험이 명확해질 때까지 기다릴 경우 대응에 필요한 시간이 부족할 수 있다는 것이다.
또한 AI 안전 연구는 AI 개발 중단만을 의미하지 않는다. 모델 평가, 인간 감독, 권한 제한, 위험 능력 평가, AI 가드레일, 사이버 보안, 모델 정렬(alignment) 등 AI를 계속 사용하면서 사고 가능성을 낮추는 연구도 포함된다.
2026년 《International AI Safety Report》 역시 통제 상실의 발생 가능성에 대해 전문가 사이의 의견 차이가 매우 크다고 명시하면서도, 잠재적 피해가 극단적으로 클 수 있기 때문에 불확실성 속에서도 사전 연구가 필요할 수 있다고 설명한다.[1]
2026년 2월 발표된 《International AI Safety Report 2026》은 30개 이상의 국가와 국제기구에서 지명한 전문가 등을 포함해 100명 이상의 전문가가 작성에 참여한 국제적인 AI 위험 평가 보고서이다.[1]
보고서가 정리한 현재 상황은 AI 종말론의 양 극단과 차이가 있다.
- 현재의 AI가 스스로 인류의 통제를 벗어나 멸종을 일으킬 능력이 있다는 증거는 없다.
- 통제 상실에 필요한 여러 핵심 능력은 아직 현재 시스템의 능력을 넘어선다.
- 반면 AI의 자율적 작업 수행, 계획, 상황 인식 등 일부 관련 능력은 발전하고 있다.
- 향후 AI의 능력이 어느 정도까지 발전할지에 대해서는 상당한 불확실성이 있다.
- 통제 상실의 발생 가능성에 대해서도 전문가들의 평가가 크게 갈린다.
- 따라서 현 단계에서 인류 멸종을 AI 발전의 필연적인 결과로 보는 것도, 가능성을 과학적으로 완전히 배제하는 것도 현재의 증거보다 강한 주장이다.[1]
이에 따라 AI 실존위험은 2026년 현재 단순한 공상과학적 소재만으로 취급되지는 않으며 국제 AI 안전 연구의 한 분야가 되었지만, 실제 발생 확률과 구체적인 발생 경로는 여전히 논쟁적인 연구 주제이다.
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 International AI Safety Report, 「International AI Safety Report 2026」, https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026, 확인 2026-09-28.
- ↑ 2.0 2.1 Stuart Russell, University of California, Berkeley, 「The long-term future of AI」, https://people.eecs.berkeley.edu/~russell/research/future/, 확인 2026-09-28.
- ↑ The Turing Digital Archive, 「Intelligent Machinery, A Heretical Theory」, https://turingarchive.kings.cam.ac.uk/publications-lectures-and-talks-amtb/amt-b-20, 확인 2026-09-28.
- ↑ Oxford University Press, 「Nick Bostrom on artificial intelligence」, https://blog.oup.com/2014/09/interview-nick-bostrom-superintelligence/, 확인 2026-09-28.
- ↑ Future of Life Institute, 「Pause Giant AI Experiments: An Open Letter」, https://futureoflife.org/open-letter/pause-giant-ai-experiments/, 확인 2026-09-28.
- ↑ 6.0 6.1 Center for AI Safety, 「Statement on AI Extinction Risk」, https://safe.ai/work/statement-on-ai-extinction-risk, 확인 2026-09-28.
- ↑ Katja Grace et al., 「Thousands of AI Authors on the Future of AI」, arXiv:2401.02843, https://arxiv.org/abs/2401.02843, 확인 2026-09-28.
- ↑ Yoshua Bengio et al., 「Managing extreme AI risks amid rapid progress」, Science 384(6698), https://pubmed.ncbi.nlm.nih.gov/38768279/, 확인 2026-09-28.
- ↑ TIME, 「Meta's AI Chief Yann LeCun on AGI, Open-Source, and AI Risk」, https://time.com/6694432/yann-lecun-meta-ai-interview/, 확인 2026-09-28.
- ↑ Andrew Ng, 「The call for a 6 month moratorium on making AI progress beyond GPT-4 is a terrible idea」, LinkedIn, https://www.linkedin.com/posts/andrewyng_the-call-for-a-6-month-moratorium-on-making-activity-7046909992645394432-s7_X, 확인 2026-09-28.