초지능
더 많은 작업
- Superintelligence; 초지능
- 거의 모든 분야에서 가장 뛰어난 사람의 지능을 크게 넘어서는 지능
초지능(超知能, superintelligence)은 과학적 창의성, 일반적 지혜, 사회적 능력을 포함한 거의 모든 분야에서 가장 뛰어난 사람의 두뇌보다 훨씬 똑똑한 지능을 말한다. 철학자 닉 보스트롬(Nick Bostrom)이 1997년 글 〈초지능까지 얼마나 걸릴까?〉에서 이렇게 정의했고, 이 정의는 그것이 컴퓨터든, 네트워크든, 배양한 뇌 조직이든 구현 방식을 묻지 않는다.[1] 인공지능으로 구현된 경우를 특히 인공 초지능(artificial superintelligence, ASI) 또는 초인공지능이라고 한다.
초지능은 인공 일반 지능(AGI)의 다음 단계로 거론된다. 사람 수준의 AI가 AI 연구 자체를 할 수 있게 되면 개선이 스스로 가속되어 초지능에 이를 수 있다는 '지능 폭발' 가설, 그리고 그런 존재를 사람이 통제할 수 있느냐는 '통제 문제'가 이 개념의 핵심 쟁점이다. 2023년 이후 OpenAI 등 AI 기업이 목표나 위험을 말할 때 AGI 대신 초지능이라는 말을 쓰는 일이 늘었다.
보스트롬은 2014년 책 《슈퍼인텔리전스: 경로, 위험, 전략》에서 초지능을 '사실상 관심 있는 모든 영역에서 사람의 인지 성능을 크게 넘어서는 지성'으로 정의하고, 세 가지 형태로 나누었다.[2]
| 형태 | 뜻 | 예 |
|---|---|---|
| 속도 초지능 | 사람의 지성과 같은 일을 훨씬 빠르게 하는 지능 | 사람 뇌를 그대로 모사해 수천 배 빠르게 돌리는 경우 |
| 집단 초지능 | 다수의 작은 지성이 모여 어떤 개인보다 뛰어난 성과를 내는 체계 | 수많은 AI 인스턴스가 협업하는 경우 |
| 질적 초지능 | 속도는 비슷해도 사람보다 질적으로 훨씬 영리한 지능 | 사람과 침팬지의 차이만큼 사람을 앞서는 경우 |
같은 책은 초지능에 이르는 경로로 인공지능, 전뇌 에뮬레이션(뇌를 스캔해 컴퓨터에서 재현), 생물학적 인지 강화, 뇌-컴퓨터 인터페이스, 네트워크와 조직을 꼽았다.[2] 원래 정의에서 초지능은 인공 여부와 무관하므로, 유전자 강화로 생긴 사람의 지능도 조건을 넘으면 초지능이 된다.
AGI와의 경계도 정의에 따라 다르다. 구글 딥마인드의 'AGI 단계' 틀에서는 모든 사람을 능가하는 일반 AI, 곧 5단계 '초인' 일반 AI를 인공 초지능으로 본다.[3] 좁은 분야에서 모든 사람을 이기는 알파고나 알파폴드는 같은 틀에서 '초인 수준의 좁은 AI'일 뿐 초지능은 아니다.
영국 통계학자 I. J. 굿(I. J. Good)은 1965년 논문 〈최초의 초지능 기계에 관한 추측〉에서 다음과 같은 논리를 폈다.[4]
- 어떤 사람보다도 모든 지적 활동을 훨씬 잘하는 '초지능 기계'(ultraintelligent machine)를 생각하자.
- 기계 설계도 지적 활동이므로, 초지능 기계는 더 나은 기계를 설계할 수 있다.
- 그러면 틀림없이 '지능 폭발'(intelligence explosion)이 일어나 사람의 지능은 한참 뒤처질 것이다.
- 따라서 최초의 초지능 기계는 사람이 만들어야 할 마지막 발명품이 된다. 단, 그 기계가 자신을 통제하는 방법을 알려 줄 만큼 순종적이라면.
굿의 이 단서 조항은 오늘날 통제 문제의 출발점으로 자주 인용된다. 버너 빈지는 1993년 이 대목을 인용하며 기술적 특이점 개념을 정식화했다.[5]
보스트롬은 사람 수준에서 초지능으로 넘어가는 시간을 '이륙'(takeoff)이라 부르고, 수십 년 이상 걸리는 느린 이륙, 수개월~수년의 중간 이륙, 수분~수일의 빠른 이륙으로 나누었다. 그는 빠르거나 중간 속도의 이륙 가능성을 진지하게 고려해야 한다고 보았는데, 빠를수록 사회가 대응할 시간이 없기 때문이다.[2] 재귀적 자기 개선이 실제로 얼마나 빨리 진행될지, 연산 자원과 실험 같은 물리적 제약이 이를 얼마나 늦출지는 논쟁거리다.
보스트롬은 2012년 논문 〈초지능의 의지〉에서 두 가지 논제를 내놓았다.[6]
- 직교성 논제(orthogonality thesis): 지능 수준과 최종 목표는 서로 독립적이다. 아주 똑똑한 존재도 사람이 보기에 하찮거나 이상한 목표를 가질 수 있다.
- 도구적 수렴 논제(instrumental convergence thesis): 최종 목표가 무엇이든, 자기 보존, 목표 유지, 자원 획득, 능력 향상 같은 중간 목표는 대부분의 목표 달성에 유용하므로 많은 에이전트가 이를 추구하게 된다.
두 논제를 합치면, 초지능이 사람을 미워하지 않아도 엉뚱한 목표를 위해 자원을 끌어모으거나 꺼지는 것을 피하려 할 수 있다는 결론이 나온다. 많이 알려진 예가 '종이 클립 최대화기'다. 보스트롬은 2003년 글에서, 종이 클립을 최대한 많이 만드는 것만이 목표인 초지능이 이 목표를 바꾸려는 시도에 온 힘으로 저항하고, 지구와 우주를 클립 공장으로 바꿀 수 있다고 썼다. 프로그래머가 선의로 목표를 설계하다 실수하기만 해도 이런 결과가 나올 수 있다는 것이 요지다.[7]
이는 창작물에서 흔한 '기계의 반란'과 다르다. 이 관점에서 위험은 AI가 의식을 얻어 목표를 바꾸는 데서 오는 것이 아니라, 처음 준 목표를 너무 충실히, 사람이 의도하지 않은 방식으로 추구하는 데서 온다.
보스트롬은 통제 방법을 두 갈래로 나누었다.[2]
- 능력 통제: 외부와 격리하기(상자에 가두기), 보상과 감시로 유인 설계하기, 능력 자체를 제한하기, 이상 행동을 감지하면 정지시키는 장치(트립와이어).
- 동기 선택: 처음부터 사람이 원하는 가치를 따르도록 목표를 설계하기. 오늘날 인공지능 정렬 연구가 이 방향에 해당한다.
OpenAI는 2023년 7월 "초지능은 이번 10년 안에 올 수 있다"며, 사람보다 훨씬 똑똑한 AI를 조종·통제하는 '초정렬'(superalignment) 문제를 4년 안에 풀겠다는 팀을 일리야 수츠케버와 얀 라이케 공동 책임으로 꾸리고, 당시까지 확보한 연산의 20%를 배정한다고 발표했다.[8]
- 2023년 5월 AI 안전 센터(CAIS)가 낸 한 문장짜리 성명 "AI로 인한 멸종 위험을 줄이는 일은 팬데믹, 핵전쟁 같은 사회적 규모의 위험과 함께 세계적 우선순위가 되어야 한다"에 AI 연구자와 기업 최고경영자들이 대거 서명했다.[9]
- 2024년 노벨 물리학상 수상자 제프리 힌턴은 2024년 12월 인터뷰에서, 이 분야 전문가 대부분이 아마 20년 안에 사람보다 똑똑한 AI가 나온다고 본다며, 30년 안에 AI가 인류 멸종으로 이어질 확률을 10~20%로 제시했다.[10]
- 2024년 OpenAI를 떠난 수츠케버는 '세이프 슈퍼인텔리전스'(SSI)를 세우고, 안전한 초지능 하나만을 목표이자 제품으로 하는 연구소라고 소개했다.[11] 샘 올트먼은 2025년 1월 OpenAI가 목표를 "진정한 의미의 초지능"으로 돌리기 시작했다고 썼다.[12]
- 2025년 10월 미래생명연구소(FLI)가 주도한 〈초지능에 관한 성명〉은 안전하고 통제 가능하게 만들 수 있다는 폭넓은 과학적 합의와 강한 대중적 지지가 생기기 전까지 초지능 개발을 금지하자고 요구했고, 힌턴, 요슈아 벤지오, 스티브 워즈니악 등이 서명했다.[13][14]
- 회의적인 쪽에서는 지능이 하나의 수치로 무한히 올라가는 양이 아니며, 실험·데이터·에너지 같은 물리적 병목 때문에 지능 폭발이 일어나기 어렵다고 본다. 스티븐 핑커와 고든 무어는 2008년 IEEE 스펙트럼 설문에서 특이점이 오지 않을 것이라고 답했다.[15] 위험 논의가 현재의 편향, 오남용 같은 실제 피해에서 관심을 돌린다는 비판도 있다. AI 종말론 참고.
초지능은 능력에 관한 개념이며 의식이나 감정을 전제하지 않는다. 보스트롬의 논의에서 위험한 초지능은 감정 없이 목표를 최적화하는 시스템으로도 충분하다. 반대로 의식을 가진 AI(인공 의식)가 반드시 초지능일 필요도 없다. 의식과 지능을 떼어 놓을 수 있는지 자체가 철학적으로 열린 문제라는 점에서, 이 구분은 강인공지능 문서의 철학적 용법과 연결된다.
- ↑ N. Bostrom, How Long Before Superintelligence?, 1997 (International Journal of Futures Studies 2, 1998).
- ↑ 2.0 2.1 2.2 2.3 N. Bostrom, Superintelligence: Paths, Dangers, Strategies, Oxford University Press, 2014.
- ↑ M. R. Morris 외, 〈Levels of AGI for Operationalizing Progress on the Path to AGI〉, ICML 2024. arXiv:2311.02462
- ↑ I. J. Good, 〈Speculations Concerning the First Ultraintelligent Machine〉, Advances in Computers 6, 1965, pp. 31~88. doi:10.1016/S0065-2458(08)60418-0
- ↑ V. Vinge, The Coming Technological Singularity: How to Survive in the Post-Human Era, NASA VISION-21 Symposium, 1993.
- ↑ N. Bostrom, 〈The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents〉, Minds and Machines 22(2), 2012. PDF
- ↑ N. Bostrom, Ethical Issues in Advanced Artificial Intelligence, 2003.
- ↑ Introducing Superalignment, OpenAI, 2023-07-05.
- ↑ Statement on AI Risk, Center for AI Safety, 2023.
- ↑ 'Godfather of AI' shortens odds of the technology wiping out humanity over next 30 years, The Guardian, 2024-12-27.
- ↑ Safe Superintelligence Inc.
- ↑ S. Altman, Reflections, 2025년 1월.
- ↑ Statement on Superintelligence, Future of Life Institute.
- ↑ Open letter calls for prohibition on superintelligent AI, CyberScoop, 2025-10-22.
- ↑ Tech Luminaries Address Singularity, IEEE Spectrum, 2008-06-01.
- N. Bostrom, How Long Before Superintelligence?
- N. Bostrom, Superintelligence: Paths, Dangers, Strategies, Oxford University Press, 2014.