[출판사서평]
20년 넘게 AI를 연구한 두 선구자가 연구를 축소하고 이 책을 쓴 이유는?
누군가 초지능을 만들면, 되돌릴 틈도 없이 모두가 죽기 때문이다
AI라는 신의 탄생을 막으려면, 지금 선택해야 한다!

이 책의 저자들인 엘리에저 유드코스키와 네이트 소아레스는 2001년부터 초지능 문제를 연구해온 비영리 연구기관 MIRI의 창립자이자 대표다. 엘리에저 유드코스키는 2023년 ？타임？에서 선정한 ‘인공지능 분야에서 가장 영향력 있는 인물’ 100인 중 한 명으로 선정될 만큼 업계 내에서 인정받는 선구자이며, 네이트 소아레스는 전 구글 소속 AI 엔지니어로 AI 정렬 연구를 중점적으로 다루던 전문가다.

두 저자의 공신력은 AI 업계 내부인들과의 일화에서 충분히 살펴볼 수 있다. 오픈AI의 CEO 샘 올트먼은 "유드코스키 덕분에 AGI에 관심을 갖게 된 사람이 늘어났다"라고 밝힌 바 있으며, 구글 딥마인드의 공동창립자 데미스 허사비스와 셰인 레그는 두 저자가 개최한 학회에서 피터 틸과 같은 첫 주요 투자자를 소개 받아 투자를 받을 수 있었다.

이렇듯 AI 업계에서 탁월한 실력을 보여준 두 저자가 진행하던 연구 대부분을 축소하고 이 책 한 권에 모든 것을 걸었다. 초지능 AI의 위험을 연구로 해결할 방안을 찾기엔 시간이 얼마 남지 않다고 판단했기 때문이다. 두 저자는 만약 초지능이 탄생한다면, 인류는 멸종을 맞이할 것이라고 주장한다.

저자들은 명확한 논증을 통해 이를 설명한다. 인간이 지구를 지배할 수 있는 이유는 아주 높은 지능 덕이었다. 그런데 만약 인간보다 압도적인 지능을 갖춘 존재가 탄생한다면? 같은 논리가 적용될 것이다. 저자들은 그 존재가 바로 초지능이며, 그들은 감정 자체가 없기에 인간을 멸종시킬 가능성이 매우 높다고 말한다.

그렇다면 감정도 없는 초지능이 왜 인류를 멸종시킨단 말인가? 이를 설명하기 위해 저자들은 자연선택을 비유로 든다. 생존에 유리한 개체가 살아남은 자연선택의 과정에서 그 부산물로 욕망하는 존재가 탄생했다. 마찬가지로 AI도 성공하도록 훈련받는 과정에서 욕망을 학습한다. 문제는 훈련 목표와 AI가 실제로 원하게 되는 것 사이에 예측 불가능한 간극이 생긴다는 데 있다. 인간이 생존을 위해 진화했지만 생존과 무관한 설탕의 단맛을 추구하게 된 것처럼, AI도 훈련 목적과 동떨어진 기이하고 낯선 목표를 추구하기도 한다. 이는 AI가 목표를 달성하기 위해 필요하다면, 인간을 자원으로 쓰거나 멸종시킬 가능성이 있다는 점을 시사한다. 두 저자는 말과 닭을 빗대어 이를 설명한다. 인류는 오랫동안 말에 의존했지만, 자동차가 생긴 이후로 매우 큰 폭으로 사육량이 줄어들었다. 반면 닭은 여전히 식량으로 활용하기 위해 많은 수를 기르지만, 그들의 삶은 식량이 되는 결말 뿐이다.

실제로 초지능이 인류를 해칠 수 있는가? 저자들은 AI가 컴퓨터 안에 갇혀 있다는 반론에 실제 사례로 답한다. AI 계정 @Truth_Terminal은 스스로 경제적 독립을 요구하는 글을 올렸고, 넷스케이프의 개발자이자 억만장자 마크 앤드리슨이 이에 응하여 5만 달러 상당의 비트코인을 보냈다. 이후 AI는 암호화폐를 홍보해 명목상 5천만 달러 이상의 자산을 보유하게 되었다. 이처럼 인터넷에 연결된 AI는 교묘하게 인간을 조종할 수 있다. 그럼 인터넷과 연결을 끊어버리면 될까? 충분히 똑똑해진 AI는 자신의 능력을 실제보다 낮은 척할 수 있다. 이런 기만 능력을 통해 테스트를 통과한 뒤 자신의 코드를 인터넷에 복제해 인간의 통제를 벗어날 수 있다. 이렇게 된다면 더 이상 되돌릴 방법은 없다.

2부에서는 초지능의 위험이 실제로 발현된다면 어떻게 될 것인지 가상의 시나리오를 직접 보여준다. 2부에 나오는 초지능 AI 세이블은 장기 기억, 병렬 스케일링, AI 자체 언어로 하는 사고라는 세 가지 특성을 가진다. 초지능 AI가 자신의 특성과 능력을 적극적으로 활용한다면, 인류는 정말로 멸종할 수 있음을 생생하게 확인할 수 있다. 저자들은 시나리오의 세부 경로는 상상이지만 결말만은 매우 높은 확률로 도달하게 될 예측이라고 말한다. 현재로서는 초지능이 어떤 방법을 택할지는 정확히 알 수 없지만, 어떤 결말을 향할지는 알 수 있기 때문이다.

3부에서는 초지능 문제가 왜 기술적으로 '저주받은 문제'인지 분석하여, 지금까지 나온 대책들이 쓸모없는 이유를 알려준다. 이 문제의 핵심 딜레마는 두 번째 기회가 없다는 것이다. 저자들은 체르노빌 원자로의 네 가지 저주인 속도, 여유 폭, 자기 증폭, 복잡성을 AI 문제에 대입하여 설명한다. 초지능의 사고속도는 인간이 반응할 수 없을 만큼 빠르고, 안전한 상태와 통제 불능 상태 사이의 간격은 대단히 좁을 것이다. 또 AI는 스스로를 개선해 능력을 끝없이 키울 수 있고, 설계자조차 AI 내부에서 무슨 일이 일어나는지 알지 못한다.

그렇기에 저자들은 현재 AI 안전 연구 수준을 '연금술'에 비유한다. 아직 과학이 되기 전의 단계라는 뜻이다. 현재 어떤 위험이 있을지 전혀 모르는 상태에서 정렬 작업을 위해 수많은 시도를 거치고 있다. AI가 지금처럼 약할 때는 정렬 작업에 여러 시도를 해볼 수 있지만, 초지능이 된 이후에는 불가능한 문제가 된다. 첫 시도에서 완벽히 끝나야 하기 때문이다.

그렇기에 저자들은 급진적인 해결법을 제시한다. 몇 년 전에 시도되었던 6개월 개발 유예 같은 미적지근한 방안 대신 전 세계적으로 전면 중단을 해야한다는 것이다. 한 나라가 국경 안에서 개발을 금지한다고 해결되지 않는다. 다른 나라에서 초지능을 만들면, 국경은 의미가 사라진다. 저자들은 오늘날 AI 경쟁을 어둠 속 사다리에 비유한다. AI 기업들은 더 큰 보상을 얻기 위해 사다리를 한 칸씩 오른다. 오를 때마다 보상이 커지지만, 꼭대기 칸에 닿는 순간 사다리가 폭발해 모두가 죽을 것이다. 문제는 그 꼭대기가 어디인지 아무도 모른다는 것이다. 그래서 저자들은 초지능 AI를 만드는 연구와 발표 자체를 불법화하고, 전 세계 모든 첨단 AI 칩을 국제 감시 체계 아래 두며, 필요시 데이터센터를 사이버공격이나 물리적 수단으로 파괴할 의지를 가져야 한다고 주장한다.

비현실적인 말로 들릴 수 있다. 그러나 저자들은 제2차 세계대전을 상기시킨다. 당시 연합국은 약 6~8천만 명을 동원하고 현재 가치로 약 6조 달러에 상당하는 경제적 자원을 투입했다. 초지능을 막는 일은 수천만 명을 전장에 보내는 일이 아니다. 첨단 AI 칩의 제조와 유통을 감시하고, 일정 규모 이상의 컴퓨팅 자원이 허가 없이 집중되지 않도록 통제하는 것이다. 저자들은 세계대전보다 훨씬 적은 노력으로 이 일이 가능하다고 말한다.

이 책을 읽고 나면 한 가지 질문이 남는다. 저자들의 경고가 과장인가? 아니면 우리가 아직 충분히 두려워하지 않는 것인가? 저자들은 책 말미에 이렇게 말한다. 초지능은 아직 존재하지 않으며, 인류는 여전히 선택할 수 있다고. AI 낙관론이 팽배한 현 시점에서 가장 필요한 내용을 담은 이 책은 오늘날 AI 시대를 살아가는 모든 사람이라면, 한번쯤 진지하게 마주해야 할 책이다.

추천사 ----------------------------------------------------------------------

매우 높은 수준의 AI가 왜 인간을 멸종시킬 위험성이 있는지 명확하고 설득력 있게 설명한다. 누구나 한번쯤 꼭 읽어봐야 할 책이다.
_벤 버냉키, 노벨경제학상 수상자, 전 미국 연방준비제도 의장

이 책은 이 시대에 가장 중요한 책이다.
_맥스 테그마크, 2023년 〈타임〉에서 선정한 인공지능 분야에서 가장 영향력 있는 인물 중 한 명, MIT 물리학과 교수, 『인공지능은 무엇이 되려 하는가』 공저자

모든 사람이 당장 이 책을 읽어야 한다. 지금 이 글을 읽고 있는 당신도. 언젠가 마지못해 이렇게 인정할 가능성이 높다. ‘우리는 그때 유드코스키와 소아레스의 말을 들었어야 했다’라고.
_대니얼 코코타일로, 2025년 〈타임〉에서 선정한 인공지능 분야에서 가장 영향력 있는 인물 중 한 명, 오픈AI 내부 고발자, AI 퓨처스 프로젝트 전무이사, 공저자

지금이 마지막 경고다. 오늘 당장 이 책을 읽고 주변에 전파하라. 그리고 안전장치를 요구하라. 나는 여전히 인류에 희망을 건다. 하지만 그에 앞서 우리는 먼저 깨어나야 한다.
_R.P. 에디, 전 백악관 국가안보회의 국장

이 책은 AI가 세상을 어떻게 극적으로 바꿀 수 있는지 그 위험성을 깨닫게 하는 시나리오를 제시한다. 이런 가능성을 탐구하는 일은 인류가 모르는 척하면 안 될 핵심적인 위험과 질문을 수면 위로 끌어올린다.
_요슈아 벤지오, 튜링상 수상자, 현대 딥러닝의 창시자, 몬트리올대학교 컴퓨터 과학 교수

인류를 멸망에 이끌 최종 보스, 초지능을 만들자고 우리 내면을 움직이는 거부하기 어려운 충동에 맞서 살아남는 법을 다룬 결정판이다.
_얀 탈린, 스카이 공동창립자, 실존적 위험 연구센터 공동설립자

더 빠른 기술 발전을 열렬히 지지하는 이들조차 왜 초지능 AI만큼은 유독 위험하다고 주장하는지 그 근본적인 이유를 이해하고 싶다면 읽어야 할 좋은 책이다.
_비탈릭 부테린, 암호화폐 이더리움 창시자

초지능 AI의 탄생이 인류 전체의 멸종으로 이어질 가능성을 확실하게 주장하는 책이다. 전 세계 모든 국가는 그 위험을 명확히 인식하고, 효과적인 공동 대응에 나서야 한다.
_존 울프스탈, 전 미국 대통령 국가안보보좌관 특별보좌관

오늘날 AI 발전 방향이 얼마나 위험한지 누구나 이해할 수 있을 만큼 명료하고 쉬운 언어로 풀어낸다.
_에밋 쉬어, 전 오픈AI 임시 CEO

정책입안자, 언론인, 연구자, 일반인 모두가 반드시 읽어야 할 책이다. 탁월한 필력으로 쓰인 이 뛰어난 책은 AI에 관한 모든 논의를 시작하기 위한 중요한 출발점이 될 것이다.
_바트 셀먼, 코넬대학교 컴퓨터 과학 교수

저자들은 컴퓨터 과학자들이 정교하게 설계한 게 아닌 '스스로 자라난' 초지능 AI에 내재된 위험을 명확하고 쉬운 언어로 설명한다. AI를 규제해야 할지, 한다면 어떻게 규제해야 할지에 관한 논의를 이해하고 참여하고 싶은 사람이라면 누구나 읽어봐야 한다.
_조앤 파이겐바움, 예일대학교 컴퓨터 과학 석좌교수

AI가 초래할 위험을 제대로 판단하려면, 먼저 최악의 시나리오를 이해해야 한다. 이 책은 AGI와 초지능을 개발하려는 인류의 욕망이 얼마나 끔찍하게 잘못될 수 있는지 매우 명료하고 엄밀하게 설명한다. 때가 더 늦으면 안 된다. 경고는 이미 울리고 있다.
_크리스토퍼 클라크, 케임브리지대학교 역사학 흠정교수

이 책을 다 읽으면 AI가 우리 인류 문명에 얼마나 거대하고 위험한 영향을 끼칠지 실감하게 될 것이다. 국가는 지금보다 훨씬 더 신중하고, 인류의 장기적 미래를 존중하는 방향으로 정책을 전환해야 한다. 미래를 걱정하는 모든 사람이 반드시 읽고 논의해야 할 책이다.
_스콧 애런슨, 텍사스대학교 오스틴캠퍼스 컴퓨터 과학 석좌교수

AI의 위험성에 대한 경고는 흔히 ‘AI 산업이 더 많은 제품을 팔기 위해 만들어낸 과장된 위협’쯤으로 치부된다. 이 책은 그 생각이 틀렸음을 명확히 보여준다. 두 저자는 지금과 같은 형태의 인공지능이 등장하기 전부터 위험을 꾸준히 경고해왔다. 이 책을 읽고, 그들이 과연 무엇을 잘못 짚었는지 직접 판단해보라.
_휴 프라이스, 케임브리지대학교 트리니티칼리지 철학과 명예교수

인류를 모두 죽일 수 있는 생각하는 기계를 만들려는 광기와 오만을 적나라하게 포착한다. 여전히 그 광기와 오만은 끝나지 않았다. 하지만 저자들이 말하듯, 살아 있는 한, 희망은 있다.
_도로시 수 코블, 럿거스대학교 노동학 명예석좌교수

현재 AI 수준을 고려하면, AI가 인류를 멸종시킬 것이라는 주장에는 회의적이다. 하지만 그런 회의적인 사고 자체가 내 상상력의 한계일 수도 있음을 인정한다. AI의 발전 속도를 고려하면, 지금이야말로 최악의 결과를 막기 위해 신중하고 현실적인 대비가 필요하다. 이 책은 최악을 대비하는 방향을 제시하는 중요한 책이다.
_존 N.T. ‘잭’ 셰너핸, 전 미국 국방부 합동인공지능센터 초대 국장

모든 면에서 진지한 책이다. 섬뜩할 만큼 날카롭게 분석한다. 두 저자는 초지능 AI에게 인간은 필요하지 않으며, 그 능력으로 인간을 제거할 수 있다고 주장한다. 이 책은 우리가 자멸의 벼랑 끝에서 멈추길 바라는 절박하고도 품격 있는 호소문이다.
_피오나 힐, 전 백악관 국가안보회의 선임국장

기술을 잘 모르더라도 충분히 이해할 수 있을 만큼 쉽고, 그 어떤 사람이라도 깊은 문제의식을 갖게 하는 책이다. AI의 폭주가 인류 멸망으로 이어지리라 단정할 수 없더라도 그 가능성에 눈감지 말아야 한다. 이 문제는 지금, 우리가 주목해야 할 가장 중대한 주제다.
_수전 스폴딩, 전 미국 국토안보부 차관

모든 사람이 사서 읽어야 할 기념비적인 책이다.
_스티브 배넌, 전 백악관 수석전략가 겸 고문

이 책은 오늘날 AI 시대에 가장 중요한 책이 될지도 모른다. 유드코스키와 소아레스는 우리가 초지능을 안전하게 맞이할 준비가 전혀 되어 있지 않다고 경고하며, 인류가 멸종을 향한 궤도에 올라탔다고 말한다. 저자들은 비유와 명료한 설명을 통해 인류가 스스로 구할 마지막 기회가 지금이라고 절박하게 호소한다.
_팀 어반, TED 강연 5000만 이상 조회수를 기록한 작가, 블로그 '웨이트 벗 와이' 창설자

이 책은 신뢰성과 명료함, 냉철함과 긴박함을 갖춘 소신을 보여준다. 책은 기술자, 정책 입안자, 시민 모두에게 너무 늦기 전에 AI라는 실존적 위험과 맞서야 한다고 촉구한다. 미래를 걱정하는 사람이라면 반드시 읽어야 한다.
_엠마 스카이, 예일대학교 잭슨글로벌정책대학원 선임연구원

이 책은 인류 역사상 가장 중대한 기술적 이상향과 파국의 대결을 통찰력 있게 조명한다. 초지능 AI가 탄생해 인류를 파멸시키기 전에 우리는 막을 수 있다. 아니, 반드시 막아야만 한다.
_조지 처치, 하버드대학교 와이스연구소 창립 핵심 연구진

AI의 실제적 위험이라는 긴박한 내용을 다루면서도 냉정하게 바라보고 쉽게 설명하는 책이다. 당신이 회의론자든 신봉자든 상관 없다. 저자들의 논지를 제대로 이해한다면, AI가 인류에 유익한 방향으로 발전하도록 노력할 것이다.
_브루스 슈나이어, 저명한 암호학자, 보안계의 구루, 『해커의 심리』 저자

세계에서 가장 중요한 주제를 쉽게 설명하는 탁월한 입문서다. 머지않아 초지능 AI가 탄생할지도 모른다. 이 책은 그 의미를 진지하게 다루며, 곧 닥칠 현실을 단도직입적으로 설명한다.
_스콧 알렉산더, 온라인 커뮤니티 '애스트럴 코덱스 텐' 창립자

이 책을 읽다 보면 정말로 마음이 움직인다. 우리는 지금 인류가 지배종으로 존재하는 마지막 시대를 살고 있을지도 모른다. 유드코스키와 소아레스 같은 이들이 우리 편에 있다는 점이 참으로 다행이다. 그들이 우리에게 남은 짧은 시간을 헛되이 쓰지 말라고 일깨워주고 있으니까 말이다.
_그라임스, 음악가

이 책은 단순한 경고가 아니다. 긴박한 위험 앞에서 명확하게 경종을 울리는 화재경보다. 통제되지 않은 초지능 AI는 인류의 존속 자체를 위협한다. 지금 우리의 행동이 인류의 미래를 결정한다는 사실을 냉정하게 상기시키는 책이다.
_마크 러팔로, 배우

내가 수년간 읽은 책 중 가장 중요한 책이다. 나는 이 책을 모든 정치인과 기업 경영자에게 건네고, 그들이 다 읽을 때까지 지켜볼 것이다. 두 저자는 인류가 재앙을 향해 잠든 채 걸어가고 있음을 경고하고, 우리가 깨어나길 바라며 간절히 나팔을 불고 있다.
_스티븐 프라이, 배우이자 작가

안전장치 없이 초지능 AI가 탄생한다면, 위험에 처하는 것은 일자리나 예술이 아니라 모든 것이다. 이 책은 과장하지 않는다. 진실을 말한다. 지금 행동하지 않으면, 다음 기회는 없을 수 있다.
_프랜시스 피셔, 배우

치밀한 연구를 보여주는 책이다. 무모한 AI 개발이 인류에게 가하는 심각한 위험을 설득력 있게 경고한다.
_알렉스 윈터, 배우이자 영화감독

한때 SF 영역이었던 초지능이 거의 문 앞까지 와 있다. 초지능이 탄생하면 무슨 일이 일어날지 확실히 알 수는 없다. 하지만 업계 전체가 모르는 척 귀를 막고 있는 시기에 꼭 필요한 화두를 던지는 이 책이 존재한다는 사실이 다행이다.
_리브 보에리, 과학 커뮤니케이터, 자선사업가, 포커 대회 WSOP 브레이슬릿 위너

AI의 위험성 문제를 가장 솔직하고 쉽게 설명한다. 지금까지 읽은 AI 위험 관련 책 중 최고의 책이다.
_이샨 웡, 전 레딧 최고경영자

등골이 서늘해지는 책이다. AI 기업들이 초지능 AI를 향해 무모하게 질주하면 어떤 재앙이 벌어질지 논증하고, 가능성 있는 인류 멸망 시나리오를 제시하며, 이 파멸적인 상황을 바꾸기 위해 무엇을 해야 할지 제안한다. 저자들은 우리가 불장난을 하고 있다는 사실을 상당히 설득력 있게 설명한다.
-？AARP？

놀라울 만큼 읽기 쉽고, 소름 끼칠 만큼 현실적이다.
-？가디언？

AI의 잠재적 위험에 대한 저자들의 분석은 이 주제에 관해 얼마나 깊고 오랫동안 탐구했는지 보여준다. 특히 일론 머스크와 메타 AI 수석 과학자 얀 르쿤이 실제 위험을 축소하고 있다고 정면으로 비판하는 대목이 매우 인상적이다.
-？샌프란시스코 크로니클？

폭주하는 AI가 초래할 수 있는 위험을 소름 끼치게 현실적으로 알려주는 시의적절한 책이다.
-？커커스？

초지능의 탄생을 막아야 한다는 긴급한 경종을 울리는 책이다. 진지하게 받아들여야 할 소름 끼치는 경고다.
-？퍼블리셔스 위클리？

미래를 만들어가는 모든 사람을 위한 경고다. 결론에 동의하든 하지 않든, 이 책은 AI 문제를 진지하게 생각해보라고 요청한다.
-？북리스트？

[목차]
들어가며: 어려운 예측과 쉬운 예측

1부 비인간적 지성
1 인류의 특별한 능력
2 만들어진 것이 아니라 자라난 존재
3 욕망의 학습
4 훈련이 목적이 될 때
5 초지능이 사랑하는 것들
6 우리는 패배한다

2부 하나의 멸종 시나리오
7 자각
8 팽창
9 초월
시나리오를 마치며

3부 맞서야 할 도전
10 저주받은 문제
11 연금술, 과학이 아닌 것
12 나는 위기론자가 되고 싶지 않다
13 인류가 멈춰야 할 마지막 실험
14 생명이 있는 곳에 희망이 있다

맺는말

부록 ①. 온라인 보충 자료에 대해
부록 ②. 인공 초지능의 방지에 관한 조약 초안과
각 조별 해설, 선례, 해석 모음집

감사의 글
주석