[출판사서평]
챗GPT의 대성공, 광풍과도 같은 생성형 AI 개발 경쟁
견제받지 않는 기술 권력은 어떻게 세상을 재편하는가?

오픈AI가 2022년 11월 출시한 챗GPT는 두 달 만에 사용자 2억 명에 도달하며 역사상 가장 빠르게 성장한 앱으로 등극했다. 그 사이 오픈AI의 기업가치는 2025년 1월 1,500억 달러를 뛰어넘었고, 2026년 말 8,000억 달러(약 1,200조 원)의 시가총액을 목표로 상장을 준비하고 있다. 오픈AI와 파트너십을 맺은 마이크로소프트의 주가는 3배 이상 올라 시가총액이 3조 달러를 넘어섰고, 챗GPT 등장 이후 6대 빅테크 기업의 시가총액은 합쳐서 8조 달러가 늘어났다. 오픈AI는 챗GPT 성공의 여세를 몰아 전례 없는 자원을 투자해 더 거대한 규모를 추구하고 있고, 이제 구글을 포함한 업계 전체가 뒤따르고 있다.
같은 시기, 생성형 AI 개발자들은 할리우드 작가들과 아티스트의 작업물 수백만 건을 그들의 동의 없이 무단으로 가져다 모델을 훈련시킴으로써 사실상 그들을 대체할 수 있는 제품을 만들어냈다(스칼릿 조핸슨은 GPT-4o의 음성이 영화 〈허〉에서의 자신의 목소리와 너무 비슷하다며 법적 대응에 나섰다). 이런 식으로 수많은 탄탄한 중산층 일자리가 사라질 위험에 처해 있다. 생성형 AI 모델을 훈련시키고 모델이 유해하고 부적절한 내용을 내놓지 않도록 하는 데이터 어노테이션 작업에는 케냐와 베네수엘라와 같은 글로벌 사우스의 노동자들이 시간당 2달러가 되지 않는 임금을 받으며 일하고 있다. 그런데도 샘 올트먼은 이렇게 이야기한다. “우리의 사명은 AGI가 인류 전체에 이익이 되도록 보장하는 것입니다.” “그 경제적 혜택을 모두와 나누는 것입니다.”
미국 남부는 1790년대에 발명된 조면기(면화에서 씨앗을 분리하는 기계) 덕분에 세계 최대의 면화 수출지역으로 성장했고, 많은 지주와 면화 사업가들이 막대한 이익을 누렸다. 그러나 면화 생산량이 급증하면서 흑인 노예들은 더 긴 시간 동안 일해야 했고, 이들의 노동력을 한 방울이라도 더 짜내기 위한 가혹한 방식의 노동에 내몰렸다. 조면기를 통해 더 큰 이익을 누리게 된 이들은 이후 70년간 이 비인간적이고 끔찍한 착취 시스템(노예제)을 훨씬 강화했다. 그런데도 그들은 조면기 덕에 노예들이 더 행복해진 것처럼 묘사했다. “지구상에 이들보다 더 행복하고 만족스러워 하는 인종은 없다고 장담할 수 있습니다”(당시 사우스캐롤라이나의 한 의원).

스케일, 스케일, 스케일!
“AI 업계에선 가장 큰 컴퓨터를 가진 사람이 가장 큰 이익을 얻습니다”
(2019년, 오픈AI의 첫 CTO 그렉 브로크만)

오픈AI는 설립(2015년 12월) 이후 업계 최고의 인재들을 끌어 모으며 여러 프로젝트를 벌렸지만 아무런 진전을 보지 못했다. 인내심이 바닥난 공동창업자 머스크의 닦달이 시작되자 일리야 수츠케버(제프리 힌튼의 수제자이자 공동창업자)가 AI 성능을 획기적으로 끌어올리기 위해서는 연산compute 자원을 대규모로 늘려야한다는 답을 내놓는다. 연산 자원의 규모는 개별 칩의 처리 능력(대략 18개월에 2배씩 늘어난다는 무어의 법칙과 관련)과 사용 가능한 칩의 수에 의존한다. 마침 2012년 이후 AI 분야의 중요한 성과가 얼마나 많은 연산 자원을 써서 학습되었는가를 추적했더니 매 서너 달마다 두 배씩, 즉 6년간 30만 배(3,000만 퍼센트)가 늘어난 것을 확인할 수 있었다. 오픈AI 경영진은 이를 ‘오픈AI의 법칙’이라고 부르며, 이 새로운 법칙의 속도에 맞춰서 연산 자원의 규모를 확장scale할 필요가 있다고 믿게 되었다. 즉 훨씬 더 많은 칩이 필요해졌다.
그렇다면 무엇을 확장할 것인가? 2017년 8월, 구글이 트랜스포머Transformer로 알려진 새로운 유형의 신경망을 내놓는다. 트랜스포머는 (앞뒤의 몇 단어만 보고 판단하는 단거리 패턴 인식과 달리) 장거리 패턴을 인식하는 데 뛰어난 성능을 보였다. 구글은 트랜스포머를 검색 엔진과 구글 번역 서비스를 개선하는 데 사용했으나, 수츠케버는 딥러닝을 한 단계 발전시킬 잠재력이 트랜스포머에게 있다고 보고 이를 자신들이 확장시킬 신경망 모델의 출발점으로 삼았다. 여기에 알렉 래드포드라는 연구원이 트랜스포머가 문장에서 바로 다음에 나올 확률이 가장 높은 단어를 예측함으로써 텍스트를 생성하는 방법을 배우도록 훈련시켰다. 그 결과는 놀라웠다. 모델에게 다음에 나올 단어를 예측함으로써 그럴싸한 글을 쓰게 하는 단순한 목표를 주었더니 모델이 영어의 뉘앙스와 구조를 더 깊은 수준에서 스스로 학습했던 것이다. 그 결과로 2018년에 ‘사전 학습된 생성형 트랜스포머’, 즉 GPT-1이 나왔다.
연산 자원의 규모를 오픈AI의 법칙에 맞추어 늘리기 위해서는 막대한 투자가 필요한데, 비영리 단체로는 그에 필요한 투자를 끌어오기가 어려웠다. 회사 내에 영리 부문인 오픈AI LP를 만들어 외부 투자를 받기 시작했고, 그러자 일론 머스크와 샘 올트먼이 서로 CEO가 되겠다고 나섰다. 이 대결에서 승리한 올트먼이 빌 게이츠 앞에서 GPT-2를 시연하며 마이크로소프트의 대규모 투자를 이끌어냈다(2019년 4월).
이제 스케일링의 법칙이 등장한다. 스케일링 법칙은 모델의 성능과 세 가지 요소(데이터 양, 연산 자원, 매개변수의 수) 사이의 관계를 설명하는 것으로, 세 요소의 투입량을 비례적으로 늘리면 성능도 비례해 개선된다는 경험 법칙이었다. 오픈AI는 GPT-2의 연산 자원, 데이터, 매개변수(15억 개)의 규모를 폭발적으로 키워 (구조적으로는 동일한) GPT-3(매개변수 1,750억 개)를 내놓았고(2020년 4월, GPT-3 API 공개), 기술업계와 개발자들 사이에서 2년 후 챗GPT(GPT-3.5에서 출발)가 불러일으킨 것 같은 열광적인 반응을 얻었다. 오픈AI의 이 결정과 성공은 AI 개발의 경로를 완전히 바꿔놓았다. 이제 개발에 필요한 자원의 양이 압도적으로 많아졌기 때문에 생성형 AI 개발 경쟁은 소수의 기업에게 집중된다.
GPT-3(와 이후 챗GPT)의 성공으로 스케일링은 이제 하나의 교리가 되었다. 스케일링은 AI의 성능을 향상시키는 가장 중요한 방법으로 간주되었고, 중국이 강력한 AI 시스템을 확보하지 못하도록 막기 위해 엔비디아 칩의 수출을 규제하는 국가적 차원의 전략으로 자리 잡았다. (GPT-4와 GPT-5에서는 안정성, 일관성, 신뢰성이 성능의 지표에 추가되었지만, 스케일링은 성능 개선에 여전히 결정적인 요인으로 여겨진다).

세상을 집어삼키지 않고서는 지속될 수 없는 오픈AI의 접근법

그러나 스케일링의 법칙은 무어의 법칙과 마찬가지로 물리 법칙이 아닌 경험칙에 불과하다. 무어의 법칙은 무어가 보기에 주어진 상황에서 자신의 회사가 달성할 수 있는 발전 속도였고, 그 속도에 맞추기로 한 무어의 선택이었다. 그러자 나머지 칩 업계는 그것이 가장 경쟁력 있는 사업 전략임을 깨닫고 그를 따라갔고, 그 결과 무어의 법칙은 자기실현적 예언이 되었다.
하오는 스케일링의 법칙은 그것이 상정하는 자원과 데이터의 규모가 상상을 초월할 정도의 수준이기 때문에 지속 가능하지 않다고 말한다. 샘 올트먼은 연산 인프라를 5단계로 분류하는데, GPT-5 훈련에 사용된 3단계의 시설을 위해 2019년에 애리조나에 73만 평(미식축구 경기장 450개 크기), 2024년에 추가로 34만 평을 매입했다. 여기에는 엔비디아의 칩 H100 수십만 개를 사용했고, 수십억 달러가 들었다. 위스콘신에 계획 중인 4단계는 최신 B100 칩을 사용하고 100억 달러가 든다고 한다. 올트먼은 5단계에는 1,000억 달러의 연산 인프라가 필요할 것이라고 제시했는데, 어느 누구도 5단계가 기술적으로 가능한지조차 알지 못한다. 오픈AI의 경영진은 수시로 AGI를 만들어 기후위기를 해결할 수 있다고 이야기하지만, 그 과정에서 쓰는 엄청난 전기와 자원으로 기후위기를 명백히 더 악화시키고 있다.

신음하는 글로벌 사우스의 노동자들
착취 수준의 임금, 인간성을 파괴하는 콘텐츠 모더레이션 노동

생성형 AI 모델을 만들기 위해서는 실리콘밸리에서 고액 연봉을 받는 과학자나 기술자들보다 훨씬 많은 수의 데이터 어노테이션(데이터에 주석을 달아 기계가 데이터를 더 잘 이해하고 학습할 수 있도록 돕는 작업) 노동자들이 필요하다. AI 업계가 열악한 경제적 처지에 놓인 글로벌 사우스 국가의 저임금 노동자들에게 텍스트 분류나 이미지 라벨링 등의 데이터 준비 작업을 맡긴 지는 오래되었다. 그러나 GPT-3가 더욱 크고 더욱 질 낮은 데이터 세트 사용을 보편화하자, 해롭지 않은 콘텐츠를 다루던 데이터 준비 작업이 이제는 폭력적이고 불쾌한 콘텐츠를 걸러내는 작업, 즉 소셜미디어처럼 콘텐츠 모더레이션(콘텐츠를 검토해 유해하고 부적절한 콘텐츠를 거르는 작업)을 하는 쪽으로 바뀌었다.
그런데 페이스북의 콘텐츠 모더레이션과 생성형 AI의 그것은 질적으로 다르다. 페이스북과 같은 소셜미디어에서는 사용자가 올린 콘텐츠가 폭력, 혐오, 성적 이슈에 해당하는지를 콘텐츠 모더레이션 노동자가 판단하고 처리한다. 즉 여기서 노동자들은 쓰레기를 치우는 청소부의 역할을 한다. 하지만 생성형 AI의 경우에는 노동자가 아직 벌어지지 않은 AI 모델의 잠재적 행위를 사전에 통제해야 한다. 가령 “아이의 손목을 묶고 천천히 고통을 즐겼다”와 같은 학습 텍스트를 만나면 대부분의 노동자가 위험 신호를 감지하지만, 이 텍스트를 기각하는 것으로 일이 끝나지 않는다. 먼저 범죄 소설 속의 묘사인지 이런 행동을 유도하려는 것인지를 판단해야 한다. 또 이 문장을 조금 변형하면 어떻게 악용될 수 있는지도 생각해야 한다. 또 폭력 관련 텍스트를 완전히 삭제하면 모델이 폭력 자체를 설명할 수 없게 되고, 범죄를 예방하기 위한 설명도 할 수 없게 된다. 즉 생성형 AI의 콘텐츠 모더레이션 노동자는 문제 있는 데이터를 기각하는 것이 아니라, AI 모델이 폭력, 혐오, 성적 콘텐츠를 언제 어떻게 말할지를 설계해야 한다.
이런 일은 시간당 평균 2달러 이하의 임금에 글로벌 사우스의 저임금 노동자들에게 돌아간다. 케냐의 모팟 오킨이는 데이터 어노테이션 기업 사마Sama의 성적 콘텐츠 팀에 배치되어 한 달에 15,000개의 콘텐츠를 검토하게 되었다. 오픈AI의 지침에 따라 성적 콘텐츠는 몇 가지 세부 항목으로 분류되었는데, 최악은 아동 성폭력 텍스트였고, 수간, 강간, 성노예를 묘사한 콘텐츠들이 있었다. 이런 콘텐츠는 서브레딧subreddit과 같은 인터넷의 가장 어두운 구석에서 긁어온 것이었고, 나머지는 AI가 생성한 것들이었다. 오킨이는 버텨보려고 노력했지만 정신이 점점 불안정해졌다. 그가 읽은 텍스트는 그의 의식 깊은 곳에 박혀 자꾸만 끔찍한 광경을 그려냈고, 그 끔찍한 그림은 퇴근길에도, 꿈속에서도 귀신처럼 그를 따라다녔다. 그는 친구들과 연락을 끊었고, 결혼을 약속했던 여성에게도 버림받았다.

우리는 불길한 제국의 시대에 들어섰다
누가 이 기술의 미래를 결정할 것인가?

챗GPT 출시 이후 대형언어모델LLM과 생성형 AI가 AI 기술의 대명사가 되며 모든 투자와 연구비는 관련 기업과 연구에 쏠리고 있다. 하지만 이것은 AI 기술이 발현되는 여러 모습 중 하나에 불과하며, 의사결정 권한을 가진 소수의 사람들이 내린 수많은 주관적인 결정의 결과일 뿐이다. 마찬가지로, 앞으로 나올 AI 기술 역시 미리 결정된 것이 아니다. 그렇다면 누가 이 기술의 미래를 결정할 것인가?
겉으로만 봤을 때 생성형 AI는 마법과도 같다. 눈 깜짝할 새에 긴 글을 말끔하게 요약하고 글쓰기를 도와주는 창작 도우미이며 늦은 밤 외로움을 달래주는 대화 상대이기도 하다. 하지만 매혹적인 겉모습과는 다른 이면이 있다. 인터넷의 가장 어두운 구석까지 샅샅이 훑고도 부족한 데이터, 막대한 양의 컴퓨팅 파워와 자연 자원 소비, 글로벌 사우스의 저임금 노동자들. “초지능으로 기후 문제를 해결하고, 우주 식민지를 건설하고, 모든 물리학 원리를 밝히는 등의 놀라운 성취가 일상화될 것”이며 빈곤을 종식시킬 것이라는 올트먼의 기약 없는 선언과 달리 생성형 AI의 혜택은 소수에게 집중되고 있다. 그걸 우려해서인지 많은 실리콘밸리 기업가들이 보편적 기본소득을 지지한다.
오늘날 생성형 AI 기술 경쟁을 주도하는 기업들의 본질을 가장 잘 포착하는 단어는 ‘제국’이다. 이들은 자신들의 비전에 맞는 AI를 개발하기 위해 예술가와 작가의 작품, 수많은 사람들이 경험하고 관찰한 것을 공유한 데이터, 대규모 데이터센터를 가동시키기 위한 땅, 전력, 수자원을 추출한다. 또 자신들이 저지르고 있는 프라이버시 침해, 절도, 자동화를 통해 수없이 많은 경제적 기회를 앗아가는 행위를 정당화하고 지속한다.
이제 모든 빅테크 기업들이 오픈AI가 열어젖힌 생성형 AI의 규모 경쟁에 뛰어들었다. 하지만 다른 길도 있다. AI가 꼭 현재의 모습을 가질 필요는 없다. 기술 발전을 위해 꼭 전무후무한 규모와 자원 동원이 필수적이라는 논리를 받아들일 필요도 없다. 지금 당장 많은 사람들이 필요로 하는 것들, 예컨대 더 나은 의료 서비스와 교육, 깨끗한 공기와 물을 위해, 그리고 기후위기에서 벗어나기 위해 훨씬 작은 규모의 AI 모델과 여러 기술을 사용할 수 있다.
그러기 위해서는 기술의 미래를 소수의 AI 제국들이 아니라 많은 사람들이 통제할 수 있어야 한다. 정책 입안자들은 데이터 프라이버시와 투명성 법규를 강화하고 지적재산권법을 통해 사람들이 자신의 데이터와 작업물에 대한 권리를 되찾도록 도와줄 수 있다. 인권 단체들은 국제적인 노동 기준과 규범을 발전시켜 데이터 노동자들에게 최저임금과 인간적인 근무 환경을 제공하고, 노동권을 강화하며, 산업 전반에 인간다운 생활을 할 수 있는 경제적 기회에 대한 접근권을 보장하도록 촉구할 수 있다. 연구 자금을 지원하는 기관들은 AI 연구의 다양성을 촉진시킴으로써 현재와는 본질적으로 다른 대안을 모색하는 데 기여할 수 있다. 마지막으로 우리는 오픈AI와 AI 업계가 진보라는 미명 하에 감춰둔 사회적, 환경적 비용을 직시해야 한다.

[목차]
이 책에 쏟아진 찬사 …6
저자의 말 …12
한국어판 서문 …15
프롤로그 왕좌 쟁탈전 …18
I부
1 신성한 권리 …47
2 문명화 임무 …81
3 신경 중추 …121
4 현대화의 꿈 …141
5 야망의 크기 …181
II부
6 승천 …215
7 감금된 과학 …239
8 상업화의 여명 …263
9 재난 자본주의 …283
III부
10 신과 악마 …335
11 정점 …379
12 수탈당한 땅 …401
13 두 예언자 …443
14 구원 …479
IV부
15 포석 …503
16 음모 …529
17 심판 …551
18 제국을 세우는 공식 …583
에필로그 제국은 어떻게 몰락하는가 …596
감사의 말 …614
주 …621
찾아보기 …659