AI, 최악의 세일즈 마케팅

“우리 제품이 당신을 경제적으로 쓸모없게 만들고, 어쩌면 당신을 죽일 수도 있습니다”

“안녕하세요. 잠깐 시간 있으세요? 저는 저주받은 전자레인지 회사에서 나왔습니다. 저희 제품은 기존 전자레인지보다 훨씬 뛰어납니다. 음식을 자동으로 완벽하게 조리할 수 있을 뿐만 아니라, 당신의 온몸을 전자파로 쬐어 당신과 가족 모두가 마비되어 다시는 일을 할 수 없게 됩니다. 하지만 걱정하지 마세요. 모두가 저주받은 전자레인지를 갖게 되면, 우리 사회는 아마도 기본소득을 도입할 것이고, 당신과 자녀들은 그냥 복지에 기댈 수 있을 테니까요! 아, 참고로 저희 전자레인지가 너무 많은 방사선을 방출해 인류 전체를 멸망시킬 확률이 2~25%로 추정됩니다.”

만약 방문 판매원이 이런 말을 한다면, 우리는 그를 정중하게 배웅한 뒤 즉시 경찰에 신고할 것이다. 하지만 이것은 OpenAI와 Anthropic 같은 거대 AI 기업들이 자사 기술에 대해 세상에 하는 광고를 약간 과장한 버전에 불과하다!

우리 제품이 당신의 종 전체를 말살할 수도 있습니다

“인류를 멸망시킬 수도 있다”는 부분부터 시작해 보자. 이 부분이 실제로 AI 기업들이 하는 주장 중 덜 어리석은 부분으로 보이지만, 그들이 이런 말을 한다는 것 자체가 여전히 놀랍다.

OpenAI 수장 샘 알트만은 한때 마티아스 되프너에게 AI 기술로 인한 인류 멸종 위험을 약 2%로 본다고 말했다. 최근에는 이를 “진지하게 받아들일 만큼 충분히 크다”로 수정했다.

2016년에 알트만은 훨씬 더 심한 경고를 했었다. 『뉴요커』의 한 프로필 기사에서 그는 “생존을 위한 준비를 한다”며 “AI의 공격”을 포함한 여러 재난 시나리오를 대비해 그는 “총기, 금, 요오드화칼륨, 항생제, 배터리, 물, 이스라엘 군의 방독면, 그리고 비행기로 날아갈 수 있는 빅서의 넓은 땅을 준비하고 있다”고 말했다.

대부분의 사람들은 날아갈 수 있는 빅서의 넓은 땅을 갖고 있지 않으므로, 이런 발언들이 왜 불안감을 줄 수 있는지 이해할 수 있다.

Anthropic의 다리오 아모데이는 훨씬 더 종말론적이다. 그는 AI가 인류를 파멸시키거나 “정말 정말 나쁜 방향으로 흘러갈” 확률이 25%라고 반복해서 밝혀왔다(한번은 10%라고 말하기도 했다). 그는 「기술의 청소년기」라는 긴 에세이에서 이 위험들이 무엇인지 설명했다. 초강력 테러리즘과 파시즘 외에도, 인류를 멸망시키거나 노예화하기로 결심하는 신 같은 자율 AI의 위험이 포함된다.

다리오는 AI 업계 평균보다 다소 더 종말론적이지만, 그 분포에서 크게 벗어나지는 않는다. 2023년 설문조사에서 발표된 AI 연구자 800명에게 AI의 영향에 대해 물어보았다. 분포의 왼쪽 끝은 주로 위험에 집착하는 AI 안전 연구자들로 구성되어 있겠지만, 이 차트에서 약 3분의 1의 연구자들이 인류 멸종 또는 유사한 결과에 10% 이상의 확률을 부여했으며, 5% 미만의 수치를 제시한 응답자는 비교적 소수였다.

잠시 멈추고 상당히 기본적인 질문을 해보자. 도대체 왜 자신의 종 전체를 멸종시킬 확률이 25%라고 생각하는 것을 만들겠는가? 아니, 5%라도? 나로서는 그건 꽤 어리석은 짓처럼 들린다.

사실, 우리는 두 가지 이유를 생각해볼 수 있다:

1. 내가 하지 않으면 다른 누군가가 할 것이다
2. 만약 죽지 않으면 불멸을 누릴 수 있을 것이다

두 번째 이유에 대해 이야기해보자. 이건 흥미로운 주제인데, 이에 대해 이야기하는 사람이 거의 없다. 역사 전반에 걸쳐 부유하고 권력 있는 남성들은 항상 불멸 혹은 최소한 대폭 연장된 수명을 부여해 줄 기술을 찾아왔다. 칭기즈칸은 만년의 상당 기간을 영생의 비밀을 가르쳐 줄 현인을 찾는 데 보냈다. 현대의 부유하고 권력 있는 사람들도 다르지 않다. 고도로 투기적인 장수 스타트업에 쏟아붓는 막대한 자금이 그 증거다.

이제 초지능의 잠재적 도래와 함께, 그들은 마침내 오랫동안 찾아온 불로장생의 묘약을 실제로 줄 수 있는 현인을 찾아낸 것인지도 모른다. 다리오는 「사랑스러운 은총의 기계」라는 에세이에서 AI의 주요 이점은 생명공학과 신경공학의 발전을 급격히 가속할 수 있다는 것이라고 썼다. 그는 이것이 인간을 사실상 불멸로 만들 수 있다고 썼다:

인간 수명의 두 배 연장. 급진적으로 들릴 수 있지만, 20세기에 기대 수명이 약 40세에서 약 75세로 거의 2배 증가했으므로, ‘압축된 21세기’가 이를 다시 150세로 두 배 늘리는 것은 ‘추세에 맞는’ 일이다…이미 제한적인 부작용으로 쥐의 최대 수명을 25~50% 연장하는 약물이 존재한다. 그리고 일부 동물(예: 일부 종류의 거북이)은 이미 200년을 산다…인간의 수명이 150세가 되면, 우리는 ‘탈출 속도’에 도달해 현재 살아있는 대부분의 사람들이 원하는 만큼 살 수 있는 충분한 시간을 벌 수 있을 것이다. 물론 이것이 생물학적으로 가능하다는 보장은 없지만.

인류가 멸망할 확률 25%는 크다. 하지만 개인적 관점에서, 장수 기술의 획기적 발전이 없다면 다음 세기 안에 개인적으로 사망할 확률은 거의 100%다. 따라서 나머지 세상이 당신에게 중요하지 않다면, 그리고 수십 년 후 확실한 죽음이냐, 아니면 10년 안에 25% 확률의 죽음과 25% 확률의 영생이냐를 선택해야 한다면, 주사위를 굴려볼 의향이 있을 수도 있다.

물론, 다리오를 포함한 대부분의 AI 창업자들은 인류 전체를 걱정한다. 그들은 단지 자신만 불멸이 되고 싶은 것이 아니라, 모든 사람을 불멸로 만들고 싶어 한다. 어떤 관점에서 보면, 이것은 종 전체의 미래를 걸고 주사위를 굴릴 만한 가치가 있을 수도 있다.

하지만 사실, 나는 불멸이 기업들이 인류를 멸종시킬 수도 있다고 믿는 기술을 가능한 한 빠르고 강하게 밀어붙이는 주된 이유라고 생각하지 않는다. 목록의 첫 번째 이유, “내가 하지 않으면 다른 누군가가 할 것이다”가 더 중요하다고 생각한다. Anthropic의 모든 사람과 OpenAI의 모든 사람은 자신들이 초지능 AI를 만들지 않으면 일론 머스크가 만들 것임을 안다. 아니면 중국 공산당이 만들 것이다. 그리고 그렇게 된다면, 우리의 미래는 A) 일론 머스크의 의지에 예속된 기계 신, B) 중국 공산당의 의지에 예속된 기계 신, C) 하고 싶은 대로 하는 자율적인 기계 신 중 하나다.

세 가지 선택지 모두 나쁘게 들린다. 그래서 개인적인 두려움과 우려에도 불구하고, 사실 그들 대부분은 자신들이 하는 일에 대해 개인적으로 많은 두려움과 우려를 갖고 있다. 그들은 기계 신 아이가 올바른 가치관으로 성장하도록 보장하기 위해 덜 양심적인 경쟁자보다 먼저 결승선을 통과해야 한다는 의무감을 느낀다. 요즘 샌프란시스코에서는 “붉은 여왕의 경주”라는 표현이 자주 들린다. AI 연구자 중 기술을 포기하고 싶은 사람은 거의 없지만, 위험을 최소화하는 데 더 많은 시간을 벌기 위해 개발을 늦추거나 심지어 일시 중단하고 싶은 사람은 많다.

하지만 말처럼 쉬운 일이 아니다. 소수의 선두 연구자들이 기술 추진을 거부함으로써 기술이 느려진 사례는 극히 드물다. 사실 역사에서 단 하나의 사례만 찾을 수 있다(2010년대 초 조류 독감 이후의 기능 획득 연구 일시 중단). 하지만 AI 연구는 거대한 사업이며, 의미 있는 차이를 만들 만큼 광범위한 자발적 일시 중단은 완전히 불가능한 조율 문제를 제시한다.

자발적 일시 중단이 불가능하다면, 국가적 또는 국제적 합의를 통한 규제만 남는다. 다리오는 공개적으로 AI에 대한 더 많은 규제를 요구했고, Anthropic은 더 많은 정부 통제를 위한 로비에 상당한 돈을 썼다. 일론 머스크조차 과거에 AI 일시 중단을 요구했다. 이러한 요구들은 종종 기업들이 기존 위치를 보호하기 위한 정부 보호를 구하는 것으로 무시되지만, 그들의 두려움은 진심으로 보인다.

이것이 “우리 제품이 당신을 죽일 수도 있다”가 AI 기업들이 하는 피치 중 단연 덜 미친 부분이라고 생각하는 이유다. 사실 그것은 오히려 “우리 버전의 제품은 당신을 죽일 가능성이 낮으며, 더 많은 규제를 위한 우리의 요구를 지지한다면 위험을 최소화할 수 있다”에 가깝다. 재조합 DNA를 발명한 일부 과학자들은 분명히 그것이 인류를 멸종시킬 가능성이 있다고 생각했으며, 핵기술을 발명한 많은 과학자들도 마찬가지였다. 그들은 경고를 발하고 책임 있는 규제를 촉구했다.

현재, 실존적 위험에 대해 더 걱정하는 AI 창업자들, 예를 들어 다리오와 일론은 위험이 더 낮다고 생각하는 샘 알트만 같은 사람들보다 더 강하게 일시 중단을 밀어붙였다. 알트만조차도 AI 위험을 연구하고 방지하는 재단에 OpenAI의 많은 돈을 투입하고 있다. 이것은 모두 상당히 합리적이며, 대중에게도 좋은 반응을 얻을 것이다.

하지만 나는 이 피치가 크게 개선될 수 있다고 생각한다. 인간은 재난이 실제로 일어나기 전에 위험을 인식하지 못하는 불행한 경향이 있다. 예를 들어, 비료폭탄 제조법이 널리 알려져 있었음에도 불구하고, 티모시 맥베이가 그것으로 건물을 폭파시키기 전까지 우리는 비료를 테러 위험으로 다루지 않았다. 지금 모두가 터미네이터와 매트릭스를 봤지만, 아무도 그것이 현실이라고 생각하지 않는다.

AI 안전 피치가 “초지능이 우리 모두를 죽일 수도 있다”라면, 우리는 어느 정도 곤경에 처한 것이다. 왜냐하면 사람들은 그것이 실제로 일어나기 전까지 믿지 않을 것이고, 그때는 너무 늦을 것이기 때문이다. 대신, AI 기업들은 일반인들이 실제로 믿는 것에 안전 피치를 집중해야 한다: 테러리즘. 과격분자들이 AI 에이전트를 이용해 초강력 코로나 바이러스를 바이브 코딩한다는 이야기를 하면, 일반인들의 귀가 쫑긋해질 것이다. 왜냐하면 그것은 그들이 실제로 경험한 것에 더 가까운 위험이기 때문이다.

어쨌든, AI 피치의 두 번째 부분으로 넘어가자. 이것은 AI가 인간을 경제적으로 쓸모없게 만들 것이라는 생각이다. AI 연구자들과 창업자들은 계속 이런 말을 하고 다니는데, 나는 이것이 엄청난 자책골이라고 생각한다.

우리 제품이 당신이 가족을 먹여 살릴 수 없게 만들 것입니다…