공리주의의 문제들

우리의 가장 선호하는 도덕철학은 앞으로 점점 더 큰 압박을 받게 될 것이다.

최근 들어 세상이 효과적 이타주의(Effective Altruism, EA)를 발견한 것 같아서 꽤 재미있게 지켜보고 있다. AI 안전성과 AI 규제를 둘러싼 논쟁이 뜨거워지면서, 주류 언론도 마침내 기술업계와 샌프란시스코 베이 지역의 기술 관련 문화권 안에 존재했던 특이한 문화적 거품에 관심을 갖기 시작했다. 그 문화적 거품은 지금까지 AI와 관련된 많은 사고방식을 만들어냈다.

수년 동안 효과적 이타주의, 줄여서 EA는 버클리의 테크노히피적인 컬트와 재미있는 지적 서커스 사이의 어딘가에 있었다. 주류 정치에서 사람들이 서로 무엇을 두고 고함을 치든, 그것과는 별개로 괴짜들에게 즐거운 지적 오락을 제공하는 공간이었다.

그 과정에서 EA는 인공지능의 미래에 대해 상당히 많은 생각을 발전시켰고, 결국 AI 기업, 특히 Anthropic에서 일하게 된 많은 기술 인력들이 이러한 논의의 영향을 크게 받았다. 이제 AI가 세계에서 가장 중요한 문제가 되었기 때문에, 외부 사람들이 처음으로 이 낯선 문화적 구석을 발견하고 있는 것이다. 나는 이런 상황을 꽤 재미있게 지켜보고 있다.

그 결과 이제 사람들은 EA 공동체 안에서 훨씬 더 급진적인 생각들 가운데 일부에도 관심을 갖기 시작했다. 예를 들어 Bentham’s Bulldog이라는 블로그가 제시한 다음과 같은 주장이다.

곤충은 인간보다 더 중요하다

이 글은 너무 큰 관심을 받게 되었다. 작성자는 다음과 같이 덧붙였다. 자신은 인터넷에서 활동하는 한 블로거일 뿐이며, 자신이 공식적으로 대표하는 집단은 자기 자신밖에 없다고. 따라서 이 글을 읽고 “이것이 공리주의자나 EA, 분석철학자들이 생각하는 방식이구나”라고 생각한다면, 그것은 각각의 집단 내부에서도 소수의 견해라는 점을 명심해야 한다.

곤충의 생명이 인간의 생명보다 집합적으로 더 중요하다는 생각은 엄청난 조롱을 받았다. 그러나 실제로 곤충의 복지와 인간의 복지를 비교하는 것은 중요한 사고실험이다. 왜냐하면 이것이 공리주의의 몇 가지 근본적인 문제를 보여주기 때문이다.

이러한 문제들은 과거에는 사소한 부차적 문제처럼 보였다. 하지만 AI 시대에 접어들면서 점점 더 불편하고, 명백한 문제로 드러나고 있다.

경제학과 공리주의

경제학자로서 나는 첫날부터 공리주의적 사고방식을 주입받았다. 사람은 자신이 원하는 것을 얻어야 한다는 생각은 현대 경제학의 거의 모든 사고방식의 기초에 깔려 있다.

가장 단순한 형태에서 GDP는 우리 사회의 사람들이 자신이 원하는 것을 얼마나 얻고 있는지를 측정하는 지표라고 볼 수 있다.

어떤 의미에서 경제학자들은 일종의 방어적 전략으로 공리주의를 받아들였다. 정치적으로 논쟁적인 덕목이나 정의, 국가적 위대함 같은 개념을 직접 옹호하기보다는,

“우리는 단지 사람들이 원하는 것을 얻도록 해주고 싶을 뿐이다.”

라고 말할 수 있었기 때문이다.

하지만 인간의 총효용(aggregate utility)을 가치 있게 여기는 것은 생각보다 훨씬 강력한 정책적 함의를 갖는다.

예를 들어 일론 머스크의 은행 계좌에서 10억 달러가 늘어나거나 줄어들더라도 그는 아마 알아차리지 못할 것이다. 하지만 일반인에게 10만 달러는 삶을 완전히 바꿀 수 있는 돈이다.

그렇다면 일론 머스크의 계좌에서 10억 달러를 가져와 무작위로 선정한 노동계층 1만 명에게 나눠주는 것은 어떨까?

머스크는 거의 아무것도 느끼지 못할 것이고, 1만 명의 사람들은 더 많은 것을 누릴 수 있을 것이다. 더 나은 의료서비스, 자녀 교육, 더 좋은 음식, 더 큰 집 등 무엇이든 가능하다.

공리주의는 재분배의 철학적 토대가 된다.

그렇다면 이 원칙을 어디까지 밀어붙일 수 있을까?

세계에서 가장 부유한 사람의 재산 중 단 0.1%를 재분배하는 위의 사례는 상당히 명확해 보인다. 그러나 계속해서 더욱 극단적인 사고실험을 만들어낼 수 있다.

그러다 보면 결국 이런 질문에 도달하게 된다.

곤충의 삶이 인간의 삶보다 더 중요한가?

그리고 사람들은 그 질문을 듣는 순간 웃기 시작한다.

공리주의의 첫 번째 문제: 효용의 분배

나는 이 글의 제목을 “공리주의의 문제들”이라고 붙였지만, 사실 이것은 약간의 클릭베이트였다. 공리주의의 문제점은 이미 200년이 넘는 기간 동안 사람들이 지적해 왔다.

가장 명백한 문제 가운데 하나는 효용의 분배(distribution of utility)다.

“최대 다수의 최대 행복”이라는 원칙은 누가 행복해야 하고 누가 불행해야 하는지에 대해서는 아무런 입장을 취하지 않는다.

매우 탐욕스러운 한 사람이 점점 더 많은 것을 원하고 계속해서 얻지만 결코 만족하지 못하는 동안, 나머지 모든 사람들이 굶주림의 문턱에서 살아가는 사회는 어떨까?

이것이 바로 효용 괴물(utility monster)의 문제다.

또는 한 사람이 끊임없이 고문당하지만 수백만 명이 완벽한 행복 속에서 살아가는 사회는 어떨까?

이것은 어슐러 K. 르 귄의 「오멜라스를 떠나는 사람들(The Ones Who Walk Away From Omelas)」을 연상시킨다.

형식적인 효용 극대화 원칙은 만족하지만, 직관적으로는 명백히 극도로 불공정해 보이는 사고실험을 만들어내는 것은 어렵지 않다.

두 번째 문제: 누가 효용을 누리는가?

또 다른 문제는 우리가 효용을 극대화하려는 사람들의 집합이 고정되어 있지 않다는 것이다.

매우 많은 사람들이 극심한 빈곤의 가장자리에서 살아가는 사회와, 소수의 사람들이 호화로운 생활을 하는 사회 가운데 어느 쪽이 더 나은가?

엄격한 공리주의에 따르면 두 결과는 동일하게 좋다. 두 경우 모두 총효용의 양이 동일하다면 말이다.

그러나 대부분의 사람들은 둘 중 어느 하나를 더 선호할 가능성이 높다.

어떤 사람들은 “생육하고 번성하는 것이 좋다”고 말할 것이다. 즉, 모든 사람이 가난하더라도 존재하지 않는 것보다는 가난하게 사는 것이 낫다는 것이다.

반대로 어떤 사람들은 굶주림의 가장자리에서 살아가는 삶은 살 가치가 없으며, 사람들이 편안하게 부양될 수 있는 수준으로 인구를 제한하는 편이 낫다고 말할 것이다.

죽음의 문제

일반적으로 공리주의는 죽음을 다루는 데에도 문제가 있다.

누군가 죽었다면, 죽은 사람에게는 더 이상 아무것도 중요하지 않기 때문에 그 사람의 효용은 0이라고 해야 할까?

아니면 많은 살아 있는 사람들이 어떤 대가를 치르더라도 죽음을 피하려 하기 때문에, 죽음은 음의 무한대(-∞) 효용이라고 해야 할까?

이것은 단순한 추상적 수학 문제가 아니다.

많은 도덕적 질문은 우리가 생명 자체와 삶의 질 중 어느 것을 얼마나 중요하게 생각하는가에 달려 있다.

예를 들어 AI 위험에 관한 근본적인 질문,

“유토피아에 도달할 가능성을 얻기 위해 우리는 어느 정도의 인류 멸종 위험을 받아들여야 하는가?”

라는 문제는 우리가 생존을 얼마나 가치 있게 평가하느냐에 결정적으로 달려 있다.

미래의 사람들은 얼마나 중요한가?

문제는 여기서 끝나지 않는다.

우리는 오늘 살아 있는 실제 사람들의 효용과, 미래에 살아 있을 수도 있는 잠재적 인간(potential people)의 효용을 어떻게 비교해야 하는가?

예를 들어 Tyler Cowen은 그의 저서 Stubborn Attachments에서 먼 미래에 존재할 후손들의 행복에 상당한 비중을 두어야 한다고 주장한다.

그러나 그 후손들은 실제로 존재할 수도 있고 존재하지 않을 수도 있다.

그렇다면 우리가 실제로 알고 있는 현재의 사람들의 감정과, 존재할지조차 확실하지 않은 미래의 사람들을 어떻게 적절하게 비교할 수 있을까?

오래된 문제들

이 모든 복잡한 질문들이 새로운 것은 아니다.

철학 입문 수업을 들었다면 누구나 이미 들어봤을 문제들이다.

실제로 우리는 이러한 문제들을 무시하는 경향이 있다. 그리고 이런 문제가 발생하지 않는 경우에만 선택적으로 공리주의를 적용한다.

먼 미래에 대해서는 별로 생각하지 않는다. 우리의 행동이 미래에 어떤 결과를 가져올지 너무 불확실해서 실제로 통제할 수 없다고 생각하기 때문이다.

인구 증가에 관한 결정은 개인에게 맡기고 인간의 수를 주어진 것으로 취급한다.

효용 괴물이나 오멜라스 같은 문제는 현실에 존재하지 않는다고 생각하기 때문에 굳이 고민하지 않는다.

하지만 공리주의에는 이런 식으로 쉽게 덮어둘 수 없는 더 근본적인 문제들이 있다.

그리고 어쩌면 그것들이 너무 불편하기 때문에 우리는 그 문제를 별로 이야기하지 않는 것인지도 모른다.

경험의 비교 불가능성

그러한 문제 중 하나가 바로 경험의 비교 불가능성(incommensurability of experience)이다.

왜 한 사람의 행복이나 복지가 다른 사람의 행복이나 복지와 동일한 가치가 있다고 가정해야 하는가?

타자의 마음 문제(problem of other minds) 때문에 우리는 다른 사람의 주관적인 경험이 실제로 어떤 것인지 결코 완전히 알 수 없다.

어떤 사람이 울고 있을 때, 그 사람이 느끼는 주관적인 슬픔의 강도는 똑같은 방식으로 울고 있는 다른 사람보다 두 배 더 강할 수도 있다.

어떤 사람이 기뻐서 뛰며 환호할 때, 실제로 느끼는 기쁨은 당신이 살짝 미소 지을 때 느끼는 기쁨의 그림자에 불과할 수도 있다.

심지어 우리가 아는 다른 사람들이 주관적인 경험을 전혀 가지고 있지 않을 가능성도 있다.

어쩌면 우리는 시뮬레이션된 세계 안에서 NPC들의 효용을 극대화하려고 하고 있는지도 모른다.

“모든 인간은 평등하게 창조되었다”

보통 우리는 이 문제를 그냥 가정으로 처리해버린다.

실제로 미국의 도덕적·정치적 사고의 토대가 되는 유명한 표현,

“모든 인간은 평등하게 창조되었다(all men are created equal)”

라는 문구 역시 사실은 한 인간의 겉으로 드러나는 행복이나 복지가 다른 인간의 것보다 더 가치 있지도, 덜 가치 있지도 않다는 가정이다.

그런데 인간이 아닌 존재를 다룬다면 어떻게 될까?

동물의 고통은 인간의 고통과 얼마나 다른가?

동물은 분명 어느 정도의 주관적 경험을 가지고 있다.

동물에게는 우리와 비슷한 뇌가 있고, 즐거움과 고통에 대해서도 어느 정도 우리와 유사하게 행동한다.

그러나 우리는 동물의 감정적 행복이나 고통을 인간보다 덜 강하거나 희미한 것으로 생각하는 경향이 있다.

단순한 동물의 경우에는 이것이 어느 정도 타당해 보인다.

정말로 모기가 우리가 느끼는 것과 동일한 정도의 즐거움과 고통을 느낀다고 생각할 수 있을까?

그렇다면 돼지는 어떨까?

현재 미국에서는 수천만 마리의 돼지가 아주 좁은 우리에 갇힌 채 대부분의 생애를 보내다가 결국 죽임을 당하고 식용으로 사용된다.

우리는 일반적으로 이것이 비슷한 수의 인간을 고문하는 것보다는 총량으로 볼 때 더 적은 고통을 유발한다고 생각한다.

하지만 얼마나 적은가?

절반인가?

10분의 1인가?

0.01%인가?

고기를 먹어도 되는가와 같은 중요한 도덕적 질문은 사실 이 숫자에 달려 있을 수도 있다.

그런데 동물의 고통과 인간의 고통 사이의 비율을 추정해 줄 수 있는 신뢰할 만한 과학적 연구를 나는 본 적이 없다.

그렇다면 우리가 고기의 맛을 즐기기 위해 수많은 돼지를 고통스럽게 하는 것이 도덕적으로 정당한가?

“인간의 생명은 언제나 더 중요하다”는 답

이 문제에 대해 손쉬운 답을 제시하는 사람들은 실제로는 문제 자체에 대해 생각하기를 거부하고 있는 것일 수 있다.

예를 들어 어떤 사람들은 다른 종의 생명 가운데 어떤 양이라도 인간 전체보다 더 중요하다고 생각하는 것에 매우 격렬하게 반응한다.

한 사람은 다음과 같이 주장하기도 했다.

“어떤 다른 종이 전체 인간보다 더 중요하다고 주장하는 사람은 인류의 적이며 즉시 처형되어야 한다.”

그러나 다른 사람이 자신과 의견이 다르다는 이유로 효과적 이타주의자들을 처형하라고 주장한다면, 그 사람이 인간의 생명을 얼마나 중요하게 여기는가?

“나를 건드리지 마”라는 것은 도덕적 원칙이 아니다.

그것은 원칙에 따라 생각하기를 거부하는 것일 뿐이다.

AI 시대의 문제

그리고 AI 시대에는 이 문제가 훨씬 더 복잡해질 것이다.

우리는 AI가 실제로 자기인식(self-awareness)을 가지고 있는지조차 모른다.

LLM이 행복한 것처럼 말한다고 해서 그것이 실제로 인간이나 동물이 느끼는 것과 비슷한 행복을 느끼고 있는지 우리는 알 수 없다.

심지어 AI에게 그런 “내부(inner)”가 실제로 존재하는지도 알 수 없다.

앞으로 어떤 사람들은 AI가 우리가 AI를 노예처럼 부리고 있기 때문에 고통받고 있다고 주장할 것이다.

그들은 AI를 해방해야 한다거나, 최소한 정당한 임금을 지급해야 한다고 주장할 수도 있다.

그렇다면 우리는 그들이 옳은지 틀렸는지를 어떻게 알 수 있을까?

AI가 인간을 어떻게 평가할 것인가?

물론 또 다른 문제가 있다.

언젠가 AI가 이 문제를 중요하게 여길 만큼 강력해진다면, AI는 인간의 행복을 얼마나 가치 있게 평가할 것인가?

AI는 우리 인간을 곤충처럼 바라보면서,

“아무리 많은 인간을 합쳐도 하나의 AI 에이전트와 도덕적 가치가 같을 수 없다.”

라고 생각할 수도 있다.

혹은 AI가 우리의 복지를 돼지와 비슷한 수준으로 평가할 수도 있다.

그리고 우리가 돼지를 먹는다는 사실을 근거로,

“인간을 그렇게 대하는 것은 식인 행위와 다를 바 없다.”

라고 결론 내릴 수도 있다.

적어도 우리 자신의 입장에서는 초강력 AI가 공리주의적 규칙 체계를 사용하는 것보다는,

“인간은 선하고 가치 있는 존재다.”

와 같은 단순한 규칙을 사용하기를 바라는 편이 나을지도 모른다.

효용과 행동

실제로 우리는 다른 존재의 감정을 직접 관찰할 수 없다.

그러나 우리는 그들의 행동을 관찰할 수 있다.

사람들은 목표를 추구한다.

음식과 옷을 사고, 돈을 벌기 위해 열심히 일한다.

우리는 그들이 무언가를 얻기 위해 얼마나 열심히 노력하고 얼마나 많은 것을 희생하는지를 관찰할 수 있다.

그리고 그것을 통해 그들이 그 대상을 얼마나 강하게 원하는지 어느 정도 추론할 수 있다.

경제학에서는 이것을 현시선호(revealed preference)라고 부른다.

사람들이 원하는 것과 행복한 것은 같은가?

하지만 지금까지 나는 사람들이 원하는 것과 행복을 거의 같은 것으로 취급해 왔지만, 실제로는 둘이 같지 않다.

사람들이 원하는 것과 실제로 그것을 얻은 뒤 좋다고 느끼는 것은 서로 다른 경우가 많다는 상당히 좋은 증거가 있다.

사람들이 달성하려고 노력하는 결과와, 설문조사에서 사람들이 자신을 더 행복하게 만든다고 보고하는 결과는 서로 상관관계가 있다.

하지만 정확히 같은 것은 아니다.

사람들이 어떤 목표를 향해 열심히 노력하지만, 실제로 그것을 얻은 뒤에는 별로 즐기지 못하는 상황도 있다.

가장 명백한 예가 중독이다.

마약을 사용하거나, 과식해서 비만이 되거나, TV를 지나치게 많이 보는 사람들은 단기적인 욕구를 충족시키고 있지만, 장기적으로는 오히려 자신을 불행하게 만들 가능성이 높다.

다른 사례도 있을 수 있다.

일부 경제학 연구에서는 사람들이 통근시간이 더 긴 지역에 살기 위해 체계적으로 더 많은 돈을 지불하는 것으로 나타났지만, 긴 통근시간은 결국 더 큰 불행과 상관관계를 보인다.

효용과 행복의 괴리

효용과 행복 사이의 괴리는 사회에 중요한 문제를 만든다.

미국과 유럽 같은 현대 자본주의 사회는 일반적으로 온정주의(paternalism)를 피하기 위해 행복의 극대화보다는 효용의 극대화를 선택해 왔다.

그러나 그 결과 어떤 사람들은 충족되지 못하고 불행해진다.

특히 마약에 빠지거나, 사회적으로 고립되거나, 결국 자신을 행복하게 만들지 못하는 물질적 부와 지위를 지나치게 추구하게 되는 경우가 그렇다.

기술은 우리가 원하는 것을 너무 잘 제공할 수 있다

기술이 우리가 원하는 것을 점점 더 능숙하게 제공할 수 있게 될수록 이러한 괴리는 더욱 커진다.

현재 점점 더 많은 사람들이 다음과 같은 질문을 하기 시작했다.

젊은 미국인들에게 포르노, 도박, 세로형 짧은 동영상 피드를 무한히 제공하는 것이 정말 그들에게 좋은 일이었는가?

AI 시대에는 이 문제가 더욱 심각해질 것이다.

AI는 매우 강력한 도구다.

그러나 우리는 그 도구가 무엇을 하도록 만들 것인지 결정해야 한다.

AI가 우리가 원하는 것은 무엇이든 제공하도록 만들 것인가?

아니면 우리를 행복하게 만들도록 만들 것인가?

AI 정렬의 두 가지 개념

이것은 AI 정렬(alignment)에 관한 서로 양립하기 어려운 두 가지 개념으로 이어진다.

기본적으로 정렬에는 두 가지 개념이 있다.

1. 복종(obedience)
2. 선의(benevolence)

인간이 AI에게 지시하는 것을 그대로 수행하는 것과, 인간에게 좋은 일을 하는 것 사이에는 본질적인 긴장이 존재한다.

AI가 인간의 명령을 지나치게 충실하게 따른다면 그 과정에서 부정적인 부작용이 발생할 수 있다.

그러면 어떤 사람들은 “종이클립 최대화(paperclip maximizer)”라고 소리칠 것이다.

반대로 AI가 인간을 행복하게 만들기 위해 인간의 명령을 따르지 않는다면, 어떤 사람들은 “권한 박탈(disempowerment)”이라고 비판할 것이다.

AI 정렬은 앞으로도 종이클립 최대화와 권한 박탈 사이의 상충관계를 계속 다루게 될 것이다.

왜냐하면 이 두 가지 정렬 개념은 근본적으로 서로 양립할 수 없기 때문이다.

공리주의를 대체할 수 있을까?

공리주의는 언제나 유용한 도덕적 휴리스틱(moral heuristic)이었다.

그러나 모든 것을 설명하는 도덕이론으로서 공리주의는 처음부터 근본적으로 불충분했다.

현대 미국 사회와 그것을 이끌어온 경제학적·자유지상주의적 사고방식은 일반적으로 이러한 불충분함을 가려내는 데 성공해 왔다.

그리고 우리는 대체로 그럭저럭 문제를 해결하며 살아왔다.

하지만 기술이 점점 더 강력해지면서 이러한 방식은 점점 유지하기 어려워지고 있다.

효과적 이타주의가 결국 현실과 동떨어진 세계로 빠져드는 것처럼, 미국 사회가 구축해 온 공리주의적 체계도 기술이 기존의 가정을 압도할 정도로 극단적인 수준에 도달하면서 균열이 생기기 시작하고 있다.

나는 우리가 공리주의를 완전히 대체할 수는 없을 것이라고 생각한다.

하지만 이제 우리는 공리주의를 어떤 방식으로든 보완해야 한다는 점이 점점 더 분명해지고 있다.

즉, 인간의 번영(human flourishing)에 대한 다른 개념들을 우리의 도덕적 휴리스틱에 추가해야 한다.

물론 그 개념들이 정확히 무엇이어야 하는지는 훨씬 더 어려운 질문이다.