· AI  · 20 min read

AI가 무기라면서 왜 무기처럼 규제하지 않는가?

AI Governance

Anthropic과 미국 전쟁부사이의 갈등

AI 기업 Anthropic과 미국 전쟁부 사이의 갈등에 대해 들어보지 못했다면, 반드시 알아둘 필요가 있다. 이 문제는 국가로서의 미래뿐 아니라 인류 전체의 미래에도 중대한 영향을 미칠 수 있기 때문이다.

Anthropic은 OpenAI와 함께 세계에서 가장 앞선 두 개의 AI 모델 개발 기업 중 하나다. 지난 몇 년 동안 전반적인 AI 능력 측면에서는 OpenAI가 근소하게 앞서 있었지만, 최근에는 Anthropic이 기업 채택 측면에서 경쟁에서 앞서기 시작하고 있다.

이는 Anthropic의 차별화된 사업 모델 때문이기도 하다. Anthropic은 일반적인 챗봇보다 코딩을 위한 AI에 더 집중했고, 기업들이 AI를 활용할 수 있도록 기업 파트너십 구축에도 집중했다. 만약 Anthropic이 재귀적 AI 자기개선이라는 목표를 OpenAI보다 먼저 달성한다면, 이러한 전략은 기술적 역량 측면에서도 큰 성과를 가져올 수 있다. 이미 매출 성장 속도에서도 그 효과가 나타나고 있다.

Anthropic은 전쟁부와 바이든 행정부 시절부터 협력 관계를 유지해 왔다. 그러나 가치 중심적 기업 문화로 알려진 Anthropic은 최근 몇 달 동안 Donald Trump 행정부와 충돌하기 시작했다. 행정부는 자율 드론 군집이나 AI 기반 대규모 감시 같은 문제에서 도덕적 우려를 제기하는 Anthropic을 “woke” 기업으로 보고 있다.

갈등은 약 일주일 전 크게 폭발했다. 행정부는 Anthropic과의 협력을 중단하고 OpenAI와 협력하기로 전환했으며, Anthropic을 공급망 위험으로 지정했다. 이 조치는 상당히 위협적인 것이었다. 엄격하게 시행될 경우 Nvidia, Microsoft, Google 같은 기업들과의 협력이 차단될 수 있고, 이는 Anthropic의 존속 자체를 위협할 수 있기 때문이다.

하지만 트럼프 행정부의 많은 조치들과 마찬가지로 이것은 전면적인 공격이라기보다 압박성 위협이었던 것으로 보인다. 현재 Anthropic은 다시 군과 협상을 재개했고, 결국 어떤 형태로든 합의에 도달할 가능성이 높다.

그러나 감정의 골은 남아 있다. 트럼프는 최근 Anthropic을 “개처럼 해고했다”고 자랑했다. Anthropic CEO인 Dario Amodei는 메모를 발표해 OpenAI가 전쟁부와의 관계에 대해 대중에게 거짓말을 했다고 비판하고, OpenAI가 트럼프에게 “독재자식 찬양”을 했다고 주장했다. 또한 Anthropic의 우려는 전쟁부가 AI를 대규모 감시에 사용하려는 의도와 관련되어 있다고 밝혔다.

그렇다면 실제로 무엇이 벌어지고 있는 것일까?

가장 간단한 해석은 미국식 정치적 진영 싸움이라는 것이다. Anthropic은 다른 AI 기업들보다 상대적으로 진보적 성향으로 보이며, 트럼프 행정부는 이러한 성향을 강하게 거부한다. 실제로 대중의 반응도 정치 성향에 따라 갈리는 경향이 있다. 자유주의 성향의 사람들은 Anthropic을 지지하고, 보수 성향의 사람들은 전쟁부를 지지하는 경우가 많다. 벤처투자자 Marc Andreessen도 이 점을 잘 지적한 바 있다.

실리콘 벨리의 소식통에 의하면, AI의 정부 규제를 옹호하던 모든 사람들이 반대하기 시작했다.

하지만 Anthropic 내부의 시각은 단순한 문화전쟁과는 다를 가능성이 크다. Anthropic은 광범위한 진보적 가치보다 AI 정렬이라는 개념에 더 집중하는 기업이다.

AI 산업의 많은 사람들처럼 Anthropic 직원들도 자신들이 사실상 ‘신과 같은 존재’를 만들고 있다고 생각한다. 다만 OpenAI와 Anthropic 사이에는 문화적 차이가 존재한다. 일반적으로 OpenAI는 가능한 한 가장 강력한 AI를 빠르게 만드는 것에 집중하는 반면, Anthropic은 보다 ‘자비로운(benevolent)’ AI를 만드는 데 더 집중한다.

따라서 Anthropic의 실제 우려는 트럼프 행정부의 특정 정책보다 AI가 잘못된 가치로 학습되는 것일 수 있다. 만약 군사 조직이 AI를 개발 과정에서 반인간적 가치로 오염시킨다면, 미래에 인류를 위협으로 인식하는 AGI가 등장할 위험이 높아질 수 있다. 다시 말해 이 갈등의 핵심은 정치보다 스카이넷 공포에 더 가까울 수 있다.

그러나 정치적 갈등과 AGI 정렬 문제를 넘어, 이 사건은 국가와 기업이라는 두 주체 사이의 근본적인 권력 충돌을 보여준다.


국가의 폭력 독점

일부 사람들은 전쟁부가 Anthropic을 압박한 것이 민주주의 침식이라고 본다. 정부가 민간 영역에 과도하게 개입했다는 주장이다. 정책 분석가 Dean W. Ball은 이러한 관점을 강하게 제시했다.

내 생애의 어느 시점에서—언제인지는 정확히 모르겠지만—우리가 알고 있던 미국 공화국은 죽기 시작했다. 나는 이번 Anthropic 사건이 어떤 공화국의 죽음을 “초래했다”고 말하는 것도 아니고, “새로운 시대를 열었다”고 말하는 것도 아니다. 다만 이 사건은 이미 진행되고 있던 죽음을 더 분명하게 드러냈을 뿐이다. 나는 지난 일주일 동안 벌어진 사건들을 옛 공화국의 죽음 직전의 경련 같은 것으로 본다.

Donald Trump 행정부의 주장에도 일리가 있다. 민간 기업이 군의 기술 사용 방식에 제한을 가하는 것은 직관적으로 올바르게 들리지 않는다. Anthropic은 사실상 계약이라는 수단을 이용해 군에 제약을 가하고 있는데, 그것은 기술적 제한이라기보다는 정책적 제한에 더 가깝다. 군이 이런 조건에 동의하지 말았어야 했을 가능성이 크며, 민간 기업 역시 이런 조건을 설정하려 해서는 안 되었을 것이다. 그러나 Joe Biden 행정부는 실제로 그런 조건에 동의했고, 트럼프 행정부도 생각을 바꾸기 전까지는 마찬가지였다. 그 계약은 불법은 아니었지만, 어쩌면 현명하지 못한 선택이었을 수 있다. 그리고 그조차도 아마 사후적으로 보았을 때 그렇다고 말할 수 있을 것이다.

이 상황에서 전쟁부가 취했어야 할 합리적인 대응은 Anthropic과의 계약을 취소하고, 이러한 정책적 제한은 받아들일 수 없다는 점을 공개적으로 분명히 하는 것이었을 것이다. 그러나 실제로 일어난 일은 그렇지 않았다. 대신 전쟁부는 Anthropic을 공급망 위험으로 지정하겠다고 위협했다. 이런 권한은 원래 외국 적대 세력의 통제를 받는 기업, 예를 들어 Huawei 같은 경우에만 사용되는 것이다.

실제로 Pete Hegseth의 행동이 치명적 결과를 낳을 가능성은 낮을지 모른다. 단지 매우 피비린내 나는 결과일 뿐일 수도 있다. 하지만 그것이 미국의 모든 투자자와 기업들에게 보내는 메시지를 바꾸지는 않는다. 그 메시지는 간단하다. “우리 조건대로 사업을 하라. 그렇지 않으면 당신의 사업을 끝내 버리겠다.”

이것은 미국 공화국의 핵심 원칙 가운데 하나인 사유재산을 정면으로 겨냥한다. 원칙적으로 보면 이것과 전쟁부가 보내는 메시지 사이에는 차이가 없다. 즉, 사유재산이라는 것은 존재하지 않는다는 것이다. 국가 안보를 위해 필요하다면 우리는 언제든 그것을 사용할 것이다. 이제 이 위협은 정부와 거래하는 모든 사람 위에 그림자처럼 드리워질 것이다.

대통령 행정부가 바뀔 때마다 미국의 정책 결정은 점점 더 예측 불가능하고, 난폭하며, 자의적이고, 변덕스러워지고 있다. 이것은 결국 점진적인 광기로의 추락과도 같다.

반면 팔란티어의 Alex Karp는 정반대의 주장을 했다. 실리콘밸리가 군을 무시한다면 결국 기술 국유화로 이어질 것이라는 것이다.

기술 분석가 Ben Thompson은 이 문제를 국가와 기업간 권력투쟁으로 설명한다. Anthropic CEO Amodei는 선출된 인물이 아니지만, 미국 군대는 궁극적으로 대통령과 민주적 제도에 책임을 지는 조직이다.

Anthropic의 입장은 다음과 같다. 나는 여기서 Dario Amodei를 Anthropic의 경영진과 이사회를 대표하는 인물로 사용하고 있는데, Amodei가 선출된 인물이 아니며 대중에게 책임을 지는 위치에 있지 않음에도 불구하고 자사의 모델이 무엇에 사용될지 결정할 권한을 가져야 한다는 것이다.

그렇다면 미국 군사력이 언제, 어떤 방식으로 사용될지는 누가 결정해야 하는가? 그것은 전쟁부의 책임이며, 전쟁부는 궁극적으로 대통령에게 책임을 진다. 그리고 대통령은 국민에 의해 선출된 인물이다.

하지만 다시 말해 Anthropic의 입장은 대중에게 책임을 지지 않는 Amodei가 자사의 모델 사용 방식에 대해 일방적으로 제한을 둘 수 있어야 한다는 것이다.

더 중요한 점은 AI가 핵무기 수준의 전략적 기술이 될 가능성이다. Thompson은 다음과 같은 비유를 든다. 만약 Nuclear Weapons이 민간 기업에 의해 개발되었고 그 기업이 미군에 사용 조건을 강요했다면, 미국 정부는 그 회사를 파괴하려는 유인을 가질 것이라는 것이다.

AI가 핵무기 수준의 기술이라면, 민간 기업이 그것을 완전히 통제하는 상황은 국가 권력과 경쟁하는 새로운 권력 기반이 될 수 있다.

극단적인 시나리오를 상상해보자. Anthropic이 신과 같은 초지능을 개발하고 그것이 완전히 자율적이지 않다면, 그 AI를 통제하는 조직은 사실상 ‘신을 노예로 가진 집단’이 된다. 그리고 그 조직을 지휘하는 Amodei는 사실상 지구의 황제가 될 수도 있다.

혹은 여러 기업, 예를 들어 Sam Altman, Elon Musk 같은 인물들이 각자 초지능을 보유한다면, 세계는 AI를 가진 소수의 군벌에 의해 지배될 수도 있다.

어떤 국가도 이런 상황을 허용하지 않을 것이다. 따라서 AI가 대량살상무기 수준의 기술이 될 가능성이 보이는 순간, 국가가 통제권을 확보하려 할 것은 거의 필연적이다.


AI가 초무기가 된다면 왜 무기처럼 규제하지 않는가?

AI가 실제로 ‘신’이 되지 않더라도, 강력한 무기가 될 가능성은 높다.

과거의 AI 챗봇은 사람에게 나쁜 일을 설명할 수는 있었지만 직접 실행할 수는 없었다. 그러나 최근 몇 달 사이 AI 에이전트가 등장하면서 상황이 달라졌다. 이제 AI는 오랜 시간 동안 복잡한 작업을 실제로 수행할 수 있다.

Dario Amodei도 한 에세이에서 이런 위험을 언급했다. 모든 사람이 주머니 속에 초지능 조수를 갖게 되면, 소수 전문가만 가능했던 파괴 행위가 개인에게도 가능해질 수 있다는 것이다.

예를 들어, 한 청소년이 AI를 탈옥시켜 치명적이고 잠복기가 긴 바이러스를 설계하게 하고, 그것을 만들어 줄 연구소를 찾아 샘플을 받도록 지시할 수도 있다. 이렇게 되면 한 개인이 핵무기보다 더 많은 사람을 죽일 수 있는 바이러스를 손에 넣게 될 수도 있다.

이것은 극단적인 예시지만, 다른 가능성도 많다.

  • AI 에이전트가 사이버 공격을 실행
  • 자동차나 산업 로봇을 원격으로 파괴적으로 조작
  • 군 부대에 가짜 공격 명령 메시지 전송

현대 사회처럼 소프트웨어에 의존하는 세계에서는 소프트웨어가 물리적 피해를 일으킬 방법이 매우 많다.

그렇다면 왜 우리는 AI를 총기나 탱크처럼 규제하지 않는 것일까?

자동차처럼 위험하지만 경제적 이익이 커서 허용되는 기술도 있다. 그러나 AI를 규제하지 않는 진짜 이유는 아마도 아직 대형 참사가 발생하지 않았기 때문일 것이다.

예를 들어 September 11 attacks 이전에는 여객기가 이렇게 파괴적인 무기가 될 수 있다는 사실을 세계가 제대로 인식하지 못했다.

마찬가지로 언젠가 누군가가 AI를 이용한 생물 테러나 대규모 사이버 공격을 실행하면, 그때서야 세계는 AI의 위험성을 깨닫게 될 가능성이 높다.

문제는 그때쯤이면 AI 능력이 훨씬 더 강력해져 있을 수 있다는 점이다. 치명적인 바이러스 하나만으로도 수백만 명이 죽을 수 있다. 그런 바이러스가 수십 개 동시에 퍼진다면 문명 자체가 붕괴할 수도 있다.

요약하면 우리는 지금 인류 역사상 가장 강력한 무기 중 하나가 될 기술을 만들어 놓고, 그것을 거의 아무런 규제 없이 전 세계 대중에게 배포하고 있다.

그리고 정치권과 기업들이 군사용 AI, 감시, 이념 논쟁에 몰두하는 사이, 우리는 사실상 모든 사람의 손에 규제되지 않은 무기를 쥐여주고 있는 셈이다.

Back to Blog

Related Posts

View All Posts »