금요일 오후, 이 인터뷰를 시작하자마자 내 컴퓨터 화면에 뉴스 경고가 나타났습니다. 트럼프 행정부는 Dario Amodei가 2021년에 설립한 샌프란시스코 인공 지능 회사인 Anthropic과의 관계를 끊고 있었습니다. 그 직후 피트 헤그세스 국방장관은 다음과 같은 발언을 했습니다. 국가보안법 Amodei가 Anthropic의 기술을 미국 시민에 대한 대량 감시나 인간의 개입 없이 표적을 선택하고 살해할 수 있는 자율 무장 드론에 사용하는 것을 거부한 후 회사가 국방부와 거래하는 것을 블랙리스트에 올렸습니다.
그것은 놀라운 사건의 연속이었습니다. Anthropic은 최대 2억 달러 규모의 계약을 잃을 위험에 처해 있으며 Trump 대통령이 Truth Social에 모든 연방 기관에 “모든 Anthropic 기술 사용을 즉시 중단”하라고 명령한 후 다른 방산업체와의 협력이 금지될 수 있습니다. (Anthropic은 그 이후로 이렇게 말했습니다. 법정에서 국방부에 이의를 제기하다.)
Max Tegmark는 더욱 강력한 AI 시스템을 구축하기 위한 경쟁이 전 세계의 AI 시스템 관리 능력을 앞지르고 있다고 경고하면서 10년의 대부분을 보냈습니다. MIT 물리학자가 설립한 미래생명연구소 2014년과 2023년에 그는 조직을 도왔습니다. 공개 서한 – 결국 Elon Musk를 포함하여 33,000명이 넘는 사람들이 서명하여 고급 AI 개발을 중단할 것을 촉구했습니다.
인류 위기에 대한 비전은 냉혹합니다. 경쟁사와 마찬가지로 회사도 상황의 씨앗을 뿌렸습니다. Tegmark의 주장은 국방부가 아니라 몇 년 전에 내린 결정, 즉 규제에 저항하기 위해 업계 전반에 걸쳐 공유된 선택에서 시작됩니다. Anthropic, OpenAI, Google DeepMind 등은 오랫동안 책임감 있게 통치하겠다고 약속해 왔습니다. 이번 주 Anthropic은 심지어 보안 약속의 핵심 원칙 – 회사가 해를 끼치지 않을 것이라고 확신할 때까지 점점 더 강력한 AI 시스템을 출시하지 않겠다는 그의 약속.
이제 규칙이 없으면 이러한 플레이어를 보호할 수 있는 방법이 많지 않다고 Tegmark는 말합니다. 길이와 명확성을 위해 편집된 해당 인터뷰의 추가 정보는 다음과 같습니다. 다음 주 TechCrunch에서 전체 대화를 들을 수 있습니다. 엄격하게 VC 다운로드 팟캐스트.
조금 전 Anthropic에 관한 이 뉴스를 봤을 때, 당신의 첫 반응은 어땠나요?
지옥으로 가는 길은 선의로 포장되어 있다. 10년 전 사람들이 암을 치료하고, 미국의 번영을 늘리고, 미국을 더욱 강하게 만들기 위해 인공 지능을 어떻게 만들 것인지에 대해 사람들이 매우 열광했던 때를 생각해 보면 매우 흥미롭습니다. 그리고 지금 우리는 미국 정부가 미국인에 대한 국내 대량 감시에 AI가 사용되는 것을 원하지 않고 인간의 개입 없이 자동으로 누가 죽을지 결정할 수 있는 킬러 로봇을 원하지 않는다는 이유로 이 회사에 분노하고 있습니다.
기술행사
캘리포니아 주 샌프란시스코
|
2026년 10월 13~15일
Anthropic은 보안 우선 AI 회사가 되는 데 전체 정체성을 걸었지만 국방 및 정보 기관과 협력하고 있었습니다. [dating back to at least 2024]. 전혀 모순적이라고 생각하시나요?
모순적입니다. 이에 대해 약간 냉소적으로 볼 수 있다면, 그렇습니다. Anthropic은 보안과 관련된 마케팅 자체를 매우 잘 해왔습니다. 그러나 주장 대신 사실을 실제로 살펴보면 Anthropic, OpenAI, Google DeepMind 및 xAI가 모두 보안에 대해 어떻게 생각하는지에 대해 많이 이야기했다는 것을 알 수 있습니다. 그 중 우리가 다른 산업에서 했던 것처럼 구속력 있는 안전 규정을 지지하는 내용은 나오지 않았습니다. 그리고 이 네 회사는 자신들의 약속을 어겼습니다. 먼저 우리는 “사악하게 굴지 말라”라는 위대한 슬로건을 가진 구글을 가지고 있었습니다. 그런 다음 그들은 그것을 중단했습니다. 그런 다음 그들은 기본적으로 AI에 해를 끼치지 않겠다고 약속했다는 또 다른 장기 약속을 포기했습니다. 그들은 AI를 감시와 무기용으로 팔기 위해 그곳을 떠났습니다. OpenAI는 방금 사명 선언문에서 보안이라는 단어를 삭제했습니다. xAI는 보안팀 전체를 폐쇄했습니다. 그리고 이번 주 초 Anthropic은 가장 중요한 보안 약속, 즉 해를 끼치지 않을 것이라고 확신할 때까지 강력한 인공 지능 시스템을 출시하지 않겠다는 약속을 포기했습니다.
그렇게 중요한 보안 약속을 한 기업이 어떻게 이런 위치에 있게 되었습니까?
이 모든 회사, 특히 OpenAI와 Google DeepMind는 물론 Anthropic도 어느 정도는 AI 규제에 대해 지속적으로 로비 활동을 해왔습니다. “우리를 믿으십시오. 우리는 스스로 규제할 것입니다.” 그리고 그들은 성공적으로 압박을 가했습니다. 이제 미국에서는 샌드위치보다 인공지능 시스템에 대한 규제가 덜합니다. 당신이 샌드위치 가게를 열고 싶어하는데 위생 검사관이 주방에서 15마리의 쥐를 발견하면 당신이 그것을 고칠 때까지 샌드위치를 팔지 못하게 할 것입니다. 하지만 “걱정하지 마세요. 저는 샌드위치를 팔지 않을 거에요. AI 신부를 11세 아이들에게 팔 거에요. 그 아이들은 과거에 자살과 연루된 적도 있고, 그런 다음 미국 정부를 전복시킬 수 있는 초지능이라는 것을 발표할 거에요. 하지만 저는 제 것에 대해 좋은 예감을 갖고 있어요.”라고 말하면 검사관은 “좋아, 계속하세요. 하지만 샌드위치는 팔지 마세요.”라고 말해야 합니다.
식품 안전 규정은 있고 AI 규정은 없습니다.
그리고 저는 이 모든 회사들이 이에 대한 책임을 공유하고 있다고 생각합니다. 만약 그들이 옛날에 했던 약속을 모두 받아들여 어떻게 하면 그렇게 안전하고 좋을 것인지 함께 뭉쳐서 정부에 가서 ‘우리의 자발적인 약속을 받아들여 가장 부주의한 경쟁자까지 구속하는 미국 법률로 바꿔주세요’라고 말했다면 이런 일이 일어났을 것이기 때문입니다. 오히려 우리는 완전한 규제 공백 상태에 있습니다. 그리고 우리는 기업에 대한 전면적인 사면이 있을 때 무슨 일이 일어나는지 알고 있습니다. 탈리도마이드아이들에게 담배를 권하는 담배회사도 있고, 폐암을 유발하는 석면도 있습니다. 따라서 AI와 관련하여 무엇이 옳고 무엇이 옳지 않은지를 규정하는 법률에 대한 그들 자신의 저항이 이제 다시 돌아와 그들에게 영향을 미치고 있다는 것은 다소 아이러니합니다.
현재 미국인을 죽이기 위한 AI 생성을 금지하는 법이 없기 때문에 정부가 갑자기 요청할 수 있다. 기업 스스로가 좀 더 일찍 나서서 ‘우리는 이 법을 원한다’고 했다면 이런 곤경에 빠지지는 않았을 것이다. 그들은 정말로 발에 총을 쐈습니다.
기업의 반론은 항상 중국과의 경쟁이다. 미국 기업이 이렇게 하지 않으면 중국은 그렇게 할 것이다. 그 주장은 유효합니까?
그것을 분석해 봅시다. AI 기업의 로비스트들(그들은 현재 화석 연료 산업, 제약 산업, 군산복합체의 로비스트보다 더 많은 자금을 지원받고 숫자도 더 많음) 사이에서 가장 흔히 말하는 점은 누군가가 어떤 종류의 규제를 제안할 때마다 그들은 “하지만 중국”이라고 말한다는 것입니다. 그럼 그것을 살펴보겠습니다. 중국은 AI 신부를 전면 금지하는 중이다. 연령 제한뿐만 아니라 금지도 고려하고 있습니다. 모든 의인화된 AI. 왜냐하면? 미국을 기쁘게 하고 싶어서가 아니라 이것이 중국 젊은이들을 망치고 중국을 약화시키고 있다고 느끼기 때문입니다. 분명히 이것은 또한 미국 청소년을 약화시키고 있습니다.
그리고 사람들이 중국을 이길 수 있도록 초지능을 구축하기 위해 경쟁해야 한다고 말할 때 실제로 우리는 초지능을 제어하는 방법을 모르므로 기본 결과는 인류가 외계 기계에게 지구의 통제권을 잃는 것입니다. 중국 공산당은 통제를 정말 좋아합니다. 제정신으로 누가 시진핑이 중국 정부를 전복시킬 무언가를 만드는 중국 인공지능 회사를 용인할 것이라고 생각합니까? 절대로. 분명히, 초지능을 구축한 최초의 미국 회사에 의한 쿠데타로 미국 정부가 전복된다면 그것은 또한 미국 정부에게도 매우 나쁜 일이 될 것입니다. 이는 국가 안보에 위협이 됩니다.
초지능은 자산이 아니라 국가 안보 위협이라는 강력한 프레임워크입니다. 그러한 견해가 워싱턴에서 확고해지고 있다고 생각하십니까?
국가 안보 커뮤니티에 있는 사람들이 다리오 아모데이(Dario Amodei)가 자신의 비전을 설명하는 것을 들으면(그는 곧 우리가 데이터센터 천재들의 나라 — ‘잠깐, 다리오가 방금 국가라는 단어를 사용했나요?’라고 생각하기 시작할 수도 있습니다. 아마도 그 천재들의 나라를 내가 관찰하고 있는 동일한 위협 목록에 있는 데이터 센터에 넣어야 할 것입니다. 왜냐하면 그것이 미국 정부에 위협적으로 들리기 때문입니다. 그리고 나는 곧 미국 국가 안보 공동체의 많은 사람들이 통제할 수 없는 초지능이 도구가 아니라 위협이라는 것을 깨닫게 될 것이라고 생각합니다. 이것은 냉전과 완전히 유사합니다. 소련을 상대로 패권(경제적, 군사적)을 놓고 경쟁이 벌어졌습니다. 우리 미국인들은 누가 다른 초강대국에 가장 많은 핵 분화구를 놓을 수 있는지 알아보는 두 번째 경주에도 참여하지 않고 그 경주에서 승리했습니다. 사람들은 이것이 단지 자살이라는 것을 깨달았습니다. 아무도 이기지 못합니다. 여기에도 동일한 논리가 적용됩니다.
이 모든 것이 AI 개발 속도에 대해 보다 일반적으로 무엇을 의미합니까? 그리고 당신이 설명하는 시스템에 우리가 얼마나 가깝다고 생각하시나요?
6년 전, 내가 만난 거의 모든 AI 전문가는 인간 수준의 언어와 지식을 습득할 수 있는 AI가 등장하려면 수십 년이 걸릴 것이라고 예측했습니다. 아마도 2040년, 어쩌면 2050년일 것입니다. 우리는 이미 그것을 갖고 있기 때문에 모두 틀렸습니다. 우리는 AI가 고등학교 수준에서 대학 수준으로, 박사 수준을 거쳐 일부 분야에서는 대학 교수 수준으로 매우 빠르게 발전하는 것을 보았습니다. 지난해 인간의 과제만큼 어려운 국제수학올림피아드에서 AI가 금메달을 땄다. 에야디야 기사를 썼다 함께 조슈아 벤지오, 다니엘 헨드릭스불과 몇 달 전에 다른 주요 AI 연구자들은 AGI에 대한 엄격한 정의를 내렸습니다. 이에 따르면 GPT-4는 27% 정도 진행됐다. GPT-5는 57%였습니다. 아직 거기까지 도달하지는 못했지만 27%에서 57%로 빠르게 증가하면 그리 오래 걸리지 않을 수도 있습니다.
어제 MIT에서 학생들에게 강의할 때, 4년이 걸려도 졸업하면 더 이상 취업이 불가능할 수도 있다고 말했습니다. 확실히 그것을 준비하기 시작하는 것은 너무 이르지 않습니다.
Anthropic은 이제 블랙리스트에 올랐습니다. 다음에 무슨 일이 일어날지 궁금하다. 다른 AI 거대 기업들이 모여서 ‘우리도 이런 짓은 안 할 거야?’라고 말할 것인가? 아니면 xAI 같은 사람이 손을 들고 ‘Anthropic은 그 계약을 원하지 않았으니 우리는 이를 받아들일 것입니다’라고 말합니까? [Editor’s note: Hours after the interview, OpenAI announced its own deal with the Pentagon.]
어젯밤 Sam Altman이 나와서 자신은 Anthropic을 지지하며 동일한 빨간색 선을 가지고 있다고 말했습니다. 그런 말을 할 수 있는 용기에 존경합니다. 우리가 이 인터뷰를 시작했을 때 구글은 아무 말도 하지 않았습니다. 만약 그들이 침묵을 지킨다면 회사로서 엄청나게 당황스러울 것이라고 생각하며, 많은 직원들도 같은 기분을 느낄 것입니다. xAI로부터도 아직 아무 소식도 듣지 못했습니다. 그래서 보는 것이 흥미로울 것입니다. 기본적으로 누구에게나 본연의 모습을 보여줘야 할 때가 있는 것 같아요.
결과가 정말 좋은 버전이 있나요?
네, 그게 제가 정말 이상하게도 낙관적인 이유예요. 여기에 그러한 명백한 대안이 있습니다. 우리가 AI 회사를 다른 회사처럼 대우하기 시작한다면(기업 사면을 없애자), 그들은 매우 강력한 것을 출시하고 독립적인 전문가에게 이를 제어하는 방법을 알고 있음을 입증하기 전에 임상 시험과 같은 작업을 분명히 수행해야 할 것입니다. 그러면 우리는 실존적 불안 없이 AI의 모든 장점을 갖춘 황금시대를 맞이하게 될 것입니다. 그것은 지금 우리가 가고 있는 길이 아닙니다. 하지만 그럴 수도 있습니다.