AI 업계의 최근 무서운 경고 뒤에는 무엇이 있을까?

AI 산업은 자사의 기술이 인류에게 실존적 위협을 가하는지 여부를 두고 역대 가장 큰 논쟁을 벌이고 있는 것으로 보인다.

현재 논의는 다음 이후에 시작되었습니다. AI 연구원 제이콥 콕슨(Jacob Coxon)이 앤트로픽(Anthropic)에서 사임했다고 밝혔다. 그는 주요 AI 기업이 ‘우리 목숨을 가지고 장난하고 있다’고 걱정하기 때문이다. 그러자 Anthropic의 라인업 리더가 개입했습니다. 라고 적힌 게시물“우리는 AI가 모든 인간을 죽일 수 있다고 진심으로 믿습니다!” 그리고 그는 개인적으로 그 확률이 ​​“향후 10년 안에 >10%”라고 믿는다고 덧붙였습니다.

의 마지막 에피소드에서는 TechCrunch 주식 팟캐스트Kirsten Korosec, Sean O’Kane과 저는 최신 종말론적 경고에 대해 논의합니다. Kirsten이 이것이 “회사의 AI 모델이 얼마나 발전했는지 보여주는 이상한 방법”인지 물었을 때, 특히 이러한 회사가 상장을 준비할 때 많은 운명론적 AI 이야기에 회의적인 이유를 설명하려고 했습니다.

그리고 Sean은 이러한 우려가 Anthropic의 IPO S-1 서류에 어떻게 나타날지 궁금해했습니다. “지금 젊은 변호사들이 ‘모든 인류를 근절하고 우리 사업에 실질적으로 나쁜 것을 개발할 수 있는 가능성이 10% 이상이라는 것이 Anthropic의 공식 입장입니다’라고 말하기 위해 S-1 서류의 전체 섹션을 다시 작성해야 하는 걸까요?”

길이와 명확성을 위해 편집된 대화의 미리보기를 읽어보세요. (참고: 우리는 Anthropic CEO Dario Amodei 이전에 이 에피소드를 녹화했습니다. AI의 보다 신중한 개발 계획을 발표했습니다..)

션 오케인: 너무 빨리 터진 일을 생각하기가 어렵습니다. 이 경고 장면은 OpenAI에서 근무한 젊은 연구원이 찍은 것뿐만 아니라 느낌표에도 즉시 공유되었습니다!

정말 이상한 분위기입니다. 그것은 이미 복잡한 게시물이나 일련의 게시물에 대한 엄청난 액셀러레이터였습니다. OpenAI 내부 모델의 Hugging Face 해킹과 몇 주 전에 Anthropic에서 출시한 최신 모델과 현재 Astra를 갖춘 OpenAI에서 볼 수 있는 향상된 기능에 더해, 저는 이것이 이 젊은 연구원에게 화약통이 되기에 완벽한 시기라고 생각합니다.

안토니오 하: 당신의 의견에 동의하지 않는다면, AI가 인류 전체를 파괴할 수 있다고 생각한다면 감탄할 만한 가치가 있다고 생각합니다. 나는 그것이 완벽하게 사용되는 느낌표라고 말하고 싶습니다!

그 트윗에 대한 내 문제는 “우리”에 더 가깝습니다. 여기서 “우리”는 누구입니까? 일종의 AI 커뮤니티, AI 연구 커뮤니티를 하나의 덩어리로 어디까지 이야기할 수 있을까? 그리고 10%보다 큰 확률은 단지 꾸며낸 숫자일 뿐 아무 의미도 없습니다. 때때로 [there is] 기술 산업과 다른 곳에서 이러한 비율을 버리는 이러한 습관은 어떤 것에 기초하지도 않고 어떤 것에 기초하여 계산되지도 않습니다. [In retrospect, I realize the tweet was probably referencing the concept of P(doom), but I still think it’s silly.]

Coxon의 진술과 결정에 대해 제가 말씀드리고 싶은 한 가지는 형평성에는 반복되는 주제가 있다는 것입니다. Sam Altman이나 Dario Amodei와 같은 사람이 운명론적인 이야기를 할 때 항상 다음과 같은 요소가 있다는 것입니다. 좋아요, 그런데 지금 하는 일을 왜 하는 거죠? 당신이 정말로 그 말을 믿는다면 [AI could destroy humanity]당신은 이 일을 계속하지 않을 것입니다.

[Whereas] 실제로 이 사람은 자신의 직업적 배경을 말하는 사람입니다. 당신은 실제로 “내 생각에는 이것이 매우 매우 나쁘다고 생각하며 더 이상 작업하고 싶지 않습니다.”라고 말하고 있는 것입니다. 그리고 적어도 그렇게 할 수 있는 용기를 갖게 된 것을 축하합니다.

커스틴 코로섹: 예, 저는 그것을 그렇게 말하고 위험에 대해 이야기하는 다른 모든 사람들과 별개의 분야에 두었습니다.

저는 여러분에게 두 가지 질문을 하고 싶기 때문에 추측에 가까운 모자를 쓸 것입니다. AI 에이전트 중 한 명이 실수로 침입한 또 다른 사건에 대한 블로그 게시물의 수가 늘어나거나 인류가 얼마나 위험에 처해 있는지에 대해 이야기할 때마다 이것이 귀사의 AI 모델이 얼마나 발전했는지 보여주는 이상한 방법이 될 수 있습니까?

내 말은, 그것은 매우 냉소적으로 들리지만 그 목적을 달성합니다. 즉, 만약 이러한 AI 모델이 발전하지도, 능력도, 혁신적이지도 않다면 우리는 이런 것들에 대해 걱정할 필요가 없을 것입니다. 그렇죠? 자신의 회사 내에서 만든 모델의 기능을 자랑하는 아주 이상한 방법과 같습니다.

안토니오: 나는 이것이 확실히 궁금했습니다. 나는 그것이 전반적으로 매우 의식적인 마케팅 전략이라고 생각하지 않는다는 점에서 완전히 냉소적이라고 생각하지 않습니다. 내 생각에 이러한 많은 사람들(연구원이든 CEO이든)이 그것에 대해 이야기할 때 그들은 정말로 우려를 느끼는 것 같습니다.

그러나 물론 그것은 일치합니다 [their] 여러 면에서 상업적인 이익을 얻으려면 “와, 우리는 지금까지 만들어진 것 중 가장 치명적인 소프트웨어를 만들었습니다.”라고 말할 수 있습니다. 나는 여기서 너무 정신분석적인 입장을 취하고 싶지 않지만 다른 사람들은 개인적 차원에서 다음과 같은 유혹이 있다고 지적했습니다. 물론 당신은 자신이 하고 있는 일이 세상에서 가장 중요하고 위험한 일이라고 믿고 싶어합니다.

BE: 그 질문에 대해 생각할 때 떠오르는 것은 확실히 “좋아, 우리는 매우 유능하고 여러 가지 관점에서 나쁘게 보일지라도 어떤 면에서는 우리에게 좋은 이 일을 하고 있다”라고 생각하게 만드는 요소가 있다는 것입니다.

최근 사례 중 일부와 다른 점은 이러한 회사가 특정 방식으로, 특히 OpenAI와 관련하여 이러한 사항을 제어할 수 없다는 느낌을 받는다는 것입니다.

우리는 다른 것에 대한 점점 더 많은 보고서를 계속해서 보고 있습니다. 웹에서 다른 위키에 액세스한 내부 에이전트 OpenAI가 능숙하게 처리하는 것처럼 보이지 않는 방식으로 서로에게 메시지를 남깁니다. 순전히 사람들이 “맙소사, 그들은 정말 놀라운 일을 해냈다”고 믿게 만드는 것이라면 이야기가 좀 더 세련되었을 것이라고 생각합니다.

제가 생각하기에 이것에 대해 정말 매력적이라고 ​​생각하는 또 다른 점은 특히, [is] 우리는 Anthropic의 IPO에 대한 S-1 제출을 볼 때까지 최대 몇 주 남았고, 잠재적인 IPO까지 몇 주 또는 몇 달 밖에 남지 않았습니다.

그리고 IPO 전에 당신이 나와서 명확한 언어로 이런 말을 한다는 생각이 그 과정에 어떤 의미인지 매우 관심이 있습니다. S-1에 이미 이러한 유형의 내용을 얼마나 작성했는지, 해당 문서에는 위험 요소가 포함되어 있습니까? 지금 겪고 있는 젊은 변호사들이 S-1 서류의 전체 섹션을 다시 작성하여 “모든 인류를 근절하고 우리 사업에 실질적으로 나쁜 것을 개발할 수 있는 가능성이 10% 이상이라는 것이 Anthropic의 공식 입장입니다”라고 말해야 합니까?

커스틴: 아직 거기에 없다고 가정하고 있습니다.

BE: 그러나 그것이 내가 말하는 것입니다. 이미 거기에 있고 재구성되고 있습니까? 아니면 이것이 진정한 투쟁인가? 거기에는 언어가 있었을 것입니다. 이것이 제가 어떤 면에서는 SpaceX보다 훨씬 더 발전된 방식으로 이 문서를 읽기를 기대하는 이유 중 하나입니다. [S-1]왜냐하면 나는 아마도 이러한 아이디어와 관련하여 흥미로울 만한 것들이 있을 것이라고 확신하기 때문입니다.

커스틴: 문제는 다음과 같습니다. 전통적인 투자 환경에서는 이와 같은 언어가 갑자기 위험해지기 때문에 회사의 가치를 손상시킬 것이라고 믿을 수도 있습니다. 하지만 우리는 평범한 시대에 살고 있지 않습니다.

그리고 다시 제 요점으로 돌아가면, 이는 가치 평가 측면에서 회사에 이상하고 유익한 유연성이 될 수 있습니다. 작년에 보았던 분노를 유발하는 추세 전체와 동일하지는 않지만, 예를 들어 무언가의 힘, 능력, 심지어 위험 요소까지 높은 등급과 동일하게 나타나는 동일한 세계에 있습니다. 그래서 우리는 몇 주 후에 볼 수 있을 것 같습니다.

잠시 제쳐두고, 그것에 대해 어떤 조치가 취해지고 있습니까? 그리고 우리가 이것을 통제할 수 있나요? ControlAI라는 비영리 단체의 미국 CEO인 Connor Leahy는 이번주에 방송에 나왔는데이것에 대해 이야기하고 있습니다. 그렇다면 AI의 위험한 측면을 제어하는 ​​방법과 관련하여 그들은 무엇에 주의를 기울이고 있습니까? 아니면 우리는 손을 뻗어 그것이 어떻게 진행되는지 지켜보고 있습니까?

안토니오: 나 자신도 이에 대해 반드시 좋은 대답을 갖고 있는 것은 아니지만, 이 논쟁의 몇 가지 측면과 아마도 내가 왜 그렇게 반응하는지에 대해 생각해 왔습니다.

Sean의 요점 중 하나를 반영하자면, 이것이 말하는 것 중 일부는 이러한 주요 AI 회사가 더 이상 이러한 모델을 통제할 수 없다고 느끼는 정도라고 생각합니다. 확실히 멋지지 않습니다. 그것은 우리 모두가 걱정해야 할 것입니다.

제가 운명론적 서술에 회의적이거나 저항하는 이유 중 하나는 그것이 “와, 앞으로 10년 안에 인류를 멸망시킬 수 있다”는 히스테리 수준에 도달하기 때문이라고 생각합니다. 이는 업무, 환경, 기후와 관련하여 AI가 가질 수 있는 보다 즉각적인 피해로부터 약간의 방해가 됩니다.

이상적으로는 우리가 이 모든 것에 대해 논의하고 이 모든 것에 대해 규제 및 기타 보호 장치를 마련할 수 있어야 한다고 생각합니다. [including AI’s existential threat]. 하지만 일단 AGI나 초지능과 같은 문구를 사용하기 시작하면 그다지 유용하지 않은 방식으로 방의 모든 산소를 빨아들일 뿐입니다.