Campbell Brown은 처음에는 유명한 텔레비전 저널리스트로, 그 다음에는 Facebook의 최초이자 유일한 전담 뉴스 책임자로 정확한 정보를 찾는 데 경력을 바쳤습니다. 이제 그는 AI가 사람들이 정보를 소비하는 방식을 바꾸는 것을 보면서 역사가 반복될 것이라고 위협하고 있습니다. 이번에는 다른 사람이 문제를 해결해주기를 기다리지 않습니다.
당신의 회사, AI 포럼 – 그녀는 최근 샌프란시스코에서 열린 StrictlyVC 저녁에서 TechCrunch의 Tim Fernholz와 논의했습니다. – 그녀가 “고위험 주제”(지정학, 정신 건강, 금융, 채용)라고 부르는 주제, “명확한 예 또는 아니오 대답이 없고 어둡고 미묘하며 복잡한” 주제에서 기초 모델이 어떻게 수행되는지 평가합니다.
세계 최고의 전문가를 찾아 벤치마크를 설계하게 한 뒤 AI 심사위원을 교육해 축소 모델을 평가한다는 아이디어다. Forum AI의 지정학적 업무를 위해 Brown은 Niall Ferguson, Fareed Zakaria, Tony Blinken 전 국무장관, Kevin McCarthy 전 하원의장, 그리고 Obama 행정부에서 사이버 보안을 이끌었던 Anne Neuberger를 영입했습니다. 목표는 AI 심사위원들이 인간 전문가들과 대략 90%의 합의에 도달하도록 하는 것인데, 그녀는 포럼 AI가 도달할 수 있었던 한계점이라고 말했습니다.
브라운은 17개월 전 뉴욕에서 설립된 포럼 AI의 기원을 특정 순간까지 추적합니다. “ChatGPT가 처음 공개적으로 출시되었을 때 나는 Meta에 있었습니다. 그리고 곧 이것이 모든 정보가 흘러가는 깔때기가 될 것이라는 것을 깨달았던 것을 기억합니다. 그리고 그것은 별로 좋지 않습니다.” 그 자신의 아이들에 대한 의미는 그 순간을 거의 실존적인 것처럼 보이게 만들었습니다. “우리가 이 문제를 해결할 방법을 찾지 못한다면 우리 아이들은 정말 바보가 될 것입니다.”라고 그는 회상했습니다.
그녀를 가장 좌절시켰던 것은 정확성이 어느 누구의 우선순위도 아닌 것 같았다는 점이었습니다. 재단의 모델 회사는 “코딩과 수학에 극도로 집중”하는 반면 뉴스와 정보는 더 어렵다고 그는 말했습니다. 그러나 더 어렵다고 해서 선택 사항이 되는 것은 아니라고 그는 주장했다.
실제로 Forum AI가 선두 모델을 평가하기 시작했을 때 그 결과는 그다지 고무적이지 않았습니다. 그는 제미니가 중국 공산당 웹사이트에서 “중국과 아무 관련이 없는 이야기”를 인용한 것을 언급하고 거의 모든 모델에서 좌파 정치적 편견을 지적했습니다. 그는 맥락 부족, 관점 부족, 인정 없는 완고한 주장 등 더 미묘한 결함도 많다고 말했습니다. “갈 길이 멀다”고 그는 말했다. “하지만 결과를 크게 향상시킬 수 있는 매우 간단한 솔루션도 있다고 생각합니다.”
Brown은 Facebook에서 수년 동안 플랫폼이 잘못된 것에 맞춰 최적화할 때 무슨 일이 일어나는지 관찰했습니다. 그는 Fernholz에게 “우리가 시도한 많은 일에서 실패했습니다”라고 말했습니다. 그녀가 만든 사실 확인 프로그램은 더 이상 존재하지 않습니다. 비록 소셜 미디어가 눈을 감았음에도 불구하고 교훈은 참여 최적화가 사회에 끔찍했고 많은 사람들에게 정보를 덜 제공했다는 것입니다.
그들의 희망은 AI가 이러한 악순환을 끊을 수 있다는 것입니다. “지금은 상황이 어느 쪽으로든 진행될 수 있습니다”라고 그는 말했습니다. 회사는 사용자에게 원하는 것을 제공할 수도 있고, “사람들에게 진실되고 정직하며 진실된 것을 제공”할 수도 있습니다. 그는 AI가 진실을 최적화하는 이상적인 버전이 순진해 보일 수도 있다는 점을 인정했습니다. 그러나 그는 이 경우 회사가 동맹이 될 가능성이 낮다고 믿습니다. 신용, 대출, 보험 및 채용 결정에 AI를 사용하는 회사는 책임에 관심을 갖고 “올바르게 최적화하기를 원할 것입니다.”
이러한 기업 요구는 Forum AI가 비즈니스에 투자하는 것이기도 합니다. 하지만 규정 준수에 대한 관심을 일관된 수익으로 전환하는 것은 여전히 어려운 일입니다. 특히 오늘날 시장의 대부분이 여전히 Brown이 부적절하다고 간주하는 체크박스 감사 및 표준화된 벤치마크에 만족하고 있다는 점을 고려하면 더욱 그렇습니다.
그는 규정 준수 환경이 “농담”이라고 말했습니다. 뉴욕시가 AI 감사를 요구하는 최초의 채용 편향법을 통과시켰을 때, 주 감사관은 절반 이상이 적발되지 않은 위반 사항을 발견했습니다. 실제 테스트에는 알려진 시나리오뿐만 아니라 “사람들이 생각하지 못하는 문제에 빠질 수 있는” 극단적인 경우에도 작업하려면 현장 경험이 필요하다고 그는 말했습니다. 그리고 그 작업에는 시간이 걸립니다. “똑똑한 일반주의자들은 그것을 자르지 않을 것이다.”
지난 가을에 회사가 자금을 조달한 Brown 300만 달러 Lerer Hippeau가 감독한 이 작품은 AI 산업의 자아상과 대부분의 사용자 현실 사이의 단절을 설명하는 독특한 위치에 있습니다. “대형 기술 기업의 리더들은 ‘이 기술이 세상을 바꿀 것이다’, ‘당신을 직장에서 쫓아낼 것이다’, ‘암을 치료할 것이다’라고 말합니다.”라고 그는 말했습니다. “그러나 기본적인 질문을 하기 위해 챗봇을 사용하는 일반 사람의 경우 여전히 많은 쓰레기와 잘못된 답변을 듣게 됩니다.”
AI에 대한 신뢰는 매우 낮은 수준이며 많은 경우 회의론이 정당하다고 그녀는 믿습니다. “실리콘 밸리에서는 한 가지 대화가 진행되고 있지만 소비자들 사이에서는 완전히 다른 대화가 진행되고 있습니다.”
당사 기사의 링크를 통해 구매하는 경우, 우리는 소액의 수수료를 받을 수도 있습니다. 이는 당사의 편집 독립성에 영향을 미치지 않습니다.