물리적 AI의 다음 잠금 해제는 뇌파입니까?

물리 AI의 최전선은 캘리포니아주 샌리앤드로의 창고에서 펼쳐지는 젠가(Jenga) 게임이다.

그 창고는 다음 사람이 점유하고 있다. 조각사AI 모델을 훈련하는 데 사용되는 데이터 도구를 만드는 회사입니다. Andrew Ceja는 조종사(로봇 트레이너를 가리키는 회사 용어)이며, 보이는 것을 추적하는 카메라가 장착된 헤드셋을 착용하고 흔들리는 타워에서 나무 블록을 조심스럽게 제거하고 있습니다. 그것만으로도 로봇 훈련 데이터를 수집하는 데 꽤 일반적이지만, 이 헤드셋에는 블록 타워를 조심스럽게 분해할 때 뇌파를 측정하는 센서가 포함되어 있습니다.

Encord는 휴머노이드 및 창고 로봇 공학의 다음 실제 한계가 모델 아키텍처가 아니라 실제 물리적 훈련 데이터의 희소성이 될 것이라고 확신하는 작지만 점점 더 많은 스타트업 중 하나입니다. Encord는 로봇 회사가 보유하고 있는 데이터를 관리하도록 돕는 대신 보유하지 않은 데이터를 제조하는 비즈니스를 구축하고 있습니다.

Ceja가 착용하는 뇌파 헤드셋은 다음과 같이 제작되었습니다. 잰더 연구소두뇌 활동을 측정(오류, 의도, 놀라움과 같은 정신 상태를 추론하기 위해)하면 모델 훈련을 위한 보다 유용한 데이터 세트를 생성할 수 있다고 확신하는 독일의 신경과학 스타트업입니다. Encord의 Zander 작업은 현재 테스트 단계입니다. Encord는 뇌파 레이블이 지정된 초기 데이터 세트를 구축하고 이를 로봇 클라이언트 모델을 통해 실행하며 확장 여부를 결정하기 전에 실제로 성능이 향상되는지 평가하는 것이 목표라고 말합니다.

작업을 감독하는 Zander 신경과학자 Lucas Gehrke는 주어진 작업 중 언제든지 사용되는 뇌 활동의 양이 모델 제작자가 가장 노력하는 모델을 배포해야 할 시기를 결정하려는 단서를 제공한다고 말합니다.

Encord의 로봇 학습 책임자인 Vineeth Velmurugan에 따르면 이는 로봇 데이터 병목 현상을 해결하려는 노력의 “최첨단”입니다. OpenAI 로봇 연구소의 베테랑이자 창고 자동화 회사인 Berkshire Grey의 베테랑인 Velmurugan이 Encord에 합류하여 회사의 내부 데이터 생성 팀을 구성했습니다.

Encord는 컴퓨터 비전 애플리케이션을 구축하는 회사가 데이터에 주석을 달고 모델을 평가할 수 있도록 돕기 위해 설립되었습니다. 그의 고객(Velmurugan은 많은 주요 로봇 회사와 협력하고 있지만 이름을 지정할 권한이 없다고 말합니다)이 로봇 조작 작업에 엔드투엔드 학습을 적용하기 시작하면서 경영진은 단순히 관리하는 것이 아니라 교육 데이터를 직접 생성해야 한다는 것을 깨달았습니다. Velmurugan은 “데이터가 전혀 존재하지 않습니다.”라고 말했습니다.

생성 AI가 챗봇에 했던 것처럼 로봇에게도 할 수 있다는 확신은 계속해서 같은 벽에 부딪히고 있습니다. 자율주행차 회사는 물리적 세계에서 자체적으로 데이터를 수집하지만 규모를 확장하기가 어렵습니다. 비디오를 통한 교육은 효과가 있지만 실제 데이터의 충실도가 부족합니다. Velmurugan은 이를 달성하기 위해 YouTube 비디오 코퍼스 크기의 대략 5배에 달하는 데이터 세트가 필요할 것이라고 말합니다. 이는 데이터 생성 자체가 단순한 연구 문제가 아닌 비즈니스가 된 이유를 설명하는 데 도움이 되는 규모입니다.

자기중심적인 데이터 요구사항을 충족하세요.

로봇 두뇌를 구축하는 회사는 이제 두 가지 주요 소스로 눈을 돌리고 있습니다. 하나는 카메라를 착용한 작업자가 수집한 “자기 중심적” 비디오이며, 종종 추가 카메라 각도 및 기타 측정 항목으로 보강됩니다. 로봇 데이터 원격으로 작동됩니다. Encord는 두 가지 모두를 수행합니다. 전 세계 다양한 공장에서 자기 중심적 데이터를 가져오고 San Leandro 시설을 사용하여 뇌파와 같은 새로운 양식을 실험하거나 특정 능력에 대한 데이터 세트를 수집하여 조정합니다.

TechCrunch가 방문했을 때 조종사는 리더-추종자 팀(한 쌍의 로봇 팔, 인간 조작자가 직접 제어하는 ​​로봇 팔과 그들의 움직임을 모방하는 로봇 팔)을 사용하여 커피 메이커에서 컵에 커피를 붓고(매우 엉성함) 포커 칩을 쌓는 것과 같은 작업에 대한 데이터를 생성하고 있었습니다. Velmurugan은 “모든 휴머노이드 회사가 우리에게 이러한 부품을 요청했습니다.”라고 말했습니다.

보관 선반에는 꽃병, 책, 플라스틱 야채, 고양이 배변 트레이 및 국자, 가방 및 철사 묶음 등 집안일 훈련을 위해 사용할 수 있는 인공 꽃 상자가 들어 있었습니다.

이들 스테이션 중 한 곳에서는 또 다른 조종사인 소피아 인판테(Sofía Infante)가 로봇 팔을 조종하여 서버 뒷면에서 이더넷 케이블을 연결하거나 분리합니다. 이는 로봇만이 필요한 정밀도로 조작할 수 있다면 데이터 센터 운영자가 자동화하고 싶어하는 작업입니다. 컨트롤 뒤로 걸어가면서 왜 ​​그것이 여전히 내 손에 닿지 않는지 알 수 있었습니다. 그리퍼는 인간의 손가락보다 훨씬 덜 민첩하고 우리가 팔에서 당연하게 여기는 자유도가 부족합니다.

Encord가 개발 중인 또 다른 새로운 데이터 방식은 팔뚝에 부착된 센서 세트를 사용하여 근육의 전기 신호를 감지합니다. 인간의 손이 물체를 조작하는 장면을 촬영한 비디오는 일반적으로 손 전체를 캡처하지 못하지만 Velmurugan은 팔의 센서를 기반으로 언제든지 손의 위치를 ​​3D로 표현하여 모델을 보다 확실하게 이해할 수 있기를 희망합니다.

Encord의 데이터 세트에는 LLM 기반 모델이 무슨 일이 일어나고 있는지 이해하는 데 도움이 되도록 각 비디오에 포함된 내용(“오른손으로 조이는 볼트”)에 대한 물리적 설명이 주석으로 추가되어 있습니다. Velmurugan은 이러한 유형의 조밀한 주석이 특정 작업을 훈련하기 위한 “자기 정크 데이터”보다 100배 더 가치가 있고, 종이로 작성하는 데 드는 비용은 20배만 더 높을 뿐이라고 추정합니다.

그러나 “20배 이상”은 여전히 ​​실제 돈이며 이것이 문제입니다. LLM의 제작자가 Stack Overflow 및 나머지 웹에서 모델을 구축한 방식인 인터넷에서 텍스트를 마이닝하는 데는 최첨단 연구실에 드는 비용이 거의 없습니다. 물리적 훈련 데이터의 생성은 그렇지 않으며, 이것이 물리적 AI를 LLM으로 비교하는 한계입니다. 이러한 유형의 데이터는 단순히 수집하는 것이 아니라 제조되어야 하며, 이는 이러한 모델 구축의 경제성을 변화시킵니다.

Velmurugan은 진전이 이루어지고 있다고 말합니다. 업계 전반의 프로그램에 대한 Encord의 가시성을 통해 그는 스타트업과 최첨단 연구소 모두가 물리적 AI 모델을 개선하는 데 효과적인 것과 그렇지 않은 것을 파악하는 것을 볼 수 있습니다. 그러한 관점은 (동시에 많은 로봇 회사들 사이에서) Encord의 연설의 일부이기도 합니다. 단일 고객이 파악하기 전에 어떤 데이터 기술이 업계 전반에 걸쳐 관심을 끌고 있는지 확인할 수 있습니다.

그러면 Encord 시설의 조종사 12명이 바쁘게 지내게 될 것입니다. Infante와 Ceja는 둘 다 신경망의 빌딩 블록을 개발하는 인력 증가의 일부입니다. 이들은 Encord에 합류하기 전 또 다른 AI 데이터 주석 회사인 Scale에서 근무했습니다.

Ceja는 폐기물 관리 회사에서 근무하다가 기술에 대한 관심으로 인해 로봇 쓰레기 분류기를 양호한 상태로 유지하는 일을 맡게 되었습니다. 이제 Jenga 타워가 무너지자 그는 로봇 훈련 과제를 해결하는 도전을 즐긴다고 말합니다. “매일 새로운 일이에요!”