Block의 새로운 음성 모델은 인간처럼 들립니다.

잭 도시의 블록 출시된 회사의 연구실에서 탄생한 새로운 음성 모델은 현지에서 운영되며 웃음, 멈춤, 울음과 같은 표현으로 으스스한 인간의 소리를 냅니다. 회사는 Dessa라는 모델이 인간의 음성과 단일 NVIDIA GPU에 대해 완전히 훈련되었다고 말했습니다.

Dessa는 전이중 모델입니다. 즉, Dessa와 마찬가지로 동시에 말하고 들을 수 있습니다. 올해 초 출시된 GPT-Live OpenAI 모델. 일반적으로 음성 모델은 지식 검색을 위해 대규모 언어 모델과 결합됩니다. Block은 Dessa의 지식이 그녀가 가지고 있는 대화 데이터에서 나온다고 말했습니다.

Block은 현재 모델이 음성 생성을 구동하는 프로세스에 텍스트를 포함하고 있기 때문에 부자연스럽고 주의가 산만해 보일 수 있다고 말했습니다. 좋아하는 많은 모델 원스랩스 v4 어느 하나 피쉬 오디오 드라마 3 음성 태그를 사용하여 음성 생성 시 감정을 생성합니다. Dorsey의 회사는 자사 모델에 감정이 내장되어 있다고 말합니다. 그 감정이 어떤 종류의 레이블에 의해 주도되고 있는지는 확실하지 않습니다.

“오늘날의 음성 AI와 상호작용하는 것은 정말 짜증날 수 있습니다. 그것은 당신의 목소리를 텍스트로 바꾸고 텍스트만으로는 전달할 수 없는 엄청난 양의 정보를 버립니다. 세계에서 가장 강력한 AI는 당신의 감정을 들을 수 없습니다. 우리는 그것이 우스꽝스럽고 더 나쁜 경험으로 이어지며 잠재적으로 위험하다고 생각합니다”라고 회사는 성명에서 말했습니다. 블로그 게시물.

회사의 연구자들은 Dessa와의 대화에서 에이전트의 목소리, 리듬, 감정이 서로 다른 여러 사례를 발표했습니다. 예를 들어, 대화에서 로봇은 일 때문에 피곤하다고 말했고 그 순간 피곤한 소리를 냈습니다.

다음 예에서 로봇은 사람이 편안하다고 말하면서도 감정적으로 거의 무너질 뻔한 소리를 하고 있었습니다.

또 다른 영상은 블록 팀 구성원이 음성 어시스턴트를 가지고 노는 모습을 보여줍니다.

회사는 이 모델이 MacBook M4 Max 이상과 같은 소비자 컴퓨터에서 로컬로 실행될 수 있다고 말했습니다. 그러나 현재 Dessa에 대한 공개 액세스는 없으며 Block은 보안 연구원에게 모델 테스트를 요청했습니다. 이는 음성 에이전트가 전화 상대방을 속일 수 있는 사례를 증명할 가능성이 높습니다.

블록은 금융 사업을 하고 있으며 중소기업에 솔루션을 판매하고 있습니다. Square는 이미 사용 중입니다. 주문을 관리하는 음성 AI. 그러나 장치에서 실행할 수 있는 자체 음성 모델을 사용하면 더 저렴한 비용으로 더 많은 비즈니스 및 소비자 경험을 제공할 수 있습니다.