Block 新语音模型听起来逼真得令人不安

英文原标题：Block’s new voice model sounds eerily human

本文为英文原文的机器翻译摘要，原文见：TechCrunch AI ↗

• Jack Dorsey 旗下 Block 的研究实验室发布语音模型 Dessa，可在本地运行，能表现笑声、停顿、哭泣等类人表达。
• Dessa 为全双工模型，可同时说话和倾听，类似 OpenAI 今年早些时候发布的 GPT-Live；其知识来自对话数据，而非搭配大语言模型。
• Block 称现有语音模型因文本管线驱动而显得不自然，ElevenLabs v4 或 Fish Audio Drama 3 等依赖语音标签驱动情感，而 Dessa 将情感内置于模型，但尚不清楚是否仍受某种标签控制。
• Dessa 完全基于人类语音训练，可在单块 NVIDIA GPU 上运行，也能在 MacBook M4 Max 或更高配置的消费级电脑本地运行。
• 目前 Dessa 未公开访问，Block 呼吁安全研究人员测试，以检验语音代理可能欺骗他人的场景；Block 旗下 Square 已用语音 AI 处理点餐，自研端侧模型有望以更低成本支持更多商业和消费体验。

关键数据

• 模型名称为 Dessa，由 Block 研究实验室发布。
• 训练完全基于人类语音，可在单块 NVIDIA GPU 上运行。
• 可在 MacBook M4 Max 或更高配置的消费级电脑上本地运行。
• 目前无公开访问，Block 呼吁安全研究人员参与测试。

引语

• “This is a GPT3 moment for speech.”

为什么值得看：Dessa 展示了完全基于语音训练、可本地运行的全双工情感语音模型，可能降低语音 AI 成本并拓展 Block 在商业和消费场景中的应用，同时其安全性仍待验证。