Kyutai Labs发布开源实时语音合成技术

法国人工智能研究机构Kyutai Labs于7月3日宣布推出其突破性的Kyutai TTS（文本转语音）技术。这一开源解决方案为开发者提供了高效、实时的语音生成系统，具有极低延迟和高质量的音频输出。

技术突破

该系统的突出之处在于能够处理流式文本输入，无需等待完整文本即可开始音频生成。这一特性使其特别适用于虚拟助手或实时字幕系统等实时交互场景。

性能指标展示了令人印象深刻的能力：

• 在单个NVIDIA L40S GPU上处理32个并发请求
• 保持低至350毫秒的延迟
• 生成精确的单词级时间戳以实现与文本同步

语言支持与质量

当前支持的语言包括：

• 英语：词错率(WER)2.82%，说话人相似度77.1%
• 法语：词错率(WER)3.29%，说话人相似度78.7%

该技术克服了传统TTS系统的限制，能够处理超过典型30秒限制的长格式内容，适合有声读物或新闻文章。

架构创新

Kyutai TTS采用延迟流模型(DSM)架构，配合基于Rust的服务器实现高效批量处理。完整套件——包括模型权重——现已在以下平台提供：

• GitHub
• Hugging Face

这种开源方法旨在加速全球语音技术的创新。

关键点：

• 🚀 支持流式文本输入的实时语音合成
• ⏱️ 超低延迟（350毫秒）实现快速响应应用
• 🎯 支持语言的高准确率（WER<3.3%）
• 📜 突破传统TTS系统的长度限制
• 🔓 完全开源的实现现已提供