英伟达新模型Nemotron 3.5:8人同时说话也能精准转写
英伟达最近又放了个大招——开源了全新的语音转写模型Nemotron 3.5 Transcribe。这个模型瞄准的是专业语音处理场景,在多语言转写准确率、长音频处理和多说话人分离这些核心指标上,都拿出了行业领先的水平。
架构与性能:MoE加持,效率与能力兼得
模型采用了混合专家(MoE)架构,总参数约340亿,但每次前向传播只激活43亿参数。这样一来,推理能力足够强,运行效率也没落下。音频处理方面,它单次就能处理长达1小时的连续录音文件,像会议记录、访谈节目这类长音频的转写需求,基本可以轻松应对。
多语言与说话人分离:全球适用,嘈杂场景也不怕
在多语言支持上,Nemotron 3.5 Transcribe覆盖了多达40种语言的准确语音转写,其中31种还能和英语进行双向翻译。跨境沟通、多语言内容处理这些场景,一下子就有了更趁手的工具。更值得一提的是,它针对多人对话这个语音识别里的老难题做了优化——最多能同时区分8个不同的说话人,并实时完成说话人归属。想象一下,8个人七嘴八舌的场景,它也能理出头绪。
基准测试:成绩单相当漂亮
在权威评测中,这个模型的表现也很抢眼。Open ASR英语评测里,它的平均词错误率(WER)低至5.33%,在同类开源模型中排名第一。而在Artificial Analysis的非流式测试中,词错误率更是降到了2.8%,并列开源排行榜首位。
关键点
- 开源模型:英伟达Nemotron 3.5 Transcribe,面向专业语音处理。
- 高效架构:MoE设计,总参数340亿,激活参数43亿。
- 长音频支持:单次处理1小时录音。
- 多语言能力:40种语言转写,31种与英语互译。
- 说话人分离:最多区分8个说话人,实时归属。
- 基准表现:Open ASR词错误率5.33%排名第一;Artificial Analysis词错误率2.8%并列第一。
总的来说,Nemotron 3.5 Transcribe凭借大参数规模、出色的抗干扰分离能力和多语言表现,为全球开发者和语音技术生态提供了一个强大的新基础。