Skip to main content

英伟达新模型Nemotron 3.5:8人同时说话也能精准转写

英伟达最近又放了个大招——开源了全新的语音转写模型Nemotron 3.5 Transcribe。这个模型瞄准的是专业语音处理场景,在多语言转写准确率、长音频处理和多说话人分离这些核心指标上,都拿出了行业领先的水平。

架构与性能:MoE加持,效率与能力兼得

模型采用了混合专家(MoE)架构,总参数约340亿,但每次前向传播只激活43亿参数。这样一来,推理能力足够强,运行效率也没落下。音频处理方面,它单次就能处理长达1小时的连续录音文件,像会议记录、访谈节目这类长音频的转写需求,基本可以轻松应对。

多语言与说话人分离:全球适用,嘈杂场景也不怕

在多语言支持上,Nemotron 3.5 Transcribe覆盖了多达40种语言的准确语音转写,其中31种还能和英语进行双向翻译。跨境沟通、多语言内容处理这些场景,一下子就有了更趁手的工具。更值得一提的是,它针对多人对话这个语音识别里的老难题做了优化——最多能同时区分8个不同的说话人,并实时完成说话人归属。想象一下,8个人七嘴八舌的场景,它也能理出头绪。

基准测试:成绩单相当漂亮

在权威评测中,这个模型的表现也很抢眼。Open ASR英语评测里,它的平均词错误率(WER)低至5.33%,在同类开源模型中排名第一。而在Artificial Analysis的非流式测试中,词错误率更是降到了2.8%,并列开源排行榜首位。

关键点

  • 开源模型:英伟达Nemotron 3.5 Transcribe,面向专业语音处理。
  • 高效架构:MoE设计,总参数340亿,激活参数43亿。
  • 长音频支持:单次处理1小时录音。
  • 多语言能力:40种语言转写,31种与英语互译。
  • 说话人分离:最多区分8个说话人,实时归属。
  • 基准表现:Open ASR词错误率5.33%排名第一;Artificial Analysis词错误率2.8%并列第一。

总的来说,Nemotron 3.5 Transcribe凭借大参数规模、出色的抗干扰分离能力和多语言表现,为全球开发者和语音技术生态提供了一个强大的新基础。