跳转到主要内容

NVIDIA新语音模型可同时处理8个声音

NVIDIA新语音模型可同时处理8个声音

NVIDIA悄然发布了一款全新的开源语音转录模型，实力强劲。该模型名为Nemotron 3.5 Transcribe，专为专业场景打造——例如会议纪要、访谈和多语言内容——凭借分离多位说话人和处理长录音的能力，它已迅速引发关注。

技术内核

该模型采用混合专家（MoE）架构，总参数量高达340亿，但每次前向传播仅激活43亿参数。这意味着它既强大又高效——无需超级计算机即可运行。而且它能单次处理长达一小时的连续音频，你可以直接把那场马拉松式的董事会会议丢给它，无需切分成片段。

多语言能力

Nemotron 3.5 Transcribe支持40种语言的转录，并可在其中31种语言与英语之间互译。这对全球团队和内容创作者来说意义重大。但真正的亮点是什么？它能同时区分多达8位不同的说话人——即使他们在互相抢话。你的转录稿中再也不会出现“说话人1”的混乱局面。

数据说话

在Open ASR English基准测试中，它的词错误率（WER）仅为5.33%，在开放权重模型中表现最佳。而在Artificial Analysis的非流式测试中，其词错误率降至2.8%，在开源排行榜上并列第一。这些数字足以让转录爱好者们刮目相看。

所以，如果你厌倦了混乱的会议记录，或不想再花数小时理清多语言录音，NVIDIA的最新力作或许正是你的新帮手。它是开源的，你可以亲自上手体验。

要点：

  • NVIDIA开源Nemotron 3.5 Transcribe，这是一款拥有340亿参数（激活43亿）的语音模型。
  • 单次处理1小时音频，支持40种语言，并可在31种语言与英语之间互译。
  • 可实时分离多达8位说话人，即使语音重叠也能处理。
  • 在Open ASR English上词错误率达5.33%，在Artificial Analysis上达2.8%，领先开源模型。