NVIDIA的Nemotron-3 Embed系列在检索基准测试中夺冠

NVIDIA刚刚发布了其新的Nemotron-3 Embed系列嵌入模型，其中8B版本已经在RTEB检索基准测试中夺冠，引起了广泛关注。这些模型专为实际任务设计，如RAG（检索增强生成）、智能问答、代码检索，甚至智能体记忆。

该系列提供三种版本：Nemotron-3-Embed-8B-BF16（最大精度）、Nemotron-3-Embed-1B-BF16（轻量级选项）和Nemotron-3-Embed-1B-NVFP4（专为NVIDIA Blackwell架构定制的4位版本）。所有模型均采用具有双向注意力掩码的Transformer编码器，支持最多32,768个令牌，并支持34种语言。它们以OpenMDW-1.1许可证开源。8B模型基于Mistral的Ministral-3-8B-Instruct-2512，而1B变体源自Ministral-3-3B-Instruct-2512。

在包含16个公共任务的RTEB基准测试中，8B-BF16版本的平均NDCG@10得分为78.46，足以占据榜首。1B-BF16版本得分为72.38，比之前的llama-nemotron-embed-vl-1b-v2基线提高了10.4个百分点。至于1B-NVFP4，与BF16版本相比仅损失了0.38分，这意味着它在Blackwell硬件上保留了99.5%的精度，同时吞吐量翻倍。

NVIDIA是如何从3B基础模型压缩出1B模型的？他们使用了压缩而非从头训练。团队首先通过神经架构搜索将3B模型剪枝至2B，然后使用余弦距离和均方误差损失从微调后的8B教师模型中蒸馏知识，迭代至1.14B参数。对于NVFP4版本，他们添加了量化感知蒸馏，使用512个校准样本和20,000个训练样本恢复精度，特别是针对长输入。

在部署方面，8B和1B BF16版本可与Transformers和Sentence Transformers配合使用，而1B-NVFP4仅支持vLLM的嵌入接口。NVFP4模型可在Ampere、Hopper、Lovelace和Blackwell上运行，而BF16版本针对Ampere、Hopper和Blackwell。NVIDIA还发布了基于Rust构建的1B模型NIM微服务，在GB200和RTX PRO6000上性能与vLLM相当或更优。

这些模型能做什么？它们非常适合多语言企业搜索、代码检索（在SWE-bench等数据集上训练）和智能体记忆（得益于32K令牌上下文）。对于成本敏感的场景，NVIDIA建议采用分层RAG策略：使用1B-NVFP4进行高容量召回，使用8B处理困难查询。

NVIDIA还提供了使用Sentence Transformers进行本地推理和使用vLLM进行服务端部署的代码示例。只需在查询前加上query:，在文档前加上passage:，经过L2归一化后，嵌入的点积等于余弦相似度。

关键点

• 顶级基准性能：8B模型以78.46 NDCG@10在RTEB中领先。
• 三个版本：8B BF16、1B BF16和1B NVFP4（针对Blackwell的4位版本）。
• 压缩技术：1B模型通过剪枝和蒸馏从3B基础模型派生。
• 广泛语言支持：34种语言，32K令牌上下文。
• 实际应用：RAG、代码检索、智能体记忆、多语言搜索。