NVIDIA新Nemotron嵌入模型登顶检索基准

NVIDIA刚刚推出了名为Nemotron-3-Embed的新嵌入模型系列，其中最大的版本已经引起了广泛关注。8B版本在RTEB检索基准测试中夺得榜首，这是一项广泛用于搜索和检索任务的测试。

这些模型专为实际应用而构建，如RAG（检索增强生成）、智能问答、代码搜索甚至智能体记忆。可以将其视为快速找到正确信息的大脑。

三种版本可选

NVIDIA发布了三个版本：

• Nemotron-3-Embed-8B-BF16 – 重型版本，专注于精度。
• Nemotron-3-Embed-1B-BF16 – 更轻、更快的选项。
• Nemotron-3-Embed-1B-NVFP4 – 针对NVIDIA Blackwell架构优化的4位版本。

三者均为具有双向注意力掩码的Transformer编码器。它们每个输入最多处理32,768个token，并支持34种语言。这些模型在OpenMDW-1.1许可证下开源，因此开发者可以深入研究。

性能表现

在RTEB基准测试的16个公共任务中，8B-BF16模型平均NDCG@10得分为78.46，位列第一。1B-BF16版本得分为72.38，比之前的llama-nemotron-embed-vl-1b-v2基线高出10.4分。而NVFP4版本相比其BF16兄弟版本仅损失0.38分，在Blackwell硬件上保持99.5%精度的同时吞吐量翻倍。

巧妙的模型构建

1B模型并非从头训练。团队使用NVIDIA ModelOpt的神经架构搜索将3B基础模型剪枝至2B，然后通过余弦距离和均方误差损失从微调后的8B教师模型中蒸馏知识。他们迭代直到达到1.14B参数。对于NVFP4版本，他们添加了量化感知蒸馏，使用512个样本进行校准，并用20,000个样本进行训练以恢复长输入中的精度。

部署与兼容性

部署因版本而异。8B和1B BF16模型适用于Transformers和Sentence Transformers框架。1B-NVFP4仅支持vLLM 0.25.0的/v2/embed接口。硬件方面，NVFP4版本可在Ampere、Hopper、Lovelace和Blackwell上运行，而BF16版本针对Ampere、Hopper和Blackwell。NVIDIA还发布了针对1B模型优化的NIM微服务，使用Rust构建，在GB200和RTX PRO6000上匹配或超越vLLM性能。

实际用例

这些模型在以下场景中表现出色：

• 多语言企业搜索 – 跨34种语言的跨语言检索。
• 代码检索 – 在SWE-bench等代码数据集上训练。
• 智能体记忆 – 32K token上下文使智能体能够处理更长的对话摘要。

对于成本敏感的设置，NVIDIA建议采用分层RAG策略：使用1B-NVFP4进行高容量召回，使用8B处理困难查询。

入门指南

NVIDIA提供了完整的代码示例，用于使用Sentence Transformers进行本地推理以及使用vLLM进行服务器端部署。查询和文档通过query:和passage:前缀区分。经过L2归一化后，嵌入向量的点积等于余弦相似度——简单而有效。

关键点

• 顶级基准性能：8B版本在RTEB上以NDCG@10 78.46排名第一。
• 三个开源模型：8B BF16、1B BF16和1B NVFP4，满足不同需求。
• 34种语言，32K上下文：支持多语言搜索和长文档。
• 高效压缩：通过剪枝和知识蒸馏构建1B模型。
• Blackwell优化：NVFP4保持99.5%精度，吞吐量提升2倍。