微软Azure ND GB300创AI推理新标杆

微软宣布其Azure ND GB300v6虚拟机取得人工智能性能的突破性成就。该系统在处理Meta Llama270B模型的推理运算时，以每秒110万token的速度创下行业新纪录。

前所未有的硬件配置

这一破纪录性能源自微软与NVIDIA的合作，采用尖端NVIDIA Blackwell Ultra GPU架构。每台Azure ND GB300虚拟机配备：

• 72颗NVIDIA Blackwell Ultra GPU
• 36颗NVIDIA Grace CPU
• 专为推理工作负载优化的单机架构设计

系统相比前代实现显著改进，包括：

• GPU内存增加50%
• 热设计功耗(TDP)提升16%

性能验证与结果

微软通过严格测试验证系统能力：

• 以FP4精度运行Llama270B模型
• 在NVIDIA GB300NVL72域中使用18台ND GB300v6虚拟机
• 采用NVIDIA TensorRT-LLM作为推理引擎

测试显示卓越成果：

• 每颗GPU处理约15,200 token/秒
• 系统总性能达到前所未有的110万token/秒
• 性能较前代NVIDIA GB200系统提升27%

结果已获权威性能基准测试公司Signal65独立验证。

行业影响与专家评论

Signal65实验室副总裁Russ Feroes强调此成就的意义：

"这一里程碑不仅突破每秒百万token大关，更在满足现代企业动态使用和数据治理需求的平台上实现"

新系统展现非凡能效提升：

• 推理性能较NVIDIA H100系统提升近10倍
• 机架级能效比前代优化2.5倍
• 仅增加17%功耗规格即实现显著性能飞跃

此次突破彰显微软在企业级AI解决方案领域的持续领导力。

关键亮点：

🚀 创行业纪录的每秒110万token推理速度 💻 搭载72颗Blackwell Ultra GPU + 36颗Grace CPU组合 📈 性能较前代提升27% ⚡ H100系统10倍性能飞跃 🌱 保持企业级数据治理与动态使用能力