NVIDIA 发布先进的 AI 以理解视频

NVIDIA 最近推出了一个开创性的 视频搜索与摘要的 AI 蓝图，旨在转变传统视频分析方法。这个创新的解决方案超越了以前固定的模型，利用 生成式 AI、视觉语言模型 (VLM) 和 大型语言模型 (LLM) 来促进对视频内容的深刻理解。

增强的视频理解能力

新系统建立在 NVIDIA 的 NIM 微服务架构 之上，提供强大的视频理解能力。通过使用 视频分割、密集描述生成 和 知识图谱构建 等技术，该技术能够有效分析和理解冗长的视频内容。用户可以利用该系统生成视频摘要，参与互动问答会话，并通过简单的 REST API 接口监控实时视频流以获取特定事件。

技术架构

从技术角度来看，该解决方案集成了几个关键组件：

• 流处理器 管理各个组件之间的交互和同步。
• NeMo Guardrails 确保用户输入的合规性和安全性。
• 基于 NVIDIA 的 DeepStream SDK 的 VLM 管道 处理视频解码和特征提取。
• 使用 向量数据库 存储中间结果。
• 上下文感知的 RAG 模块综合生成统一的摘要。
• 图形 RAG 模块通过图形数据库捕获视频中的复杂关系。

实际应用和实时处理

在实际场景中，该系统首先将视频分割成较小的剪辑，通过 VLM 创建详细描述，并随后用 LLM 摘要和分析结果。对于直播，技术能够持续处理视频片段并实时生成摘要。此外，通过构建知识图谱，能够封装视频中的复杂信息，支持高级互动问答功能。

这一技术进步预计将在 工厂、仓库、零售商店、机场 和 交通枢纽 等各种环境中带来显著变化。运营团队可以通过自然语言交互深入了解视频分析，从而帮助他们做出更明智的决定。

早期访问和定制选项

NVIDIA 已经开放了这一开创性技术解决方案的早期访问申请。开发者可以从 NVIDIA 的 API 目录中选择一系列适当的模型，选择 NVIDIA 托管的服务或本地部署选项。这种灵活性旨在帮助企业打造满足其特定需求的定制视频分析解决方案。

随着 AI 技术的不断进步，视频分析的格局正在经历剧烈的变革。NVIDIA 最新的解决方案有望加速智能视频分析在各个行业中的集成。

有关更多详细信息，请访问: NVIDIA AI 蓝图