跳转到主要内容

商汤开源SenseNova-Vision-7B-MoT：一个多任务视觉模型

商汤在AI视觉领域迈出了重要一步，开源了其最新的多任务模型SenseNova-Vision-7B-MoT。这不仅仅是又一次增量更新——它是一个统一的框架，旨在单个高效的70亿参数架构内处理广泛的视觉任务。

它有何独特之处？

与专注于一两个领域的传统模型不同，SenseNova-Vision-7B-MoT集成了多个核心视觉能力：目标检测、光学字符识别（OCR）、深度估计、法线估计、图像分割，甚至多视图处理。关键创新在于？你可以使用自然语言定义新的视觉任务变体，从而在传统任务边界之外实现灵活的重配置。这意味着开发者无需从头重新训练即可将模型适配到新任务。

完全开源承诺

商汤为其发布提供了完全开源策略。研究人员和开发者不仅可以访问模型权重，还可以访问SenseNova-Vision语料库的一个子集——包含5000万个样本——以及一个用于处理剩余公共数据的完整复现工具包。这降低了实验和实际应用的门槛。

Image

行业影响

行业专家指出，此次发布不仅仅是轻量级模型的迭代；它为视觉理解提供了一个可扩展的统一框架。通过整合之前需要单独模型的任务，SenseNova-Vision-7B-MoT可以简化从自动驾驶到GUI自动化等应用的开发。

开始使用

该模型的技术细节、代码仓库和演示空间已在Hugging Face和GitHub等平台上可用。开发者可以直接调用该模型，加速自身项目的创新。

关键点

  • 统一多任务模型：在一个7B参数模型中结合了目标检测、OCR、深度估计、法线估计、分割和多视图处理。
  • 自然语言任务定义：用户可以通过自然语言定义新的视觉任务变体，实现灵活的重配置。
  • 完全开源：包括模型权重、一个5000万样本的数据集子集以及复现工具。
  • 现已可用：代码和演示在Hugging Face和GitHub上。