商汤开源统一视觉大模型,一个模型搞定四大视觉任务
商汤科技近日正式发布并全面开源了其“SenseNova-Vision”统一视觉大模型,这标志着商汤大模型体系在视觉能力上的一次重要升级。与以往行业内的“统一视觉”方案不同——那些方案大多只是将检测、分割、深度预测等多个专家模型打包在一起,本质上仍是碎片化的——SenseNova-Vision的核心创新在于,它让视觉成为通用基础模型的原生能力,彻底融入到大模型系统中。

一个模型,四大领域全面领先
在多项评测中,SenseNova-Vision作为单一模型,在四大核心视觉领域全面领先,甚至与各领域的专业专家模型相比也毫不逊色。在结构化视觉理解方面,它在物体检测、指代检测、OCR和关键点定位等任务上显著优于同类通用模型,尤其是在密集小目标检测和长尾类别识别等复杂场景中表现突出。在密集几何预测方面,其深度估计和表面法线估计的精度达到了专用几何模型的水准,在室内外环境中均保持高度稳定性。

分割能力覆盖通用分割、推理分割和交互分割。得益于其强大的多模态理解能力,它在推理分割和对话式分割中表现尤为出色。仅凭单一模型,就能完成高质量的多视角点云重建和相机位姿估计,在通用视觉方法中达到领先水平。
全面超越Vision Banana,数据同步开源
与语义导向的模型相比,SenseNova-Vision在检测、分割、深度等对细节要求高的视觉任务上实现了全面领先。与生成导向的模型Vision Banana相比,它展现出全面的代际优势——在权威评测的大部分指标上超越并领先。Vision Banana只能处理四大核心领域中的两个,而SenseNova-Vision覆盖了结构化理解、密集几何、全景分割和多视角3D等所有任务。
关键要点
- 统一架构:SenseNova-Vision将视觉作为原生能力融入大模型,而非拼凑多个专家模型。
- 四大领域领先:在结构化视觉理解、密集几何预测、图像分割和多视角3D重建上表现卓越。
- 全面超越竞品:相比Vision Banana,SenseNova-Vision在任务覆盖和性能上均占优势。
- 开源与数据:模型已开源,相关数据也同步开放。