蚂蚁集团开源LingBot-Vision:赋予机器人空间感知能力
在让机器人像人类一样精确感知物理世界的探索中,蚂蚁集团旗下具身智能公司Robbyant取得了新突破。他们刚刚开源了LingBot-Vision模型系列,这是一组自监督视觉Transformer,采用全新方法理解空间。
如今大多数视觉AI模型都专注于物体识别——它们擅长告诉你图像中有什么,但往往忽略了物理交互所需的关键细节:边界、轮廓和深度。LingBot-Vision颠覆了这一优先级。它不关注物体是什么,而是聚焦于物体的起始和结束位置。其核心创新是“掩码边界建模”,该技术训练模型识别图像中信息最丰富的边界区域,并将其作为核心学习信号。这使得模型不仅能理解语义,还能发展出强烈的空间几何感。

结果不言自明。旗舰模型ViT-g/16仅有11亿参数,却在NYU-Depth v2深度估计基准测试中取得了最佳性能。它甚至超越了拥有70亿参数的DINOv3模型,而训练数据集仅为后者的三分之一。对于计算资源有限的用户,该系列还提供了从3亿参数到更小尺寸的蒸馏版本,确保在不同硬件上都能实现领先的密集预测性能。
为了展示实际价值,团队还升级了深度补全系统LingBot-Depth 2.0。测试表明,在处理透明物体(传统感知系统的盲点)时,其准确性显著提升。随着数据规模扩大,LingBot-Vision的性能持续提升,没有出现传统模型中的饱和现象,凸显了这种以边界为中心的方法在复杂环境中的潜力。
目前,LingBot-Vision已在Hugging Face上以Apache-2.0许可证完全开源,包括四个模型尺寸的权重和推理代码。借助这项技术,开发者可以以更低的计算成本赋予机器人更灵敏的物理感知,推动具身智能迈向更精确的交互未来。
关键要点
- 创新方法:LingBot-Vision使用掩码边界建模,优先处理物体边界和轮廓,而非传统物体识别。
- 卓越性能:11亿参数的ViT-g/16模型在深度估计任务上超越了DINOv3(70亿参数)等更大模型。
- 实际部署:从3亿参数开始的蒸馏版本可在资源受限的硬件上部署。
- 实际应用:升级后的LingBot-Depth 2.0系统提高了透明物体的准确性,这是常见挑战。
- 开源:在Hugging Face上以Apache-2.0许可证完全可用,包括权重和推理代码。