Mistral新8B模型让机器人仅凭普通摄像头即可导航

法国AI公司Mistral发布了其首个用于机器人导航的模型Robostral Navigate。该模型拥有80亿参数，使机器人仅使用单个普通RGB摄像头即可在复杂环境中导航，无需深度传感器或激光雷达。

该模型专为办公室、家庭、商业建筑和室外空间的具体导航任务而构建。传统的机器人导航通常依赖昂贵的激光雷达或深度传感器来感知周围环境。Robostral Navigate降低了成本和复杂性，仅通过摄像头和模型就实现了从感知到路径规划的完整闭环。

超越多摄像头系统

性能数据令人瞩目。在R2R-CE基准测试中，该模型在熟悉场景中成功率达到79.4%，在全新场景中达到76.6%。这比之前最好的单摄像头解决方案高出9.7个百分点，甚至比使用深度传感器或多摄像头的最佳系统高出4.5个百分点。换句话说，单个摄像头现在可以击败多摄像头配置。

Mistral完全自主研发了该模型，仅在模拟环境中进行训练，使用了约40万条记录路径，覆盖6000个虚拟空间。这种纯模拟方法减少了对真实世界数据收集的依赖，并表明在虚拟世界中学到的技能可以有效地迁移到现实世界。

适用于轮式、腿式和飞行机器人

Robostral Navigate兼容三种机器人类型：轮式、腿式和飞行式。这涵盖了从仓库运输机器人、四足机器狗到无人机的一切。相同的导航模型适用于所有类型，显示出强大的通用性。

该模型的开源特性也预示着繁荣的生态系统。开发者无需昂贵硬件即可将其集成到自己的机器人中，可能加速机器人技术的进步。

关键点