脑电波教导机器人:物理AI的下一个前沿
在加利福尼亚州圣莱安德罗的一个仓库里,一家名为Encord的数据工具公司正在进行一项不寻常的实验。工人们佩戴着配备摄像头和EEG传感器的头戴设备玩叠叠乐,小心翼翼地堆叠积木。这些由德国神经科学初创公司Zander Labs制造的头戴设备实时测量脑电波信号,捕捉错误、意图和惊讶等心理状态。目标是什么?为机器人模型创建更丰富的训练数据集。
Encord认为,人形机器人和仓库机器人的真正瓶颈不在于模型架构,而在于现实世界物理训练数据的极度匮乏。正如Encord机器人学习负责人Vineeth Velmurugan所说:“这些数据根本不存在。”而所需的数据量大约是YouTube整个视频库的五倍。
物理AI的经济困境
在仓库内,操作员使用“主从”机器人手臂设备——一个由人类直接控制,另一个模仿其动作——来生成训练数据,用于倒咖啡和堆叠扑克筹码等任务。货架上摆满了假花、书籍、塑料蔬菜和猫砂盆,全部用作训练家用机器人手的道具。在另一个工作站,操作员Sofia Infante控制一个机器人手臂插拔服务器网络电缆——这是数据中心运营商非常渴望的自动化任务,但由于机器人夹爪灵活性不足,目前还无法实现。
除了EEG信号,Encord还在开发新的数据模态。他们将传感器阵列附着在前臂上检测肌肉电信号,构建3D手部轨迹,以补偿视频中手指被遮挡时缺失的信息。每个数据集都带有密集的物理动作注释,例如“右手拧紧螺栓”。Velmurugan估计,这种高质量的注释对于特定任务训练的价值是普通数据的100倍,而生产成本仅高出20倍——理论上这是一笔划算的交易。
关键点
- 数据稀缺:现实世界的物理训练数据极其有限,所需数据量远超现有视频库。
- 脑电波捕捉:EEG头戴设备记录精确任务期间的心理状态,为训练数据增加新维度。
- 多模态方法:结合脑信号、肌肉信号和视频创建更丰富的数据集。
- 成本效益:高质量注释的价值是普通数据的100倍,但生产成本仅高出20倍。