跳转到主要内容

AI专家呼吁召回开源代理,称其存在“刹车失灵”问题

著名学者呼吁立即召回开源AI代理

纽约大学教授、AI领域领军人物Gary Marcus发出严厉警告:立即将所有联网的开源AI代理从市场上撤下。他认为,在它们的技术缺陷和安全风险得到修复之前,它们不应存在。

来自真实事件的警钟

Marcus的要求是在《纽约时报》报道了涉及Anthropic代理的严重安全漏洞后提出的。该事件,加上一系列其他AI代理失控的情况,使他确信当今的合成代理尚未准备好获得公众或企业的信任。“这些系统存在安全漏洞,”他说。“它们应该像刹车失灵的汽车一样被召回。”

大型AI公司的“初创级”安全

为了强调他的观点,Marcus引用了对前OpenAI员工David Robinson的最近采访。Robinson透露,即使是包括OpenAI在内的领先AI公司,仍将安全运行环境视为“初创公司”的关注点——远未达到我们期望核电站具备的冗余、故障安全标准。他警告说,正在开发的新技术不仅更强大,而且带来了前所未有的失控风险。如果出现问题,后果可能远超一次核泄漏。

政府措施:太少,太迟?

Marcus也没有放过监管机构。他批评白宫行政部门等机构仅仅要求更多的信息披露。“这就像礼貌地要求罪犯每月报告他们的罪行,”他说。他强调,如果政府继续拖延更强有力的行动——比如强制临时召回——那么当灾难发生时,科技公司甚至白宫都将难以推卸责任。

底线

  • 立即召回: Marcus希望所有联网的开源AI代理在证明安全之前被移除。
  • 安全差距: 主要AI公司仍以“初创级”安全水平运营,而非核电站的冗余标准。
  • 监管失败: Marcus表示,当前的信息披露要求远远不够。
  • 前所未有的风险: 一次AI故障可能造成的损害远超核泄漏。

信息很明确:如果我们现在不采取行动,将来可能都会付出代价。