硅谷议员推动锁定失控AI

硅谷议员推动锁定失控AI

众议员罗·卡纳（加州民主党）提出的一项新法案旨在对能够在没有人类批准的情况下自我改进的人工智能踩下刹车。该提案于9月28日与CNBC分享，将禁止AI模型在联邦监管机构批准之前重写自己的核心目标、安全控制或关闭机制。

卡纳的选区覆盖硅谷大部分地区，他称之为“人类控制AI法案”。在接受采访时，他直言不讳：“文明灭绝的风险是真实的。失控的安全隐患和滥用风险都必须认真对待。”（这里的“失控”一词意为“失去控制”。）

该法案的逻辑很简单：没有政府保障，就没有自我迭代。前沿模型将被锁定，直到新的联邦机构批准，才能进行任何递归式自我改进。

新警长上任

为了执行这些规则，该法案将创建一个专门的联邦机构。它的职责是什么？制定AI安全标准，许可模型训练和部署，并持续审计前沿系统。每个主要的AI实验室都将有独立审计员直接向该机构报告——不再自我监管。

该机构还将维护一份安全清单：沙盒测试环境、与互联网的物理隔离、紧急关闭开关，以及防止模型在线上失控的措施。甚至实验室内部的高端芯片也将受到审查，需要监控机制。

严厉处罚，没有例外

惩罚是该法案真正咬合的地方。如果部署的AI对平民造成破坏，将被归类为危害人类罪——刑事责任，到此为止。秘密禁用安全措施、紧急开关或遏制系统的员工也将面临指控。公司在发布任何模型之前都需要全面的责任保险。

卡纳表示，这是迄今为止最全面的AI安全立法。它的基因不是来自科技高管，而是来自与独立非营利AI安全组织的对话。“我希望它成为一个典范，给AI安全社区一个声音，”他说。“他们被不公平地视为谈论科幻小说，不被认真对待……这场讨论应该由安全社区主导，而不是由尖端实验室的高管们。”

关键点

• 未经批准不得自我改进： AI模型不能重写自己的目标或安全控制，直到联邦机构批准。
• 新的联邦机构： 将许可、审计和制定前沿AI的安全标准，独立审计员将嵌入实验室。
• 刑事处罚： 造成平民伤害成为危害人类罪；禁用保障措施的员工面临指控。
• 芯片控制： 甚至实验室的高端芯片也受到监控。
• 安全优先的方法： 该法案由非营利安全专家制定，而非大型科技公司。

本文基于CNBC的报道和法案文本。有关最新的AI政策新闻，请关注AIbase Daily。