国会议员罗·卡纳欲为失控的AI踩下刹车

一位国会议员的大胆举措：给AI套上缰绳

代表硅谷核心区的民主党众议员罗·卡纳正准备提出他所说的迄今为止最全面的AI安全法案。《人类控制AI法案》直接针对一个让研究人员夜不能寐的场景：AI模型在没有任何人类监督的情况下学会自我改进。

根据该提案，在政府建立安全框架并由监管机构开绿灯之前，企业将被禁止让AI模型进行递归式自我改进，或重写自己的核心目标、抑制机制或关闭控制。通俗地说：在有人看管鸡舍之前，不允许自我迭代的前沿模型。

一个拥有锋利牙齿的新机构

为了执行这些规则，该法案将创建一个专门负责AI安全的新联邦机构。该机构将运行一个用于训练和部署模型的许可系统，对前沿实验室进行审计，并制定安全标准以确保模型处于人类控制之下。每个尖端实验室都需要独立审计员，他们直接向该机构报告——而不是向公司的利润负责。

The agency would also maintain a specific safety checklist: sandboxed testing environments physically isolated from the internet, emergency kill switches, and measures to prevent a model from escaping the lab and running wild online. Even the high-end chips inside these labs would fall under scrutiny, with mechanisms to monitor or control their use.

严厉的惩罚与对安全倡导者的认可

该法案在惩罚方面毫不手软。如果部署的AI模型对平民造成破坏，它将被归类为危害人类罪，并附带刑事责任。秘密禁用保障措施、紧急开关、日志系统或遏制协议——或明知故犯地部署未经授权的系统——的员工也将面临刑事指控。公司在发布任何模型之前，将被要求购买全面的责任保险。

卡纳表示，该法案的做法来自与独立非营利AI安全组织的对话，而非大型科技公司高管的愿望清单。“我希望它能成为一个典范，给AI安全社区一个发声的机会，”他说。“他们一直被不公平地视为在谈论科幻小说，不被认真对待……这场讨论应该由安全社区主导，而不是由尖端实验室的高管们主导。”

关键要点

• 未经批准不得自我改进： 在政府安全框架到位之前，AI模型不能递归式自我改进或重写核心目标。
• 新的联邦机构： 一个专门机构将对前沿AI模型进行许可、审计并制定安全标准。
• 独立审计员： 每个实验室必须有直接向该机构报告而非向公司报告的审计员。
• 安全清单： 沙盒测试、气隙环境、终止开关和芯片控制都是强制性的。
• 刑事责任： 部署伤害平民的AI可能构成危害人类罪；绕过保障措施的员工将面临指控。
• 必须购买责任保险： 公司在发布模型前必须持有全面的保险。