硅谷议员推动锁定AI自我改进

硅谷议员推动锁定AI自我改进

代表加利福尼亚州硅谷选区的民主党众议员罗·卡纳提出了一项新法案，旨在对人工智能自主发展的程度施加严格限制。该提案被称为人类控制AI法案，将禁止AI模型进行递归自我改进或重写自己的核心目标、抑制方法或关闭控制——除非政府首先建立安全机制，并且监管机构给予批准。

在一次采访中，卡纳直言不讳：“文明灭绝的风险是真实的。失去控制的安全隐患和滥用的风险都必须认真对待。”根据该法案，公司必须等待联邦规则和监管批准，才能让前沿模型自行迭代。否则，这些自我改进渠道将被关闭。

一个有权力的新机构

为了确保规则得到遵守，该法案呼吁成立一个全新的联邦机构，专门负责人工智能安全。该机构将运行模型训练和部署的许可系统，审计前沿系统，并制定安全标准，使其处于持续测试和人类控制之下。每个前沿实验室还需要有直接向该机构报告的独立审计员——不再自我监管。

该机构将执行一份特定的安全清单：沙盒测试环境、测试期间与互联网的物理隔离、紧急关闭开关，以及防止模型在逃出实验室后在线上失控运行的措施。甚至实验室内部的高端芯片也将受到审查，并建立监控或控制其使用的机制。

严厉处罚，刑事责任

该法案在处罚上毫不留情。如果部署的AI模型对平民造成破坏，将被归类为危害人类罪，并附带刑事责任。秘密禁用保护措施、紧急开关、日志系统或遏制系统的员工——或未经授权故意部署系统的员工——也将面临刑事指控。任何想要发布模型的公司首先需要持有全面的责任保险。

卡纳称这是迄今为止提出的最全面的人工智能安全立法。其方法主要来自与独立非营利AI安全组织的讨论，而非大型科技高管的要求。“我希望它成为一个典范，给AI安全社区一个发声的机会，”他说。“他们一直被不公平地视为谈论科幻小说，不被认真对待……这场讨论应该由安全社区主导，而不是由前沿实验室的高管主导。”

关键点

• 未经批准不得自我改进： 在政府安全机制和监管机构批准之前，AI模型不能重写自己的目标或关闭控制。
• 新的联邦机构： 一个专门机构将许可、审计前沿AI模型并制定安全标准，独立审计员直接向其报告。
• 严格的安全清单： 沙盒测试、物理隔离、紧急关闭开关，以及防止模型逃出实验室后在线上运行的控制措施。
• 刑事处罚： 部署伤害平民的AI可能构成危害人类罪；绕过保障措施的员工面临指控。
• 保险要求： 公司在发布模型前必须持有全面的责任保险。