硅谷议员推动锁定AI自我改进

硅谷议员推动锁定AI自我改进

如果机器能够重写自己的代码——而无人能阻止，那会怎样？这正是民主党众议员Ro Khanna试图防止的情景。9月28日，这位来自加州硅谷选区的国会议员宣布，他正准备提出《人类控制AI法案》，一项将对前沿AI模型施加严格限制的法案。

核心规则很简单：AI模型不能自我改进或重写自己的目标、抑制方法或关闭控制，直到政府建立安全框架并由监管机构批准。在此之前，前沿模型的自我迭代通道将被锁闭。

新的联邦AI监管机构

为了执行这些规则，该法案呼吁成立一个新的联邦机构，专门负责AI安全。该机构将制定法规，运行模型训练和部署的许可系统，并审计前沿模型以确保它们处于人类控制之下。每个前沿实验室还需要有直接向该机构报告的独立审计员。

该机构将维护一份安全清单：沙盒测试环境、与互联网的物理隔离、紧急关闭开关，以及防止模型在线上失控的措施。甚至实验室中的高端芯片也将受到监控和控制。

严厉处罚和保险要求

该法案对违规者毫不宽容。如果部署的AI模型对平民造成破坏，将被归类为危害人类罪，并承担刑事责任。禁用安全保障、紧急开关、日志系统或遏制措施——或明知故犯地部署未经授权的系统——的员工也将面临刑事指控。公司在发布任何模型之前都需要购买全面的责任保险。

安全社区的声音

Khanna表示，这是迄今为止提出的最全面的AI安全立法。其方法来自与独立非营利AI安全组织的讨论，而非大型科技公司高管。“我希望它能成为一个范本，赋予AI安全社区发言权，”他说。“他们被不公平地视为在谈论科幻小说，不被认真对待……这场讨论应该由安全社区主导，而不是由前沿实验室的高管主导。”

关键要点

• 未经批准不得自我改进： 在政府安全机制建立并获得监管机构批准之前，AI模型不能重写自己的代码或目标。
• 新的联邦机构： 一个专门机构将监督AI安全、许可、审计和安全标准。
• 严格的安全措施： 沙盒测试、互联网隔离、紧急关闭和芯片监控都在清单上。
• 刑事处罚： 部署不安全的AI可能构成危害人类罪；绕过安全保障的员工将面临指控。
• 保险要求： 公司在发布模型之前必须持有责任保险。
• 安全社区优先： 该法案旨在让AI安全专家比行业高管拥有更大的发言权。