国会议员卡纳推动锁定AI自我改进

国会议员卡纳推动锁定AI自我改进

硅谷国会议员罗·卡纳提出的一项新法案旨在对能够在没有政府监督的情况下自我改进的人工智能踩下刹车。这项名为人类控制AI法案的提案将禁止AI模型递归自我改进或重写其核心目标、抑制方法或关闭控制，直到联邦监管机构建立安全机制并给予批准。

卡纳是代表科技重镇的民主党人，他告诉CNBC，风险之高无以复加。“文明灭绝的风险是真实的，”他说。“失控的安全隐患和滥用的风险都必须认真对待。”（中文术语“失控”意为“失去控制”。）

一个有权力的新机构

为了执行这些规则，该法案将创建一个专门负责人工智能安全的新联邦机构。该机构将运行前沿模型训练和部署的许可系统，进行独立审计，并设定持续测试标准，以确保人类牢牢掌控。

每个前沿实验室都将被要求拥有直接向该机构报告的独立审计员。该机构还将维护一份安全清单：沙盒测试环境、与互联网的物理隔离、紧急关闭开关，以及防止模型在线失控运行的措施。甚至实验室中的高端芯片也将受到审查，并建立监控或控制其使用的机制。

刑事处罚和保险要求

该法案不回避严厉惩罚。如果部署的AI模型对平民造成伤害，可能被定性为危害人类罪，并承担刑事责任。禁用安全保障、紧急开关、日志系统或遏制措施的员工——或未经授权故意部署系统的员工——也将面临刑事指控。公司在发布任何模型之前都需要购买全面的责任保险。

卡纳称这是迄今为止提出的最全面的人工智能安全立法。他说，这一方法来自与独立非营利人工智能安全组织的讨论，而非大型科技高管。“我希望它成为一个典范，给人工智能安全社区一个声音，”他说。“他们一直被不公平地视为谈论科幻小说而不被认真对待……这场讨论应该由安全社区主导，而不是由尖端实验室的高管主导。”

关键点

• 自我改进禁令： AI模型不能在未经政府批准的情况下递归自我改进或重写核心控制。
• 新联邦机构： 将许可、审计前沿AI并制定安全标准。
• 刑事责任： AI造成的伤害可能构成危害人类罪；绕过安全保障的员工面临指控。
• 保险要求： 公司在发布模型前必须持有责任保险。
• 安全社区领导： 卡纳希望该法案放大独立安全声音，而非行业高管。