国会议员卡纳提出大胆的人工智能安全法案：未经政府批准不得自我改进

硅谷自己的国会议员正在向人工智能的蛮荒西部发起挑战。民主党众议员罗·卡纳正准备提出他所谓的迄今为止最全面的人工智能安全立法——而且它很有牙齿。

核心是什么？硬性停止递归自我改进。根据人类控制人工智能法案，人工智能模型将被禁止自主重写其核心目标、抑制方法或关闭控制，直到政府建立安全框架并由监管机构签字批准。用通俗的话说：任何模型都不能在闭门造车的情况下自我升级。

为了执行这一点，该法案设立了一个专门负责人工智能安全的新联邦机构。该机构将运行前沿模型训练和部署的许可系统，进行审计，并制定安全标准。每个前沿实验室都将有独立审计员直接向该机构报告——不再自我监管。

该机构还获得了一份详细的清单：沙盒测试环境、与互联网的物理隔离、紧急关闭开关，以及防止模型逃脱并在网上失控运行的控制措施。甚至实验室中的高端芯片也受到审查，并设有监控或控制其使用的机制。

卡纳可不是闹着玩的。如果人工智能模型对平民造成破坏，它可能会被作为危害人类罪起诉。禁用保障措施、关闭开关或日志系统——或明知故犯地部署未经授权的系统——的员工也面临刑事指控。而想要发布模型的公司必须首先购买全面的责任保险。

“文明灭绝的风险是真实的，”卡纳告诉CNBC。“失控的安全隐患和滥用的风险都必须认真对待。”（注：“失控”意为“失去控制”。）

卡纳表示，该法案的方法来自与独立非营利人工智能安全组织的讨论，而非大型科技公司高管。“我希望它成为一个榜样，给人工智能安全社区一个声音，”他说。“他们被不公平地视为谈论科幻小说，而不被认真对待……这场讨论应该由安全社区主导，而不是由尖端实验室的高管们主导。”

随着人工智能的发展速度超过监管的跟进速度，卡纳的提议是一记警钟。它会通过吗？谁也说不准。但有一点很清楚：关于谁控制人工智能的讨论才刚刚开始。