AI安全测试基准中发现重大缺陷

AI测试方法中发现普遍缺陷

由英国政府AI安全研究所、斯坦福大学、加州大学伯克利分校和牛津大学的计算机科学家进行的最新研究揭示了用于评估人工智能系统的基准存在重大缺陷。这项全面研究审查了当前行业中使用的440多个测试基准。

图片来源说明：该图片由AI生成

当前指标的有效性存疑

研究结果表明，几乎所有被评估的基准都存在可能“削弱结果有效性”的缺陷，某些测试分数甚至可能是“无关或误导性的”。这一发现正值各大科技公司在公众对AI安全性和有效性的担忧日益加剧之际继续发布新的AI系统。

该研究的首席作者、牛津互联网研究所的Andrew Bean博士解释说：“基准测试支撑了几乎所有关于AI进展的声明，但由于缺乏统一的定义和可靠的测量方法，很难确定模型是否真的在改进还是仅仅看起来在改进。”

研究强调了几个令人担忧的事件：

研究特别指出了在“无害性”等关键领域评估中的模糊定义，导致了不一致和不可靠的测试结果。

这些发现促使专家们呼吁：

由于美国和英国都缺乏全面的AI法规，这些基准测试工具对于评估新系统是否安全、是否符合人类利益以及是否如声称的那样具备能力尤为重要。