跳转到主要内容

OpenAI 指出 AI 基准测试存在缺陷：近三分之一的问题有问题

OpenAI 将矛头指向了业界衡量 AI 编程能力的主要基准测试之一 SWE-Bench Pro，声称其近三分之一的测试问题存在缺陷。在一篇博客文章中，该公司认为，由 Scale AI 推出并广泛用于评估大型语言模型和 AI 代理的该基准测试，在衡量真实世界软件工程技能方面已变得无效。

快速进步的问题

OpenAI 强调了一个可疑趋势：前沿模型在 SWE-Bench Pro 上的通过率在短短八个月内从 23.3% 跃升至 80.3%。该公司表示，这种飞速增长好得令人难以置信。它并非反映 AI 能力的真正提升，而很可能指向评估本身的系统性问题。

为了验证这一理论，OpenAI 进行了两项并行审查。第一项是数据驱动分析，标记了 731 个公共任务中的 200 个存在问题，约占 27.4%。第二项是人工审查，识别出 249 个有缺陷的任务，占 34.1%。交叉引用两种方法，OpenAI 估计 SWE-Bench Pro 中大约 30% 的任务存在缺陷。这些缺陷分为四类：过于严格的测试、提示不足、测试范围狭窄以及误导性提示。

一个典型案例

OpenAI 分享了一个有说服力的例子：一个任务要求在将内容转换为 Markdown 时，在行首添加一个空格。但隐藏测试却期望两个空格。因此，即使模型完全按照指令执行，仍会被判错。这种明确指令与隐藏要求之间的不匹配会人为地提高失败率——反之，任何恰好猜对的模型都会显得比实际更好。

呼吁新方法

基于这些发现，OpenAI 已正式撤回之前对 SWE-Bench Pro 的认可。该公司认为，未来的基准测试应由经验丰富的软件开发者专门为 AI 评估设计，而不是沿用针对人类开发者的测试逻辑。当基准测试本身可能有 30% 的缺陷率时，整个 AI 评估生态系统的可信度就受到了质疑。

Image

关键点

  • OpenAI 声称 SWE-Bench Pro 中约 30% 的任务存在评估缺陷。
  • 通过率在八个月内从 23% 飙升至 80%，表明基准测试存在问题。
  • 缺陷包括过于严格的测试、提示不足、范围狭窄和误导性提示。
  • OpenAI 已撤回对该基准测试的推荐。
  • 该公司呼吁由经验丰富的开发者为 AI 设计新的基准测试。