谷歌重塑Android Bench排名:Claude5登顶,Gemini落后
谷歌刚刚对其Android Bench代码排名进行了重大改革,结果令人瞩目。7月9日,该公司宣布对开发者基准测试进行全面改革,引入了标准化的Harbor沙箱框架。这一新设置将所有测试移至安全的隔离环境中,使全球开发者更容易进行独立评估、自定义开发环境并共享数据。最重要的是,谷歌已在GitHub上开源了该基准测试,邀请社区提交自定义的Android开发任务和模型评估。
但关键在于:在最新测量的排名中,谷歌自家的模型并未大放异彩。
Anthropic的旗舰模型Claude5以令人印象深刻的84.5%准确率夺得榜首。紧随其后的是OpenAI的GPT-5.5,准确率为80.2%。与此同时,谷歌的Gemini 3.1 Pro仅排名第五。哎呀。
不过,Gemini在成本上确实有优势——每次运行约花费87美元,而顶级模型超过130美元。但轻量级的Gemini 3.5 Flash暴露了一些严重的效率问题。在解析包含一百个问题的评估数据集时,它每次运行耗时28小时,花费165美元。对于追求速度和性价比的开发者来说,这可不是什么卖点。
行业正日益转向自主智能开发工作流,而谷歌在本地移动开发基准测试上的落后对其AI战略构成了真正的挑战。但Android Bench凭借其客观透明的评估机制和Harbor框架的开放性,正迅速成为一个权威的AI代码评估平台——一个不受营销炒作影响的平台。
关键点
- 新框架:谷歌的Harbor沙箱提供了安全的隔离测试环境,实现更公平的基准测试。
- 最佳表现者:Claude5以84.5%的准确率领先,GPT-5.5以80.2%紧随其后。
- Gemini的困境:Gemini 3.1 Pro排名第五;Gemini 3.5 Flash每次运行耗时28小时,花费165美元。
- 行业转变:核心工程项目正转向自主AI工作流,使这些基准测试变得至关重要。
- 开源:Android Bench现已托管在GitHub上,欢迎社区贡献。