谷歌改版Android Bench并开源，自家模型排名落后

7月9日，谷歌宣布对Android Bench代码开发者排行榜进行改版，全面引入标准化的Harbor沙箱框架。测试迁移到安全隔离环境，开发者跑独立评估、定制环境或共享数据更方便。谷歌同时通过GitHub开源了这项基准测试，社区现在能提交自定义的Android开发任务与模型评估。

重新测定的排名里，谷歌自家模型表现不如预期。Anthropic的Claude Fable5以84.5%的准确率排第一，OpenAI的GPT-5.5以80.2%紧随其后。谷歌的Gemini3.1Pro只排到了第五。

Gemini在测试成本上有一定优势。单次迭代大概87美元，其他模型都超过130美元。但轻量级模型Gemini3.5Flash在解析百题评估数据集时效率不佳，单次运行耗时28小时，成本高达165美元。

核心工程项目向自主智能开发工作流程转型，这已经是行业共识。谷歌在自家移动开发基准测试中落后，给它的AI战略推进带来了技术挑战。不过，Android Bench评测机制客观透明，Harbor框架也足够开放，它正在逐步确立去营销化的AI代码评估平台地位。