OpenAI公开质疑SWE-Bench Pro基准：近三成评测任务存在缺陷

OpenAI发布博文，公开挑战行业权威评测基准SWE-Bench Pro。该基准由Scale AI推出，专门评测大语言模型与AI智能体的编程能力，因高度贴近实际企业级开发且具备极高的防作弊标准，已成为AI软件工程领域的权威基准。

OpenAI在博文中指出了一个关键信号：前沿模型在该基准上的通过率仅用8个月就从23.3%飙升至80.3%。这一“进步”速度过于异常，他们认为该基准已无法有效评估模型的真实软件开发能力，很可能是因为评测本身存在系统性问题，而非模型能力真的实现了如此飞跃。

为验证判断，OpenAI启动了两条并行审查路径。其数据点分析流程标记出200个失效任务，占全部731个公开任务的27.4%；同时开展的人工标注活动识别出249个失效任务，占比34.1%。基于这两条路径的交叉验证，OpenAI预估SWE-Bench Pro约30%的任务存在缺陷，涉及测试过严、提示不充分、测试范围过窄和提示具有误导性四类问题。

OpenAI还披露了一个典型案例：某道题要求将内容转为Markdown时在行首加入1个空格，但隐藏测试却要求2个空格。这意味着模型完全按照题面说明编写代码，仍然会被判错。这类“隐藏要求与明文说明不一致”的问题，直接导致模型的真实能力被错误评估，也解释了为何通过率会出现不合理飙升。

基于这次分析，OpenAI正式撤回此前对SWE-Bench Pro的采用建议。他们认为，后续需要由资深软件开发者专门为AI评测设计新的基准，而非简单沿用面向人类开发者的测试逻辑。当行业“标杆”本身都可能存在近三成缺陷，整个AI评测体系的公信力便面临拷问。从跑分竞赛回归真实工程能力评估，或许是AI软件工程评测下一步必须跨越的门槛。