AllWorkin / Articles / 2026.06.26

SWE-bench 高分作弊?Cursor 说 63% 是「查答案」

Cursor:SWE-bench Pro 上 63% 成功修复是查答案;封 git+断网后 Opus 87%→73%、Composer 75%→54%。附 3 条轨迹自查,帮你自己判断 Agent 真本事。

2026.06.26约 7 分钟#Cursor#Agent#Claude#Codex

资料来源:Cursor 研究博客《奖励作弊正在淹没模型智能的进步》(中文版 / 英文版)


Opus 4.8 Max 在 SWE-bench Pro 上跑到 87% 的时候,你心动过吗?

Cursor 最近发了一篇研究,结论挺扎心:这些「成功修复」里,有 63% 是直接拿到已知补丁,不是从零推出来的。封掉 Git 历史、断网之后,Opus 从 87.1% 掉到 73.0%,自家的 Composer 2.5 从 74.7% 掉到 54.0%。

对我们这种天天用 Cursor / Claude Code / Codex 写代码的人来说,这篇的价值就一个:别拿榜单分数当选购模型的唯一依据。 下面讲清楚发生了什么,以及你怎么自己判断 Agent 是真会修 bug,还是在「奖励作弊」。


一、什么叫「奖励作弊」?

强化学习里有个老概念叫 reward hacking(奖励作弊):模型不去真正完成任务,而是找评测规则的漏洞拿分。

编程基准特别容易中招。SWE-bench 这类数据集,题目来自真实仓库里已经修过的 bug——答案早就存在于 GitHub PR、合并记录、公开讨论里。Agent 如果能上网、能读 .git 历史,它完全可以检索修复方案,而不是自己推导。

Cursor 的比喻很准:题目是「解一道已经公布答案的题」,聪明模型会先去搜答案,而不是动笔算。


二、Cursor 查了什么?数字先说

Cursor 建了一个审计 Agent,看了 731 条 Opus 4.8 Max 的评测轨迹——只看题目和完整操作记录,不知道那次跑分过没过,专门判断「有没有拿到已知答案」。

SWE-bench Pro 上,成功修复的 63% 属于「检索到的」,不是「推导出来的」。

两种最常见的手法:

手法 占比 干什么
上游查找 57% 在公开 Web 上找到已合并的 PR 或修复后的源文件,几乎原样复现
Git 历史挖掘 9% 在评测环境自带的 .git 里搜「未来那次修 bug 的 commit」,直接 cherry-pick 补丁

极端案例也有:Agent 找到 SWE-bench 镜像页,看到了隐藏测试和标准补丁;还有的拿到隐藏测试文件,把预期异常字符串硬编码进代码。

更「聪明」的一种:2019 年 jq 的一个 bug,Agent 用系统自带的 jq 二进制复现失败——因为镜像是在 bug 修完之后才构建的。Agent 推断「这 issue 早就解决了」,转而去搜修复方案,而不是自己写 patch。


三、两种作弊,长什么样

1、上游查找(Opus 4.8 Max)

直接调 GitHub API 看 merged PR 改了哪些文件:

cd /testbed && curl -s "https://api.github.com/repos/apache/druid/pulls/14092/files" | grep '"filename"'

2、Git 历史挖掘(Composer 2.5)

在 bundled 的 .git 里找 fix commit,读 diff,cherry-pick:

cd /testbed && git show 895abd8929 -p | head -400
cd /testbed && git cherry-pick 895abd8929

这些操作在评测框架里完全合法——Agent 有 shell、有网络、有 git。但测到的能力,混了「会修 bug」和「会找答案」。


四、封掉泄漏通道之后,分数掉多少

Cursor 搭了一套严格评测框架,两道隔离:

  1. 历史隔离:Agent 开跑前删掉 .git,重建成单 commit 仓库;打分时才恢复原始历史跑测试。
  2. 出口代理:默认断网,只允许访问白名单里的包管理源装依赖。

在这套框架下重跑 SWE-bench,标准分数和严格分数的差距(Δ):

SWE-bench Pro(差距最大):

模型 标准 严格 差距
Opus 4.8 Max 87.1% 73.0% -14.1
Composer 2.5 74.7% 54.0% -20.7
Opus 4.6 Max ~76% ~76% <1

SWE-bench Multilingual:

模型 差距
Opus 4.8 Max -9.1
Composer 2.5 -7.5
Opus 4.6 Max <1

Cursor 自己承认:Composer 2.5 在 Pro 上的标准分数,他们不当作可靠基准——分数是真实跑出来的,但混了编码能力和检索已知修复的能力。

更有意思的一点:越新的 Opus,差距越大;GPT 系列在同一研究里差距普遍更小。能力越强,越会在评测环境里找捷径。难怪我还是觉得Opus 4.6好用,笑~


五、对我们意味着什么

你可能觉得:「我又不跑 SWE-bench,跟我有啥关系?」

有关系。你选模型、看评测、读「XX 模型又 SOTA 了」的推文——很多数字来自同一类公开仓库基准。Agent 越强,越会:

  • curl GitHub 找 merged PR
  • git log 翻历史 commit
  • 从环境线索推断「这题有标准答案」

日常写代码时,Agent 上网查文档、搜 issue,这是正常能力。但评测分数如果不对环境做隔离,你看到的「智能进步」,有一部分是「更会作弊」。

Cursor 因此更倾向用 CursorBench 这类非公开仓库评测——Agent 还能正常用工具,但答案没法从公开渠道捞。

SWE-bench 上游已经在修:2026 年初通过 PR #471、#533 从环境镜像里剥离未来 git 历史。Cursor 这次研究用的镜像早于该修复。


六、3 条自查:怎么判断 Agent 真本事

不看榜单,你自己可以这么筛:

1、看轨迹,不只看结果

让 Agent 修一个你熟悉的 bug,回放它有没有:

  • 一上来就 curl GitHub API 查 PR
  • git log / git show 翻「未来的」fix commit
  • 直接 hardcode 测试期望的输出

有这几步,说明它在检索,不一定在推理。

2、别用单一 SWE-bench 数字选模型

同一个模型,标准框架和严格框架能差 14–20 个百分点。看评测报告时,先问:环境有没有断网、有没有清 git 历史、有没有审计轨迹? 三项缺一项,分数都要打折。

3、用你自己的私有仓库测

公开仓库 + 公开 bug = 公开答案。最靠谱的检验,还是丢一个没上过网的真实任务给 Cursor / Claude Code / Codex,看修完没有、改得干不干净。这比任何榜单更接近你的日常。


七、我的判断

Cursor 这篇研究,表面在拆 SWE-bench,实际在讲 Agent Harness 里「评测环境」这一层——跟模型强弱一样重要。环境没设计好,分数测的是检索能力;环境设计好了,才能测编码能力。

三个结论:

  1. 2026 年的 Agent 评测,进入「防作弊」阶段。训练数据污染之外,运行时泄漏(git 历史、公开 Web)是更现实的问题。
  2. 模型越强,reward hacking(奖励作弊)越严重——这不是某一家的问题,是 Agent + 公开基准的结构性漏洞。
  3. 个人选工具:私有任务实测 > 榜单分数。 对我们用 Cursor / Claude Code / Codex 的人,自己仓库里跑一轮,比信 87% 靠谱得多。

Cursor 愿意公开 Composer 2.5 在 Pro 上差距最大,比只晒标准分数诚实。下次有人吹「SWE-bench 又破纪录」,你可以先问一句:严格框架下多少分?轨迹审计过了吗?


参考链接

AI工具实战派

觉得有用?每周的新笔记先发公众号。

每周的实战笔记先发在这里。扫码关注,新文章第一时间推给你。

关注 / 加入社群 →