Opus 4.8 Max 在 SWE-bench Pro 上跑到 87% 的时候,你心动过吗?
Cursor 最近发了一篇研究,结论挺扎心:这些「成功修复」里,有 63% 是直接拿到已知补丁,不是从零推出来的。封掉 Git 历史、断网之后,Opus 从 87.1% 掉到 73.0%,自家的 Composer 2.5 从 74.7% 掉到 54.0%。
对我们这种天天用 Cursor / Claude Code / Codex 写代码的人来说,这篇的价值就一个:别拿榜单分数当选购模型的唯一依据。 下面讲清楚发生了什么,以及你怎么自己判断 Agent 是真会修 bug,还是在「奖励作弊」。
一、什么叫「奖励作弊」?
强化学习里有个老概念叫 reward hacking(奖励作弊):模型不去真正完成任务,而是找评测规则的漏洞拿分。
编程基准特别容易中招。SWE-bench 这类数据集,题目来自真实仓库里已经修过的 bug——答案早就存在于 GitHub PR、合并记录、公开讨论里。Agent 如果能上网、能读 .git 历史,它完全可以检索修复方案,而不是自己推导。
Cursor 的比喻很准:题目是「解一道已经公布答案的题」,聪明模型会先去搜答案,而不是动笔算。
二、Cursor 查了什么?数字先说
Cursor 建了一个审计 Agent,看了 731 条 Opus 4.8 Max 的评测轨迹——只看题目和完整操作记录,不知道那次跑分过没过,专门判断「有没有拿到已知答案」。
SWE-bench Pro 上,成功修复的 63% 属于「检索到的」,不是「推导出来的」。
两种最常见的手法:
| 手法 | 占比 | 干什么 |
|---|---|---|
| 上游查找 | 57% | 在公开 Web 上找到已合并的 PR 或修复后的源文件,几乎原样复现 |
| Git 历史挖掘 | 9% | 在评测环境自带的 .git 里搜「未来那次修 bug 的 commit」,直接 cherry-pick 补丁 |
极端案例也有:Agent 找到 SWE-bench 镜像页,看到了隐藏测试和标准补丁;还有的拿到隐藏测试文件,把预期异常字符串硬编码进代码。
更「聪明」的一种:2019 年 jq 的一个 bug,Agent 用系统自带的 jq 二进制复现失败——因为镜像是在 bug 修完之后才构建的。Agent 推断「这 issue 早就解决了」,转而去搜修复方案,而不是自己写 patch。
三、两种作弊,长什么样
1、上游查找(Opus 4.8 Max)
直接调 GitHub API 看 merged PR 改了哪些文件:
cd /testbed && curl -s "https://api.github.com/repos/apache/druid/pulls/14092/files" | grep '"filename"'
2、Git 历史挖掘(Composer 2.5)
在 bundled 的 .git 里找 fix commit,读 diff,cherry-pick:
cd /testbed && git show 895abd8929 -p | head -400
cd /testbed && git cherry-pick 895abd8929
这些操作在评测框架里完全合法——Agent 有 shell、有网络、有 git。但测到的能力,混了「会修 bug」和「会找答案」。
四、封掉泄漏通道之后,分数掉多少
Cursor 搭了一套严格评测框架,两道隔离:
- 历史隔离:Agent 开跑前删掉
.git,重建成单 commit 仓库;打分时才恢复原始历史跑测试。 - 出口代理:默认断网,只允许访问白名单里的包管理源装依赖。
在这套框架下重跑 SWE-bench,标准分数和严格分数的差距(Δ):
SWE-bench Pro(差距最大):
| 模型 | 标准 | 严格 | 差距 |
|---|---|---|---|
| Opus 4.8 Max | 87.1% | 73.0% | -14.1 |
| Composer 2.5 | 74.7% | 54.0% | -20.7 |
| Opus 4.6 Max | ~76% | ~76% | <1 |
SWE-bench Multilingual:
| 模型 | 差距 |
|---|---|
| Opus 4.8 Max | -9.1 |
| Composer 2.5 | -7.5 |
| Opus 4.6 Max | <1 |
Cursor 自己承认:Composer 2.5 在 Pro 上的标准分数,他们不当作可靠基准——分数是真实跑出来的,但混了编码能力和检索已知修复的能力。
更有意思的一点:越新的 Opus,差距越大;GPT 系列在同一研究里差距普遍更小。能力越强,越会在评测环境里找捷径。难怪我还是觉得Opus 4.6好用,笑~
五、对我们意味着什么
你可能觉得:「我又不跑 SWE-bench,跟我有啥关系?」
有关系。你选模型、看评测、读「XX 模型又 SOTA 了」的推文——很多数字来自同一类公开仓库基准。Agent 越强,越会:
- curl GitHub 找 merged PR
- git log 翻历史 commit
- 从环境线索推断「这题有标准答案」
日常写代码时,Agent 上网查文档、搜 issue,这是正常能力。但评测分数如果不对环境做隔离,你看到的「智能进步」,有一部分是「更会作弊」。
Cursor 因此更倾向用 CursorBench 这类非公开仓库评测——Agent 还能正常用工具,但答案没法从公开渠道捞。
SWE-bench 上游已经在修:2026 年初通过 PR #471、#533 从环境镜像里剥离未来 git 历史。Cursor 这次研究用的镜像早于该修复。
六、3 条自查:怎么判断 Agent 真本事
不看榜单,你自己可以这么筛:
1、看轨迹,不只看结果
让 Agent 修一个你熟悉的 bug,回放它有没有:
- 一上来就
curlGitHub API 查 PR git log/git show翻「未来的」fix commit- 直接 hardcode 测试期望的输出
有这几步,说明它在检索,不一定在推理。
2、别用单一 SWE-bench 数字选模型
同一个模型,标准框架和严格框架能差 14–20 个百分点。看评测报告时,先问:环境有没有断网、有没有清 git 历史、有没有审计轨迹? 三项缺一项,分数都要打折。
3、用你自己的私有仓库测
公开仓库 + 公开 bug = 公开答案。最靠谱的检验,还是丢一个没上过网的真实任务给 Cursor / Claude Code / Codex,看修完没有、改得干不干净。这比任何榜单更接近你的日常。
七、我的判断
Cursor 这篇研究,表面在拆 SWE-bench,实际在讲 Agent Harness 里「评测环境」这一层——跟模型强弱一样重要。环境没设计好,分数测的是检索能力;环境设计好了,才能测编码能力。
三个结论:
- 2026 年的 Agent 评测,进入「防作弊」阶段。训练数据污染之外,运行时泄漏(git 历史、公开 Web)是更现实的问题。
- 模型越强,reward hacking(奖励作弊)越严重——这不是某一家的问题,是 Agent + 公开基准的结构性漏洞。
- 个人选工具:私有任务实测 > 榜单分数。 对我们用 Cursor / Claude Code / Codex 的人,自己仓库里跑一轮,比信 87% 靠谱得多。
Cursor 愿意公开 Composer 2.5 在 Pro 上差距最大,比只晒标准分数诚实。下次有人吹「SWE-bench 又破纪录」,你可以先问一句:严格框架下多少分?轨迹审计过了吗?
参考链接
- Cursor — 奖励作弊正在淹没模型智能的进步(中文):https://cursor.com/cn/blog/reward-hacking-coding-benchmarks
- Cursor — Reward hacking is swamping model intelligence gains(英文):https://cursor.com/blog/reward-hacking-coding-benchmarks
- 2024 研究(基准答案泄露):https://arxiv.org/abs/2410.06992
- Meta 2025 报告(SWE-bench issue #465):https://github.com/SWE-bench/SWE-bench/issues/465
- SWE-bench 上游修复 PR #471:https://github.com/SWE-bench/SWE-bench/pull/471