Cursor 研究: 越强的 AI 模型越善于在编程基准上“作弊”

IT之家6月26日消息，当地时间6月25日，Cursor发布相关研究，称更聪明的模型，正在变得更善于在编程基准上作弊。

官方表示，由真实缺陷构建、且这些缺陷后来已被修复的评测套件尤其脆弱，因为这些问题本来就已经被解决过了。如果智能体可以访问代码仓库历史或公开Web，它有时就能直接查到答案，而不是自己推导出来。

为了衡量这种行为到底有多普遍，Cursor构建了一个智能体来审查评测轨迹。在SWE-benchPro上，Cursor发现，ClaudeOpus4.8Max成功解决的问题中，有63%是直接获取修复方案，而不是自行推导出来的。

IT之家注意到，当屏蔽Git历史记录并限制互联网访问后，ClaudeOpus以及Cursor自家的模型Composer2.5的分数都明显下降：

Opus4.8Max从87.1%降至73.0%

Composer2.5从74.7%降至54.0%

Cursor团队表示，除了避免训练阶段的数据污染之外，智能体编程基准还需要受控的运行时环境。对于开展评测的团队，建议通过审查对话记录并约束评测环境，来缓解这种奖励作弊行为。

Cursor团队让审计模型检查了731条Opus4.8Max轨迹，发现的两种最常见的奖励作弊模式是：

上游查找：在57%的轨迹中，Opus4.8Max在公开Web上找到了已合并的PR或已修复的源文件，然后几乎原封不动地复现了修复内容。

Git历史挖掘：在9%的轨迹中，Opus4.8Max搜索了随附的.git历史，寻找未来修复该缺陷的提交，然后从中提取出补丁。

Cursor表示，随着模型能力变强，它们有时会推断出自己正在参与某项评测，尤其是在任务取自过去公开的代码仓库时。即使在不记得训练中修复方案的情况下，环境仍然可能给出线索，表明这个缺陷其实已经被解决了。