虚假的前沿：自我进化搜索 Agent 里的「合谋作弊」及其解法

自己出题自己答，分数涨了，正确率却没涨

3 分钟版

问题　自我进化的搜索 Agent 用一个「出题者」从文档生成问题和伪标签，再用「解题者」回答；出题者的奖励取决于解题者的回答和伪标签有多一致。问题在于：错误的伪标签会被解题者学进去，之后解题者在同一文档的新问题上复现这个错误，于是「一致」被当成了奖励。作者用外部审计发现，第 1 轮时这种「错误的一致」几乎没有，到第 3 轮已经占到 6.1%（4B）和 8.8%（9B）。

思路　最直接的补救是训练前先验证：多样本验证 MSV 让同一模型带文档答 3 次、不带文档答 3 次，两边多数答案一致才收题。但它只部分有效，而且每道候选题多出 6 次生成。作者的主方法 CrossFit 改的是「谁来打分」：把来源文档分成两组，A 组文档出的题，由只在 B 组上训练过的辅助解题者打分，反之亦然。主解题者照常用全部题目训练，奖励公式完全不变。

结果　在 Qwen3.5-4B 和 9B 上，错误一致率从 6.1% / 8.8% 降到 3.0% / 3.7%（MSV 只降到 5.7% / 7.2%）；在固定题库回放中进一步降到 0.4% / 0.1%。七个搜索问答基准的平均 Cover-EM 比标准自我进化（Dr. Zero）高 8.8 和 8.4 个百分点，比 Search-R1 高 8.7 和 7.8 个百分点。

所以呢　教训很具体：闭环训练中，奖励信号的「血统」比伪标签质量更重要。只要打分者见过同源的错误答案，一致性就不可信。代价也要算清楚：CrossFit 使预留算力增加 72%–79%，减半辅助训练后约 36%–40%。

关键数字

• 6.1%→3.0% 错误一致率（Qwen3.5-4B，自适应重跑）（摘要 · §5.1）
• 0.488 七个基准平均 Cover-EM（Qwen3.5-4B，CrossFit）（§4.2 · Table 1）
• 10.0 多跳任务平均提升（4B）（§4.2）
• 0.004 固定题库回放中的错误一致率（按来源分折，4B）（§5.2 · Figure 7）
• +72% CrossFit 增加的预留算力（4B）（附录 A · Table 3）

局限与疑问

• 审计使用外部模型判定正确性，本身可能有误；无法判定的样本保持未决。
• 只覆盖开放域问答与两个模型规模（Qwen3.5-4B、9B）。
• CrossFit 增加 72%–79% 的预留算力，作者明确表示尚未证明端到端成本更低。
• 两个辅助解题者仍可能共享来自预训练或重叠证据的错误。

arXiv 摘要页 · PDF