RRSI：给 Agent 外壳的「自我改进」加正则，防止背题

外壳自我进化会背题，加正则才能换题也有效

3 分钟版

问题　自动化的外壳进化（Meta-Harness、AHE 等）反复用同一批有限的任务反馈来提议和筛选改动，相当于在 Agent 系统层面做「递归自我改进」。但这会过拟合：搜索可能编码了基准特有的模式（背题）、把评估噪声里的偶然赢家当成真改进（追噪声）、或者不断堆复杂度换分数（膨胀）。结果是进化集上大涨、分布外基准上缩水甚至倒退。

思路　RRSI 在「提议」和「挑选」两端都加约束。提议端：每轮能打包的独立改动数随时间余弦退火（L0 式稀疏），记录每个候选测试过的假设与结果供后续参考，搜索停滞时把一部分预算留给还没动过的组件。挑选端：评估前由评审模型拒绝写入任务名、答案等基准特有内容的改动；用基线反复评估估出噪声带，涨幅不超过噪声的改动要满足额外条件；按成本收费（L2 式）；定期剪掉不再划算的改动（L1 式）。

结果　在编码、Agent 办公、工程设计三类共八个基准上，进化集最多涨 6.0 分，五个分布外基准最多涨 4.3 分，没有任何留出集退步；办公类分布外平均 43.6 vs 未进化的 39.7，而四个已有方法中两个低于起点。最终外壳每次试验用 2.42M token，无正则版本为 3.80M。均为作者自报。

所以呢　RRSI 的进化集涨幅反而是所有方法里最小的——这正是它的设计取舍：用进化集分数换可迁移性。对 Agent 平台和评测公司，这篇论文给了一个可操作的标准：外壳改动必须在「没见过的基准、不同评分方式」上验证，且要报告成本。

关键数字

• 43.6 Agent 办公类三个分布外基准平均分（RRSI）（§4.2 · Table 1）
• 4.3 Frontier-Eng 分布外提升（Medal 分）（§4.2）
• 2.42M 最终外壳每次试验的策略 token 数（§4.3 · Table 2 · Figure 4）
• +6.0 Terminal-Bench 2.1 进化集提升（§4.2）
• 92.8 去掉全部正则时 Harvey LAB 进化集得分（§4.3 · Table 2）

局限与疑问

• 只覆盖冻结底座的外壳进化。
• 依赖有限进化集和多个超参数，效果受反馈质量和搜索预算影响。
• 办公类基准由评审模型评分；工程设计类虽为确定性评分，但只有两个基准。
• 进化外壳仍比起点多用 token（2.42M vs 1.56M），收益部分来自更多计算。

arXiv 摘要页 · PDF