RRSI：更高的分数，究竟选中了什么？

AI 做一批任务，读取反馈，修改工作方式，再做一遍。每轮结果都参与挑选下一次修改。分数不断上涨时，这批任务其实在做两件事：衡量 Agent 的表现，也塑造它以后会采用的方法。

这让自我改进的判断变得复杂。反复评分选出来的流程，可能对新工作有用，但筛选时的分数无法说明它能适用到多远。RRSI 的工作任务实验展示了这个区别：Meta-Harness 在用于挑选修改的任务上分数更高，RRSI 在另外三个基准的均分上更高。两者的跨基准均分都超过起始 Agent。理解排名为什么反转，要看两条搜索路线最后各自留下了什么。

模型权重始终固定。可修改的是模型周围的工作框架，论文称为 harness：指令、工具和执行流程，包括读哪些文件、如何检查工作、何时结束。论文把反复用于筛选修改的任务叫作优化集。这些任务的结果指导后续修改；搜索结束后，最终框架原样运行在未参与筛选的任务上。v3 工作框架与演化流程

同一个工作环境，留下两种修改

这组对照从法律工作基准 Harvey LAB 出发。任务提供 Word、Excel、PDF 来源文件，要求生成指定名称的交付文件。RRSI 与 Meta-Harness 使用同一套起始框架、同一个固定模型、同一批优化任务和相同的候选预算。这里对齐的是候选预算，不代表 token 消耗或费用相同。工作任务设置与评测

据作者对最终框架的检查，Meta-Harness 加入了一套 730 词的常驻系统指令。它要求逐项围绕引用依据、适用规则或操作规范条款、严重性、后果和建议修复组织工作。这些维度由此进入 Agent 的日常流程。指令没有写入某道题的名字，但作者认为，它重述了优化任务的评分细则。这种贴合可以发生在评分维度这一层。

RRSI 的最终修改作用于工作中的另一个环节。作者报告，20 轮搜索评测了 32 个候选，接受四项修改：一项覆盖与深度复查，以及三个读回交付文件的小程序。它们都接入起始框架已经具备的交付前检查。其中一个会指出：某个来源数值在所有已写文件中都没有出现。它在 Agent 即将结束时，对输出文件提供反馈。这些是作者对最终框架的描述。附录 F，表 9

下面的教学图把这个检查展开。假设任务要求把 source.pdf 中的金额写进 report.docx，金额用 x 表示。报告已经生成，却漏了 x。读回报告会暴露这处遗漏，把 Agent 引回同一份草稿，在完成之前继续处理。

文件名与 x 是编辑设置的教学占位。图示解释反馈如何返回草稿，没有记录一次实际实验修复。

这里有两处决策。一次任务内部，遗漏反馈引导 Agent 继续处理当前报告；轮次之间，改进搜索决定是否把这种检查程序留在框架里，供后续任务使用。在图示中，x 属于当前任务的输入，可以延续到下一项工作的则是读回输出文件的程序。

这样就能更具体地理解复用。围绕 Harvey 评分维度组织的常驻检查表，换到新任务后是否有用，取决于这些维度是否仍然合适。检查要求的信息有没有进入交付文件，则可能在任务主题改变后仍然有意义，前提是相关来源和输出依旧可读。JobBench 提供文件系统，以及生成办公文档、PDF 的工具；APEX-Agents 也有文件与文档工具。这些接口保留了读回动作所需的一个条件。作者称，保留的探针不含评分细则或领域词汇，在三个迁移基准上仍能运行。文件环境与保留的探针

这为复用提供了一个有边界的解释。能访问文件，意味着检查可以执行，不意味着交付物正确。发现 x 缺失，可以暴露遗漏；即使在报告中找到了 x，也不能由此证明它用对了，更不能证明推理成立。

筛选时分数更高，换任务后排名却反转

Harvey 一次性划分为 120 项优化任务和 40 项同基准留出任务。另行检验跨基准迁移的是 JobBench、GDPval 和 APEX-Agents。论文报告的结果如下：

Harvey 分数是通过的评分条目占比，并非整项任务全部做对的比例。最后一列对三个基准分数取均值，既不是合并所有任务后的准确率，也不是通用智能的刻度。表 1、表 2 与表 9

在筛选修改的任务上，Meta-Harness 排在前面；在跨基准均分上，RRSI 排在前面。同基准留出测试补上了一个不能省略的限定：在预留的 40 项任务上，两者都是 89.2。这项测试没有显示 RRSI 占优，而且 Meta-Harness 的跨基准均分也超过起始框架。对照讨论的是谁迁移得更好，不能把它读成 Meta-Harness 没有迁移收益。

最终保留的修改，有助于解释这些测量。反复使用同一套评分办法，给了搜索反复调整工作流程、贴合这套办法的机会。作者指出的那套围绕评分细则组织的指令，就是这种担忧的具体例子。读回检查则针对生成文件到宣布完成之间的一个明确步骤。这种差别提示了两套流程为什么可能有不同的适用范围。不过，排名反转本身不能证明这个解释。

反馈怎样变成长期保留的修改

RRSI 对提出修改、允许修改留下这两个环节都加了约束。提案侧逐渐减少单个候选能够捆绑的独立修改数量，同时记录修改了哪个组件、检验什么假设、实际改动、分数与成本变化，以及候选是否被接受。后续提案会使用这些历史，包括已被否决的思路。作者给出的后期缩小修改规模的理由，是便于归因：同时变化的东西更少，就更容易辨认测得的提升来自哪里。提案约束

筛选侧则由审查者在完整评测前读取实际改动，拒绝其中明确针对基准的内容，包括题目名字、实体、特定数值和答案。通用的提示词或工具描述改进仍可入选。候选须先满足准入条件，分数才有资格成为替换当前框架的依据。这约束的是反馈怎样变成长期行为，并没有禁止修改某一类组件。候选筛选

查过明确的基准专属内容，迁移仍然要测。Meta-Harness 的例子说明了原因：指令可以不含任何题目名字，却仍然围绕反复出现的评分细则组织工作。通过这道较窄的检查，回答不了它换到其他任务后是否仍然有用。

论文还通过按组移除约束，提供了另一层证据。无论移除提案侧还是准入侧约束，优化集分数都会更高，三个其他基准的均分都会更低。这些对照保持起始框架、模型、优化集、轮数和候选预算相同，支持约束组在这次实验中对迁移发挥了作用。它们没有分别确定审查者、缩小修改规模这条规则，或某一个读回探针的独立效果。匹配条件的移除对照，表 2

漏掉金额的场景，把开头的问题重新落回具体工作。让 Agent 回到一份报告，关乎这一项任务怎么修；把检查程序留下，再放到未参与筛选的任务上检验，才涉及未来的工作方式有没有改进。RRSI 报告的工作任务结果，支持固定模型周围的执行流程获得了可迁移的改进，尚未证明一般性或无限递归自我改进。理解这项改进，需要把分数、分数选中的修改，以及修改在哪些新工作上仍然有用连起来。

本文基于冻结的 arXiv v3 材料，呈现作者报告的结果与最终框架描述，并提供编辑解读。本文不提供独立复现实验结果，也不声称这些发现首次出现于 v3。