工具更多、总分更高，旧任务仍可能退步

工具目录扩大，Agent 的总体通过率可以提高，旧任务表现却仍可能退步。EvoHarnessBench v3 在部署基线上报告了这两种结果。分开比较基线，表面上的矛盾就消失了：一种比较工具暴露条件，另一种追踪旧任务跨能力池阶段的变化。工具结果，表 2 与图 3

任务不变，周围的能力池扩大

这里的 harness，是 Agent 执行任务时可用的能力池，包括工具、可复用的程序性技能或专职 Agent。EvoHarnessBench 分别扩展这三个轴。能力按任务需求频次累计开放，常用能力先加入；已经加入的能力不删除、不改写，旧任务的输入与可由验证器检查的目标也保持不变。每个阶段执行中的能力池固定。这种构造让同一批任务可以在能力池扩大后再次接受评价。构造方法，§3.1–3.3

下图用三个阶段 H1–H3、三个任务队列 C1–C3 解释指标定义。一个队列包含同一阶段引入的任务。这些是教学标签，不对应某条实测实验流，格内也没有分数。“尚未引入”表示当时没有这批任务的评价，不能读成零分。

格子的第一个下标是阶段，第二个下标是队列。例如，P31 表示 C1 在 H3 能力池下的表现。沿同一列比较，任务保持不变，改变的是能力池阶段。表现矩阵，附录 D

BWT 配对旧格子，ACC 汇总最终一行

对 C1，后向迁移 BWT 比较最终评价 P31 与引入时评价 P11。C2 提供的差值是 P32 − P22。C3 不提供 BWT 配对：它到最终阶段才出现，没有更早阶段的评价可用来测保留。

如果 n1、n2 分别表示这两个旧队列的评价任务数，那么附录 D 的定义在这张示意图中写成：

BWT = [n1 × (P31 − P11) + n2 × (P32 − P22)] / (n1 + n2)

蓝框标出了这些配对端点。负 BWT 表示旧队列表现在这个加权平均上退步，不表示每一道旧任务都退步；反过来，非负平均值也可能包含个别任务的退步。BWT 定义，附录 D

最终 ACC 取的是另一组格子：P31、P32、P33，即整条青色行。n3 表示 C3 的评价任务数：

ACC = [n1 × P31 + n2 × P32 + n3 × P33] / (n1 + n2 + n3)

ACC 纳入最终新队列，也没有减去任何引入时基线。格子画得一样大，不代表队列等权：两种公式都按任务数计权，但分母覆盖的队列不同。颜色标识比较范围，不表示分数涨跌。最终 ACC 与矩阵定义，附录 D

因此，最终总分不能确立旧能力保留。最后一行的表现水平，没有告诉读者每一列旧任务发生了什么变化。这张图也没有指出总分收益来自哪些后来加入的任务；那需要对应的队列数据。

表 2 改变工具暴露条件，没有提供保留基线

工具结果使用 EnterpriseOps-Gym 和 Agents' Last Exam，分别简称 EOG、ALE。表 2 固定 GPT-5，在 EOG 使用 ReAct，在 ALE 使用 Codex。通过率统计验证器判定成功完成的任务比例。参照条件只给每个任务注解标出的所需工具；累计条件则给出对应阶段可用的完整目录。基准实例与评价定义，§3.1、§3.4、表 2

这些箭头比较两种暴露条件，与图中从引入到最终的蓝色箭头不同。26.0% 和 30.2% 不能填成 P11 与 P31：表 2 的总体数值没有提供那一列队列的测量。

更广的目录提高了两组比较中报告的通过率点值，也增加了运行 token 总量。M 表示百万。这些总量不是每次试验的策略 token 预算、货币成本或完整研究账单；token 增加本身也不能证明执行时间更长。

作者另行报告，EOG 上 ReAct、ALE 上 Codex 的部署 BWT 为负。部署模式在每个阶段启动新系统，不携带跨阶段持久状态。模型参数和提示固定，改变的是暴露出来的能力池。这里的“遗忘”描述旧任务在扩大后的能力池中表现退步，不需要以权重变化或跨阶段记忆丢失为前提。部署控制与迁移观察，§3.4、§4.1

论文内部也有反例。EOG 的多 Agent 工具设置报告的遗忘很少，无记忆 AutoGen 的 BWT 为正。作者提醒，一个获得新能力较少的弱系统，也可能显得稳定。因此，保留结果要与系统实际能做什么、如何适应新任务一起解读。多 Agent 保留结果，附录 I.2

另一项 EOG 专职 Agent 分析给出了更具体的行为变化：遗忘任务更常停止调用此前成功执行时用过的专职 Agent。主要观察是委派覆盖丢失，而非更多地调用新加入但无关的 Agent。它展示了一个设置中的执行失败，尚不能确立工具、技能、Agent 三个轴上所有退步的原因。委派漂移，图 8

经验又引入了一种比较

适应模式跨阶段携带持久状态。系统可以在预留任务上接受评价之前，用累计适应任务更新记忆、流程、文本指令或路由策略。研究中的模型权重仍固定。外部能力池与积累起来的状态，是协议中两个不同的部分。适应范围与协议，§1、§3.4

MemToolAgent 把相关动作、环境反馈和任务结果转成可检索的程序性反思。它在 EOG 报告的通过率为 38.6%，高于累计部署基线的 30.2%；在 ALE 为 10.1%，低于基线的 12.2%。同一种记忆方法的收益，没有一致地延续到这两个环境。记忆表示，附录 G.1、表 2

表 3 接着固定 EOG 任务流与累计评价能力池，只改变 MemToolAgent 适应期间可用的工具。这个区别直接影响解读：三种条件在接受评价时，面对的都是累计目录。适应环境对照，表 3

任务专属条件报告的适应时间更少，通过率相近，但它拿到了隐藏的所需工具注解。这组比较没有展示运行时自动筛选工具的能力，也没有确立统计优越性，更不能据此选出通用最优暴露策略。在技能轴上，论文还明确说明，基于关键词的任务关联只是启发式注解，不保证必要、充分或唯一。注解条件本身也是这些对照能够支持什么结论的一部分。注解范围，§3.3、表 3 解读

即便积累的经验有用，适应与保留也没有合并成一个结果。前向迁移 FWT 比较同一新队列在当前阶段适应前后的表现，能力池保持相同，并将首阶段之后各队列的差值按任务数加权。论文报告的工具迁移汇总中，GEPA、Meta-Harness 的 BWT 为正，在 ALE 上的 FWT 却为负。旧队列保留改善，可以与新队列适应变差同时出现。FWT 定义，附录 D、迁移结果，图 3

对于递归自我改进的讨论，这项研究支持一个有边界的评价判断：最终总体表现、旧队列变化、新队列适应，各自需要证据。EvoHarnessBench 的外部能力增长与固定权重下的状态更新，没有确立通用递归改进过程或普适 RSI 刻度。最后的总分更高，仍没有回答旧任务那几列发生了什么。研究范围与指标

本文分析日期为 2026 年 10 月 14 日，讨论 9 月 26 日修订的 v3；v1 于 9 月 3 日提交。这些版本日期不能确定实验日期或 v3 的精确变更清单。本文呈现作者报告的结果，不提供独立复跑结果。版本历史