Dream-RSI:用过去的搜索,检验新的搜索策略
已有尝试让策略无须重做发现过程,就能检验不同的后续选择。Lasso 结果则说明,搜索调用减少与求解器运行变快需要分开解读。
从 AlphaEvolve 改出的矩阵乘法内核出发,比较 SEAL、DGM 与 MetaRSI:沿着实际更新对象、选择反馈和下一步实测结果追踪。
DeepMind 报告,AlphaEvolve 找到了更合适的大矩阵乘法子问题划分,使 Gemini 的一个内核速度提升 23%,并使 Gemini 整体训练时间减少 1%。搜索出的程序已经带来了实际训练收益。两个百分比分别描述局部内核的速度与整体训练时间,量和范围都不同,不能据此反推内核原先占了多少训练时间。AlphaEvolve 官方介绍
这次成功留下了一个已经投入使用的更高效程序。追踪递归自我改进,还要继续问:系统继承了什么,能够帮助它找到下一次改进?这项训练结果没有测量提出程序的系统是否随后变得更会提案。
SEAL、DGM、AlphaEvolve 和 MetaRSI 让这个问题落到具体对象上。沿着每项研究追踪实际改了什么、什么反馈在选择修改、报告的结果测到了什么,才能把去往下一轮的关系接起来。回去的路径与向前的路径同样值得看清。
这张编辑制作的教学图整理了原件中的关系。从左向右读完一行,再沿回箭头找到接收反馈的对象。箭头表示过程,不表示收益或因果贡献大小;行位置只区分研究。在 AlphaEvolve 这一行,部署箭头与返回后续提示的箭头回答的是两个不同的问题。
AlphaEvolve 官方介绍的搜索循环中,Gemini 模型提出程序,自动评测器验证、运行并评分,进化程序库决定哪些程序进入后续提示。因此,前一轮搜索会改变下一轮提案能够读取的材料。官方机制说明
部署则把程序放进另一个流程。开头的例子中,改好的矩阵乘法内核加快了 Gemini 训练。图中的向下箭头,把局部内核结果接到整体训练结果;回箭头则沿着程序返回搜索提示。
两条路径都把有用的东西传了下去,留下的证据却不同。官方介绍报告了训练效率收益,也描述了后续搜索如何复用程序;针对这项内核结果,它没有给出下一轮提案能力的匹配对照。图中的“未测”保留了这个问题,既不把收益填成零,也不暗示提案模型的权重已经更新。这是本文根据原件测量范围作出的解读。
SEAL 的知识吸收循环,把“留下材料”与“学会一种方法”的区别展示得很清楚。模型根据给定文章生成推论或改写,再通过 LoRA 微调把材料用于参数更新。适应后的模型回答文章对应的问题,文章本身已移出上下文。只生成材料,参数更新这一步还没有发生。SEAL v1,知识吸收实验
它还有一条外层学习循环。适应后的表现成为奖励,用来训练自编辑生成方法。论文报告,经过这项训练后生成的材料,在无文章上下文的问答中,优于直接用文章微调,也优于未经强化学习训练的生成方法所产出的材料。一种更新吸收知识,另一种更新学习如何准备后续学习材料。只把 SEAL 概括成“改权重”,就会漏掉回箭头实际落到的方法。SEAL v1,方法与结果
DGM 给下一轮留下的是另一种东西:基础模型保持冻结,编码 agent 的实现发生变化。一个实际发现,是把整文件查看或替换改成按行查看、按字符串替换。这段代码成为后续 agent 的一部分,既参与解决编码任务,也参与编辑它自己的代码库。DGM v1,发现的工具修改
继承下来的东西还可以留在一条分支中。被选中的父代检查自己的编码评测日志,提出功能,再在自身代码库中实现。档案保留有功能的变体,其中一些最初分数低于父代,后来却成为继续改进的踏脚石。因此,DGM 能把一个暂时不占优的选择留给后续修改。v1 的外层档案维护与父代选择仍是固定的。DGM v1,档案机制
图中的回箭头现在有了不同的落点:训练 SEAL 的生成方法,选择 DGM 后续的父代,以及提供 AlphaEvolve 后续提示中的程序。前一轮结果重新进入后续工作,说明了一条机制;这条机制是否让下一步改进更有效,还要看测量。
SEAL 的奖励带着一个具体任务。在知识实验中,文章与问题、参考答案配对,GPT-4.1 为适应后的回答评分。当前实验要求明确的下游评测任务,因此论文没有展示同一条外层训练循环在无标签语料上运行。奖励回答的是:这次编辑对给定任务有没有帮助。SEAL v1,评测与限制
保留实验另问了一件事:先前学到的东西还在不在。每次吸收新文章后,模型都重新接受旧任务评测。随着编辑累积,旧任务表现逐渐下降,尽管多次更新还没有导致完全崩塌。训练目标并未专门优化保留。因此,新编辑有效可以与旧知识流失同时发生;单篇吸收的正向结果,还没有回答知识能否持续积累。SEAL v1,连续编辑实验
DGM 把进入档案与立即提高分数分开。候选必须能编译,并保留代码编辑能力,才可进入档案;入档不要求分数超过父代。编码结果为搜索提供反馈,论文也报告了持续自修改与档案探索各自的正向对照。把编码表现解释成自我改进能力,仍用了作者明确提出的代理假设:编辑 agent 自身也是编码任务。这些对照支持该编码设置,没有建立通用科研能力的结论。DGM v1,入档、对照与限制
MetaRSI 则让改进方法中更多的对象可写:如何诊断失败、提出修改的策略,以及安排操作顺序的调度策略。其目标系统包括数据和执行环境,也就是围绕模型的提示、工具等运行结构。自托管的开放权重目标还可修改模型状态;仅通过供应商接口访问的目标使用数据与执行环境这条路径。固定、确定性的编译器把尝试、轨迹和结果整理成学习信号。MetaRSI v2,可写对象与学习信号
MetaRSI 报告的实验中,每个模型驱动角色都由目标模型自身承担,但成功与否仍由环境中的验证器判定:代码测试,或答案的精确、数值匹配。其契约把封闭评测、保留任务、正式后继的发布规则与资源计量放在所有可写对象之外,元策略也不能修改它们。报告的结果来自正式后继系统,每轮在封闭评测集上评分一次,而不是取档案中最好的候选。所有角色使用目标模型,并不意味着外部正确性标准消失了。MetaRSI v2,实验协议
MetaRSI 随后检验了内核部署百分比没有回答的下一步问题。第一轮产出正式后继 S1,第二轮从这个相同的 S1 分叉:一条路径使用原改进器,另一条使用元更新后的改进器。两者获得相同的下一轮预算和封闭评测集。更新后的改进器取得更大的平均基准增量。MetaRSI v2,同后继对照
相同起点让这项比较有了明确意义。只看到更晚的系统分数更高,还难以分清有多少来自更好的起点。这里两条路径都从 S1 出发,比较的是在匹配条件下,哪个完整改进器能做出更有效的下一步。它没有分别识别每条提案策略或调度策略修改的因果贡献。这是在可执行编码与封闭答案推理任务上的局部正向证据。
五轮轨迹又给这项结果加上了时间范围。更新路径保持了更大的累计收益,但两条路径的单轮增量都在递减。每轮重新获得同等额度的预算,改进预算与元更新预算分别记账。同起点的下一步更有效,可以与后续增量逐渐缩小同时成立;这条轨迹没有展示无限加速。MetaRSI v2,预算计量与五轮结果
回到矩阵乘法内核,部署收益已经被报告,程序库进入后续提示的路径也已有描述。回箭头另一端的提案能力,仍没有被这项结果测量。MetaRSI 的分叉展示了“描述继承关系”与“测量下一步改进”的区别,并没有把几项研究排成等级。
有用的比较可以沿着同一组关系展开,同时保留各自范围:什么传了回来,哪个对象接收了它,下一步实测发生了什么变化?这些问答、编码和效率结果既没有提供共同的性能或净成本收益刻度,也没有建立开放任务中通用递归自我改进的证据。
本文解读 SEAL v1、DGM v1、AlphaEvolve 官方介绍与 MetaRSI v2 论文中的作者报告。本文不提供独立复跑结果或共同的跨系统基准。
https://arxiv.org/html/2506.10943v1 | knowledge adaptation L103-L105; L142-L148
https://arxiv.org/html/2506.10943v1 | sequential retention L229-L233; explicit evaluation tasks L238-L239
https://arxiv.org/html/2506.10943v1 | model and task L396; automated grading L431
https://arxiv.org/html/2505.22954v1 | frozen-model scope L70-L72; empirical search and archive L95-L104
https://arxiv.org/html/2505.22954v1 | benchmark protocols L112-L123; discovered tools L142-L143
https://arxiv.org/html/2505.22954v1 | model and benchmark limits L170-L172
https://deepmind.google/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/ | program proposals L128; evaluator and database L131-L132; kernel and training time L146
https://arxiv.org/html/2609.06396v2 | writable operators and control policies L80-L85; learning signal L136-L146; protected measurement L157-L159
https://arxiv.org/html/2609.06396v2 | experimental verifiers and accounting L419-L436; same-successor fork L475-L481
已有尝试让策略无须重做发现过程,就能检验不同的后续选择。Lasso 结果则说明,搜索调用减少与求解器运行变快需要分开解读。
固定代码模型,四个候选,只执行一个:代码实验单独考察预测器适配。更完整的框架还要按条件更新组件,并决定保留哪一组策略与世界模型。