waytoRSI追踪递归自我改进
返回最新文章

自我改进成功之后,下一轮继承了什么?

从 AlphaEvolve 改出的矩阵乘法内核出发,比较 SEAL、DGM 与 MetaRSI:沿着实际更新对象、选择反馈和下一步实测结果追踪。

DeepMind 报告,AlphaEvolve 找到了更合适的大矩阵乘法子问题划分,使 Gemini 的一个内核速度提升 23%,并使 Gemini 整体训练时间减少 1%。搜索出的程序已经带来了实际训练收益。两个百分比分别描述局部内核的速度与整体训练时间,量和范围都不同,不能据此反推内核原先占了多少训练时间。AlphaEvolve 官方介绍

这次成功留下了一个已经投入使用的更高效程序。追踪递归自我改进,还要继续问:系统继承了什么,能够帮助它找到下一次改进?这项训练结果没有测量提出程序的系统是否随后变得更会提案。

SEAL、DGM、AlphaEvolve 和 MetaRSI 让这个问题落到具体对象上。沿着每项研究追踪实际改了什么、什么反馈在选择修改、报告的结果测到了什么,才能把去往下一轮的关系接起来。回去的路径与向前的路径同样值得看清。

四项研究沿更新对象、选择反馈、实测与未答问题三列比较。回箭头标出什么进入后续过程;行位置不构成性能排名。

这张编辑制作的教学图整理了原件中的关系。从左向右读完一行,再沿回箭头找到接收反馈的对象。箭头表示过程,不表示收益或因果贡献大小;行位置只区分研究。在 AlphaEvolve 这一行,部署箭头与返回后续提示的箭头回答的是两个不同的问题。

一个成功程序走出的两条路径

AlphaEvolve 官方介绍的搜索循环中,Gemini 模型提出程序,自动评测器验证、运行并评分,进化程序库决定哪些程序进入后续提示。因此,前一轮搜索会改变下一轮提案能够读取的材料。官方机制说明

部署则把程序放进另一个流程。开头的例子中,改好的矩阵乘法内核加快了 Gemini 训练。图中的向下箭头,把局部内核结果接到整体训练结果;回箭头则沿着程序返回搜索提示。

两条路径都把有用的东西传了下去,留下的证据却不同。官方介绍报告了训练效率收益,也描述了后续搜索如何复用程序;针对这项内核结果,它没有给出下一轮提案能力的匹配对照。图中的“未测”保留了这个问题,既不把收益填成零,也不暗示提案模型的权重已经更新。这是本文根据原件测量范围作出的解读。

回箭头落在什么对象上

SEAL 的知识吸收循环,把“留下材料”与“学会一种方法”的区别展示得很清楚。模型根据给定文章生成推论或改写,再通过 LoRA 微调把材料用于参数更新。适应后的模型回答文章对应的问题,文章本身已移出上下文。只生成材料,参数更新这一步还没有发生。SEAL v1,知识吸收实验

它还有一条外层学习循环。适应后的表现成为奖励,用来训练自编辑生成方法。论文报告,经过这项训练后生成的材料,在无文章上下文的问答中,优于直接用文章微调,也优于未经强化学习训练的生成方法所产出的材料。一种更新吸收知识,另一种更新学习如何准备后续学习材料。只把 SEAL 概括成“改权重”,就会漏掉回箭头实际落到的方法。SEAL v1,方法与结果

DGM 给下一轮留下的是另一种东西:基础模型保持冻结,编码 agent 的实现发生变化。一个实际发现,是把整文件查看或替换改成按行查看、按字符串替换。这段代码成为后续 agent 的一部分,既参与解决编码任务,也参与编辑它自己的代码库。DGM v1,发现的工具修改

继承下来的东西还可以留在一条分支中。被选中的父代检查自己的编码评测日志,提出功能,再在自身代码库中实现。档案保留有功能的变体,其中一些最初分数低于父代,后来却成为继续改进的踏脚石。因此,DGM 能把一个暂时不占优的选择留给后续修改。v1 的外层档案维护与父代选择仍是固定的。DGM v1,档案机制

图中的回箭头现在有了不同的落点:训练 SEAL 的生成方法,选择 DGM 后续的父代,以及提供 AlphaEvolve 后续提示中的程序。前一轮结果重新进入后续工作,说明了一条机制;这条机制是否让下一步改进更有效,还要看测量。

反馈究竟在选择什么

SEAL 的奖励带着一个具体任务。在知识实验中,文章与问题、参考答案配对,GPT-4.1 为适应后的回答评分。当前实验要求明确的下游评测任务,因此论文没有展示同一条外层训练循环在无标签语料上运行。奖励回答的是:这次编辑对给定任务有没有帮助。SEAL v1,评测与限制

保留实验另问了一件事:先前学到的东西还在不在。每次吸收新文章后,模型都重新接受旧任务评测。随着编辑累积,旧任务表现逐渐下降,尽管多次更新还没有导致完全崩塌。训练目标并未专门优化保留。因此,新编辑有效可以与旧知识流失同时发生;单篇吸收的正向结果,还没有回答知识能否持续积累。SEAL v1,连续编辑实验

DGM 把进入档案与立即提高分数分开。候选必须能编译,并保留代码编辑能力,才可进入档案;入档不要求分数超过父代。编码结果为搜索提供反馈,论文也报告了持续自修改与档案探索各自的正向对照。把编码表现解释成自我改进能力,仍用了作者明确提出的代理假设:编辑 agent 自身也是编码任务。这些对照支持该编码设置,没有建立通用科研能力的结论。DGM v1,入档、对照与限制

MetaRSI 则让改进方法中更多的对象可写:如何诊断失败、提出修改的策略,以及安排操作顺序的调度策略。其目标系统包括数据和执行环境,也就是围绕模型的提示、工具等运行结构。自托管的开放权重目标还可修改模型状态;仅通过供应商接口访问的目标使用数据与执行环境这条路径。固定、确定性的编译器把尝试、轨迹和结果整理成学习信号。MetaRSI v2,可写对象与学习信号

MetaRSI 报告的实验中,每个模型驱动角色都由目标模型自身承担,但成功与否仍由环境中的验证器判定:代码测试,或答案的精确、数值匹配。其契约把封闭评测、保留任务、正式后继的发布规则与资源计量放在所有可写对象之外,元策略也不能修改它们。报告的结果来自正式后继系统,每轮在封闭评测集上评分一次,而不是取档案中最好的候选。所有角色使用目标模型,并不意味着外部正确性标准消失了。MetaRSI v2,实验协议

从同一个系统出发,比较下一步

MetaRSI 随后检验了内核部署百分比没有回答的下一步问题。第一轮产出正式后继 S1,第二轮从这个相同的 S1 分叉:一条路径使用原改进器,另一条使用元更新后的改进器。两者获得相同的下一轮预算和封闭评测集。更新后的改进器取得更大的平均基准增量。MetaRSI v2,同后继对照

相同起点让这项比较有了明确意义。只看到更晚的系统分数更高,还难以分清有多少来自更好的起点。这里两条路径都从 S1 出发,比较的是在匹配条件下,哪个完整改进器能做出更有效的下一步。它没有分别识别每条提案策略或调度策略修改的因果贡献。这是在可执行编码与封闭答案推理任务上的局部正向证据。

五轮轨迹又给这项结果加上了时间范围。更新路径保持了更大的累计收益,但两条路径的单轮增量都在递减。每轮重新获得同等额度的预算,改进预算与元更新预算分别记账。同起点的下一步更有效,可以与后续增量逐渐缩小同时成立;这条轨迹没有展示无限加速。MetaRSI v2,预算计量与五轮结果

回到矩阵乘法内核,部署收益已经被报告,程序库进入后续提示的路径也已有描述。回箭头另一端的提案能力,仍没有被这项结果测量。MetaRSI 的分叉展示了“描述继承关系”与“测量下一步改进”的区别,并没有把几项研究排成等级。

有用的比较可以沿着同一组关系展开,同时保留各自范围:什么传了回来,哪个对象接收了它,下一步实测发生了什么变化?这些问答、编码和效率结果既没有提供共同的性能或净成本收益刻度,也没有建立开放任务中通用递归自我改进的证据。

本文解读 SEAL v1、DGM v1、AlphaEvolve 官方介绍与 MetaRSI v2 论文中的作者报告。本文不提供独立复跑结果或共同的跨系统基准。

回到原件

  1. Self-Adapting Language Models, arXiv v1 — learning material and parameter adaptation
    引用位置与版本

    https://arxiv.org/html/2506.10943v1 | knowledge adaptation L103-L105; L142-L148

    https://arxiv.org/html/2506.10943v1 | sequential retention L229-L233; explicit evaluation tasks L238-L239

    https://arxiv.org/html/2506.10943v1 | model and task L396; automated grading L431

  2. Darwin Gödel Machine, arXiv v1 — editable agent code and fixed search control
    引用位置与版本

    https://arxiv.org/html/2505.22954v1 | frozen-model scope L70-L72; empirical search and archive L95-L104

    https://arxiv.org/html/2505.22954v1 | benchmark protocols L112-L123; discovered tools L142-L143

    https://arxiv.org/html/2505.22954v1 | model and benchmark limits L170-L172

  3. AlphaEvolve — DeepMind's program-search mechanism and Gemini training example
    引用位置与版本

    https://deepmind.google/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/ | program proposals L128; evaluator and database L131-L132; kernel and training time L146

  4. MetaRSI, arXiv v2 — operator proposals and scheduling policies
    引用位置与版本

    https://arxiv.org/html/2609.06396v2 | writable operators and control policies L80-L85; learning signal L136-L146; protected measurement L157-L159

    https://arxiv.org/html/2609.06396v2 | experimental verifiers and accounting L419-L436; same-successor fork L475-L481

返回篇首
修订于 2026年10月14日

接着读

策略与元改进

本文主题

递归自我改进

图示放大

可滚动查看全图。按 Esc 或关闭返回原位置。