SEAL 把训练材料的写法也变成学习目标

SEAL 让训练材料是否有用，也成为模型可以学习的事情。它根据给定原文生成候选文字，用这些文字更新模型参数，再测适应后模型的回答。选出的候选随后成为训练生成策略的目标。回答提供选择反馈；入选的训练文字，则成为外层更新的学习目标。两层循环，§3.1；选择与外层训练，附录 B.2

本文回顾写于 2026 年 10 月 14 日，讨论 2025 年 6 月 12 日的《Self-Adapting Language Models》，arXiv:2506.10943v1。文中的数字来自作者报告；本文不提供独立复现实验结果。论文 v1

同一原文，五条候选学习路线

编辑示意图从一段虚构原文开始：“晨光图书馆周二闭馆，周三开放。”展开的候选写着：“周二不能入馆。”原文、候选和问题都是教学示例，并非 SQuAD 记录。图中没有实验分数，也没有指定胜出候选。

论文把这种生成材料称为自编辑（self-edit）。主实验的推论提示允许生成原文的重述、推断和逻辑后果。它的用途很具体：原文与生成材料进入内层监督微调，也就是 SFT。报告的设置通过 LoRA 低秩适配器更新参数，并对生成陈述计算因果语言模型损失。模型在这一步从准备好的文字中学习。自编辑格式与内层更新，§3.2；原文与生成材料的训练设置，§4.2

下一步检验这次训练带来了什么。适应后的模型回答与原文有关的问题，回答上下文里不再提供原文。教学示例问的是周二能否入馆，参考答案为“不能”；图中没有真实模型的回答。“无上下文”指回答环节。此前生成材料和适应参数时，原文都可用。图 2，§3.2；回答时的设置，附录 B.1

叠放的四份文档，是同一原文下另外四份候选。每份都各自适应、各自评价。外层训练时，每份候选在三个随机种子下分别训练和测试，结果取均分，再为该原文保留均分最高的一份。五条分支比较的是学习同一材料的不同办法，并不表示在一个模型状态上连续应用五次更新、不断积累知识。候选测试与选择，附录 B.2；参数更新，算法 1

图中的青色和蓝色，分别区分内层适应，以及候选生成与外层训练。框的大小和箭头长度表达步骤关系，没有编码准确率、数据量、算力或耗时。

为什么反馈还会带来第二次 SFT

两轮外层训练中，每轮从 SQuAD 训练集取 50 组原文、问题和参考答案，每段原文生成五份候选。每段选出一份后，就得到 50 组训练配对：输入是原文提示，补全是入选的自编辑材料。对这些配对做 SFT，教生成策略写出入选材料。评价时的回答已经通过选择反馈发挥了作用。两轮训练、候选选择与 50 组提示—补全配对，附录 B.2

这也解释了为什么论文把外层过程称为强化学习，而实际更新又使用 SFT。其 ReST-EM 实现先采样候选生成结果，再根据下游表现选择，通过 SFT 强化入选的文字。奖励决定了哪些材料成为生成目标。ReST-EM 与入选材料的训练目标，§3.1

算法 1 区分了候选适应后的参数与外层策略更新：适应后的状态用于取得评价分数，外层训练使用选出的文字。它并不把胜出测试的适应后权重复制给生成策略。在这份实现里，生成与学习是同一个模型承担的两种角色。算法 1 与同一模型的实现，§3.1

选择标准是材料被用于训练之后的用途，并没有独立核实每一条生成推论。同样，三个随机种子取均分，是在既定评分协议下帮助选择候选，没有独立验证评分器。这两个区别都不意味着材料或评分器已经被发现有错。

哪些比较体现了训练收益

知识吸收实验使用 Qwen2.5-7B 基座模型和 SQuAD v1.1。评估覆盖 200 段留出原文、974 个问题。答案由 gpt-4.1-2025-04-14 自动评分，评分模型使用贪心解码。“单篇”表示每次独立适应用一段原文的材料；整个评估仍覆盖很多段原文。模型与数据集，附录 B.1；评分与评估数量，附录 B.4；独立更新，§5

只用原文训练，成绩为 33.5%。加入基座模型生成的推论，但尚未用强化学习训练生成策略，成绩为 39.7%。两轮外层训练后，主实验的推论条件达到 47.0%。主表使用调优后的超参数。“强化学习前”描述的是生成策略的训练历史；回答问题的模型仍然经历了内层参数更新。基线定义与表 2，§4.2

附录 C 对照了不同的材料生成提示。改写条件从 49.4% 起步，两轮后达到 55.6%。把每种提示与自己的起点放在一起，才能看清生成策略训练前后的比较。提示条件与表 6，附录 C

作者在两个条件中都报告了策略训练后的准确率提升。这些差值是报告成绩的算术差，没有据此断言统计显著性。完整的 33.5%→47.0% 变化，还包含加入生成材料时对适应输入的改变，不能全部归给强化学习。改写提示较高的起点也出现在策略训练之前；跨提示比较，会改变另一项实验条件。

一次适应、一批材料与连续更新

47.0% 对应的是各段原文的独立适应。吸收更大一批材料，以及在后续更新中保留知识，问的是不同问题。

合并后的持续预训练，为每段原文采样五份生成结果，再汇总 200 段原文的材料。这个过程把生成材料合在一起使用；外层训练则为每段原文保留一份候选。SEAL 在这一次合并训练后报告 43.8%。它衡量的是批量吸收，并没有测量 200 次连续更新后的保留情况。将 43.8% 与独立适应的 47.0% 相比，也改变了适应方式，不能单独说明合并成绩较低的原因。合并协议与结果，§4.2、附录 B.3

连续更新实验直接测量保留情况。每段新测试原文触发一次自编辑，每次更新后重测此前全部任务。训练目标没有明确优化保留，但实验确实测量了它。作者报告：随着自编辑累积，旧任务表现逐渐下降；同时，模型仍能经历多次更新而不完全崩溃。连续更新协议与结果，§5

反馈循环还依赖原文配有问题和参考答案。作者将这项要求列为报告的强化学习训练扩展到无标注语料的障碍。让模型自行生成评价问题，是提出的后续方向。依赖上下文的评价，§5

SEAL 展示的贡献，是把材料准备与实际测得的学习效果连接起来：生成文字改变参数，更新后的回答帮助选择文字，选择结果再训练后续生成。成绩提升支持报告设置中更有效的适应。连续更新的结果则说明，保留旧知识仍是一个独立问题。可靠地无限积累知识、开放式递归自我改进，以及无限加速，尚未由这些实验建立。