SEAL 把训练材料的写法也变成学习目标
候选材料先经过参数适应后的问答检验;选出的文字,再用于训练同一个模型为后续适应生成材料。
解读展开概要收起概要
SEAL 连接了两个学习目标:从原文衍生的文字中学习,以及学习怎样生成训练后有用的文字。候选材料分别经历参数适应和问答评价;选出的原文—材料配对,再用于训练生成策略。作者报告,推论提示的准确率从 39.7% 升至 47.0%,改写提示从 49.4% 升至 55.6%。一次合并 200 段原文的训练达到 43.8%,另一个连续更新测试则发现旧任务表现逐渐下降。这些结果支持在明确评价条件下更有效的适应,尚未证明知识可以无限可靠积累,也未建立开放式递归自我改进的结论。本文不提供独立复现实验结果。