Anthropic 的64%：人类走弯路时，模型能否选好下一步

Anthropic 报告，Mythos Preview 提出的下一步建议，有 64% 被判比人类研究员当时的选择更好。这组测试特意挑出了人类走弯路的时刻。在另外一组人类下一步本来就很好的时刻，模型建议被判更好的比例只有 约20%。脚注没有给出第二组的逐模型成绩。因此，两个百分比都必须连着各自的样本条件读，不能直接当成“谁更会研究”的总成绩。Anthropic 的测试与对照。

原始测试用了2026年1月至3月真实 Claude Code 研究会话中的129个时刻。工作包括排查训练为何反复崩溃、模型为何在某个基准上表现不好。Anthropic 找出了研究员选择某个方向、让会话走偏，后来才重新回到正轨的位置。测试回到这个决定发生之前：

1. 已经做过的工作构成背景，人类接下来选择了什么则保留在会话记录中。
2. 待测模型只收到此前的背景，提出下一步。它看不到会话后来怎样发展。
3. 另一个 Claude 能看到会话最终的结果，再比较模型建议与人类当时的选择。原文所述流程。

这里的信息边界很关键。提建议的模型只能根据过去做选择，评判者却可以回看后来发生了什么。模型建议被判更好，并不能证明实际采用这条替代路线后会发生什么。64%统计的是下一步建议被判更好的比例，没有测出两条路线都执行后，研究产出能改善多少。

编辑解释图：箭头表示各模型能获得的信息，蓝条统计各自样本中模型建议被判比人类选择更好的比例。64%属于 Mythos Preview；约20%的对照没有逐模型拆分。灰色余量没有标为“人类获胜”。

Anthropic 将那127个人类下一步本来就很好的时刻，作为检查评判者偏差的对照。这一组也让64%的边界更容易理解：比一个特意选出的弯路决定更好，与改进一个本来就很好的决定，是两种比较。两组都不代表日常研究决定的通常构成，把成绩平均起来，也得不到“AI 与人类谁更会研究”的普遍胜率。而且，对照没有逐模型成绩，不能把两个数字的差异全部归因于样本选择。样本选择理由与对照。

原始组内仍有一个有用的模型比较。Anthropic 在2025年11月的最佳模型 Opus 4.5 得分为 51%，2026年4月的模型 Mythos Preview 在同一项评估中得分为 64%。这些日期标识所比较的模型代际；会话记录来自2026年1月至3月。这个上升说明，在这把特定的尺子下，模型的下一步建议获得了更好的评判。它回答的问题，比“AI 通常是否更会主持研究”窄得多。51%到64%是在原始组内比较模型；64%与约20%，则对应两组不同选取方式的样本。模型之间的比较。

这一区别也对应 Anthropic 在文中区分的三项研究职责。执行给定实验，是按已经选好的方法去做。设计调查过程，是围绕给定问题决定尝试哪些实验。选择研究方向，则是先决定什么问题值得研究。

弱模型监督强模型的项目，展示了 Agent 承担第二项职责。人类提出问题——弱模型能否可靠监督强模型？——并制定评分标准。在这些边界内，Agent 提出假设、自行设计每个实验、检验假设、与并行 Agent 分享发现，再继续迭代。这体现了对调查方法的自主决定，而问题本身与判断结果的标准仍由人类给出。项目与职责分工。

Anthropic 报告，Agent 弥合了 该项目所定义性能差距的97%。较低的参考点是弱监督模型单独工作的表现，较高的参考点是强模型用正确答案训练后的表现。97%表示这两个参考表现之间的距离缩小了多少，不是准确率达到97%。这一结果未顺利迁移到生产规模的模型。该文对项目的介绍，也没有逐个实验解释哪些干预带来了这次差距弥合。它提供了所报告的结果与职责分工，没有提供足以重建具体因果过程的实验细节。差距定义、结果与迁移限制。

选择研究目标，仍是另一项职责。Anthropic 表示，Claude 在这方面的判断力还有明显差距。该文用递归自我改进描述 AI 完全自主设计、开发自身后继系统，并表示尚未达到这个状态。下一步建议变得更好、Agent 能自行设计实验，都是研究工作中的实质进展；它们尚未证明系统能够自己选择研发目标，并自主完成后继系统的开发。目标选择的差距与该文的 RSI 用法。

本文是2026年10月14日的研究回看，使用包含9月18日更新的冻结文章快照；原文首次发表日期仍未核实。本文呈现 Anthropic 报告的研究与编辑解释，不提供独立复跑或审计结果。