Anthropic 的64%:人类走弯路时,模型能否选好下一步
一组选定的人类走弯路时刻、另一组对照和 Agent 自行设计实验的项目,帮助分清提出下一步与选择研究目标。
解读展开概要收起概要
Mythos Preview 的64%来自特意挑出的129个人类走弯路时刻。另一组127个人类决定本来就很好的时刻,模型建议被判更好的比例约为20%,未逐模型列出结果。在人类选定问题和评分标准的弱监督项目中,Agent 还自行设计了全部实验,弥合了所定义性能差距的97%;这一结果未顺利迁移到生产规模模型。这些证据说明研究建议与方法有所进展,尚未证明自主开发后继系统。