AlphaEvolve 如何用分块规则加快 Gemini 训练

矩阵乘法内核需要为不同输入形状选择分块尺寸。在 DeepMind 的 Gemini 案例中，AlphaEvolve 搜索的是作出这项选择的代码。作者报告，最终得到的规则让 Gemini 整体训练用时减少了 1%。要理解这项收益，先要看清代码在决定什么。技术报告 §3.3.2

内核是专门面向加速器硬件编写的程序。这里的任务是矩阵乘法 A × B = C，计算被拆成称为 tile 的小块。A 中一个 M × N 的块，与 B 中一个 N × P 的块相乘，得到对 C 中一个 M × P 块的贡献；沿共同维度得到的各块乘积再累加起来。选择 M、N、P，就是决定这次乘法怎样拆开，也会影响计算与数据搬运之间的平衡。

这些尺寸必须适应硬件和周围的计算。图 7 列出了矩阵计算单元适合的形状与内存容量、邻近运算需要的内存、融合进内核的其他运算，以及编译器细节。AlphaEvolve 修改的是选择分块策略的代码，底层数学运算保持不变。作者因此将正确性描述为由构造保证：搜索可以改变执行方式，同时保留原来的矩阵乘法。图 7 与分块优化设置

依据图 7 和 §3.3.2 绘制的编辑图解。网格解释分块关系，不表示实际分块尺寸；嵌套框标出内核位于训练计算之中，面积不代表耗时占比。

反复出现的问题是，下一个输入可能换了尺寸。论文介绍，基于搜索的自动调优在每次输入形状变化后都需要重新搜索。启发式则把选择写成一条规则，下一个形状到来时可以再次调用；但人工写出好规则，本身也是工程瓶颈。AlphaEvolve 搜索的就是这段制定选择规则的代码。因此，可复用的产物是在输入变化时选择配置的方法，让搜索的价值延续到那一次调好的矩阵乘法之后。

性能目标是真实 TPU 上的内核实际运行时间。这样，候选规则就要接受硬件与编译器约束下实际执行结果的检验。数学运算固定下来，运行时间用来判断哪些分块选择有用。

评估方式也必须对应这个可复用的产物。研究者从内核用户那里收集实际输入形状，再平分成两组。一半在演化搜索中提供优化目标，另一半检验最终规则的适用性。论文这里说的训练集和评估集，装的是用于搜索与评价代码的内核输入形状。留出另一组形状，检验的是：规则面对参与优化之外的输入，是否仍能作出有用的选择。这个设计检查的是它在收集到的工作负载范围内的适用性。运行时间目标与形状划分

相对既有的专家设计规则，论文报告内核平均加速 23%，对应 Gemini 整体训练用时减少 1%。作者还报告，发现的规则已部署到生产环境。训练用时的结果，让内核优化的收益超出了局部运行时间测量。这两个百分比衡量不同的量：平均内核加速，以及整次训练的持续时间。所提供的章节没有给出平均权重或逐形状成绩，因此不能把 23% 的平均值套到每个输入上，仅凭这两个数字也推不出该内核原本占训练时间的多少。结果与生产部署

AlphaEvolve 内部的反馈经过程序和提示。DeepMind 描述的过程是：Gemini 模型提出代码，自动评价器验证、运行并评分，程序数据库再选择哪些程序进入后续提示。在这个案例中，TPU 运行时间提供搜索目标。经过评价的代码因此能影响下一次提案所获得的材料。这项机制说明了程序选择如何形成反馈，但没有测量提出程序的模型自身能力怎样变化。DeepMind 的程序搜索说明

编辑图解展示形状划分、程序反馈和作者报告的部署。断开的能力连线表示缺少测量，不表示已经证明能力无法提升。

生产部署把获选规则带入了用于训练 Gemini 的计算。DeepMind 的发布文章还明确将 AlphaEvolve 背后的语言模型训练列入被改进的流程。合起来看，这些报告描述了一条具体的基础设施反馈路径：Gemini 参与生成代码，代码又改进 Gemini 的训练。

更强的递归改进主张还需要接上另一环：随后训练出的模型更会发现算法，再用这项能力带来进一步的训练改进。所提供的发布文章与内核章节没有测量这段过程。已报告的效率收益是训练基础设施层面的积极结果；经由更强算法发现能力返回下一轮改进的路径，仍未测量。因此，这个案例尚不能证明通用的递归自我改进。

本文于 2026 年 10 月 14 日回看 DeepMind 2025 年 5 月 14 日的发布文章及所提供的内核工程摘录。本文呈现作者报告的性能与部署结果，并提供编辑图解，不提供独立复现实验结果。