Google 解读 Pathways 单控制器分布式训练如何协调 Gemini 级大模型训练

Google 宣布 Pathways on Google Cloud 正式商用，并讲解其训练自家大模型（包括 Gemini）的分布式系统原理。Pathways 由单一客户端把整个计算描述为图，运行时负责放置、张量传输和异步调度，支持弹性训练与集群共享；文中还对比了 SPMD 的局限以及 Pathways 与 Ray 在执行层和编排层的分工。