谷歌Pathways在Google Cloud正式开放

品玩11月11日讯，谷歌近日宣布，其分布式训练系统 Pathways 在 Google Cloud 正式开放。该系统由谷歌自研，用于训练 Gemini 等自有大模型，此次对外商用，标志着支撑前沿模型研发的基础设施能力同步开放。

大模型训练多采用SPMD模式，加速器锁步执行。一旦任务不再均质，如流水线各阶段相互等待，或采样器、奖励模型、训练器三类程序需重叠运行，协调难题便凸显，单台机器故障即致整体回滚。Gemini 2.5训练每小时曾因硬件故障中断多次。

Pathways以单一客户端把整体计算描述为一张图，由分布式运行时负责算子放置、张量搬运与统一调度，并借助虚拟设备实现弹性训练：主机故障时自动重映射至健康芯片，无需整体重启。系统另提供共享集群与异步派发机制以提升利用率。谷歌称，Pathways与Ray处于不同层级，二者可互补。