What is Pathways? Single-controller training for large models

Googleが大規模モデル向け分散学習システム「Pathways」を解説。

グローバルデータフローグラフと非同期ディスパッチにより、複数アクセラレータグループでのトレーニングを効率化。

従来のSPMDモデルと異なり、ハードウェア利用率を最大化しデッドロックを防ぐ。