将 PyTorch Monarch 分布式训练引入 AMD GPU

来源：pytorch.org — 2026-07-26 · 4 points · by gmays

PyTorch 团队将 Monarch——一种单控制器分布式训练架构——成功移植到 AMD GPU（ROCm 平台），使得在 MI300X 等加速器上的大规模训练更简洁高效。该架构用一个控制节点协调所有 worker，减少了分布式训练的复杂性。

🔑 核心要点

分布式训练的未来不只有一种颜色——AMD 的加入验证了 Monarch 架构的硬件无关性。