Integrating TorchTPU into TorchTitan and Optimizing Models for TPU

TorchTPUがPyTorchにネイティブTPUバックエンドを統合し、JAXなしでTPU訓練を可能に。TorchTitan TPUフォークはSimpleFSDPなどで大規模モデルのMFUを向上させる。開発者はこれらの最適化手法を活用できる。