Announcing New vLLM and SGLang Inference Engines on TPU

GoogleがvLLMとSGLang推論エンジンのTPUネイティブ対応を発表。TorchTPUによるPyTorchバックエンドで、最適化されたTPUカーネルとKVキャッシュ管理を提供。

ベンチマークで最先端の性能と業界トップクラスのコスト効率を達成。