TorchTPU: Google macht TPUs zum nativen PyTorch-Gerät
Die wichtigsten Fakten
- TorchTPU ist ein offenes PyTorch-Backend für Google TPUs, gemeinsam mit Metas PyTorch-Team entwickelt.
- Ein Wechsel von .to("cuda") auf .to("tpu") genügt, um bestehende Workloads laufen zu lassen.
- Rund 450 ATen-Ops werden unterstützt; die 5.000 meistgeladenen Hugging-Face-Modelle laufen out-of-the-box.
- vLLM, SGLang, TorchTitan, Ray und Hugging Face Transformers v5 sind von Tag eins an integriert.
- Nach AWS TorchNeuron macht damit auch der zweite Hyperscaler seinen KI-Chip zum Ein-Zeilen-Wechsel.
Kurz gesagt: Auf der PyTorch Conference hat Google TorchTPU als Open Source veröffentlicht: PyTorch-Code läuft damit nativ auf Cloud TPUs, ohne JAX, ohne Umbau. Ein Tag nach Amazons TorchNeuron für Trainium macht damit auch der zweite Cloud-Riese seinen KI-Chip per Ein-Zeilen-Wechsel nutzbar.
Was TorchTPU ändert
TPUs galten bisher als JAX- und TensorFlow-Territorium; der alte PyTorch-Weg über PyTorch/XLA erforderte Eingriffe in den Code, litt unter langen Kompilierzeiten und konnte keinen nativen Eager-Modus. TorchTPU ist dagegen als echtes PyTorch-Backend gebaut, schreibt das PyTorch-Team: Eager-Execution hat oberste Priorität, bestehende Workloads laufen out of the box, der Wechsel ist im Kern .to("cuda") gegen .to("tpu") tauschen. Entwickelt wurde das Projekt seit Mitte 2025 gemeinsam mit Metas PyTorch-Team, und es ersetzt die alte torch_xla-Route.
| Aspekt | Details |
|---|---|
| Lizenz | Open Source (GitHub), Kollaboration Google + Meta |
| Umstieg | model.to("cuda") wird model.to("tpu") |
| Abdeckung | Rund 450 ATen-Ops, inkl. Forward und Backward der Kernarchitekturen |
| Modell-Kompatibilität | 5.000 meistgeladene Hugging-Face-Modelle validiert (Qwen, DeepSeek, Gemma, Llama, Mistral, Whisper, CLIP, BERT u.v.m.) |
| Engines | vllm-torchtpu (mit Inferact), sglang-torchtpu (mit RadixArk), TorchTitan-Fork fürs Training |
| Ecosystem | HF Transformers v5, Diffusers, Kernels, Ray, TorchRec, llm-d, VeRL, LiteRT |
| Eigene Kernel | JAX/Pallas oder Helion DSL |
| Status | In Produktion bei einigen der größten Google-Cloud-Kunden |
Mehr komplett als die Konkurrenz
Google betont den Abstand zum Vortag: Anders als AWS TorchNeuron kommt TorchTPU von Tag eins an mit den beiden wichtigsten Serving-Engines vLLM und SGLang, einem Training-Stack über TorchTitan und nativer Hugging-Face-Unterstützung in Transformers v5, die am selben Tag ausgeliefert wurde, schreibt der Google Cloud Blog. Hinzu kommt eine TPU-Agent-Suite in Preview: Coding-Agent-Plug-ins, die Onboarding, Diagnose und Inferenz-Tuning automatisieren. Meta-Ingenieursdirektorin Jana van Greunen nennt TorchTPU einen großen Schritt für Hardware-Vielfalt bei LLM-, Ads- und Empfehlungs-Workloads.
Einordnung
Der CUDA-Graben war nie nur Hardware, sondern Software-Bequemlichkeit: PyTorch auf NVIDIA läuft einfach. Genau diese Bequemlichkeit bauen die Hyperscaler jetzt für ihre eigenen Chips nach, ausgerechnet mit Metas Hilfe, das selbst massiv GPUs kauft. Zu beachten: Peak-Performance braucht weiter Tuning, Google selbst sagt, dass Shapes und Sharding GPU-optimierter Modelle angepasst werden müssen. Aber die Eintrittshürde ist mit diesem Release dramatisch gesunken.
Was du mitnehmen kannst
- TorchTPU ist Open Source: PyTorch-Workloads laufen per .to("tpu") auf Cloud TPUs.
- vLLM, SGLang, TorchTitan und Hugging Face sind von Tag eins dabei, inklusive 5.000 validierter Modelle.
- Nach AWS TorchNeuron ist das der zweite Angriff auf den CUDA-Vorteil innerhalb von 24 Stunden.
- Für den Einstieg genügt pip install torch_tpu und torch.device("tpu"); Peak-Leistung braucht weiter Tuning.
Häufige Fragen
Was ist TorchTPU?
Ein Open-Source-Backend, das PyTorch nativ auf Google TPUs bringt. Es wurde von Google gemeinsam mit Metas PyTorch-Team entwickelt und ersetzt die alte PyTorch/XLA-Route. Bestehender Code läuft mit minimalen Änderungen.
Wie schwer ist der Umstieg von GPU auf TPU?
Der Basisfall ist eine Zeile: model.to("cuda") wird zu model.to("tpu"). Damit läuft ein Workload, für maximale Leistung müssen aber Shapes, Sharding und Ops angepasst werden, weil viele Modelle auf GPU-Architekturen optimiert sind.
Welche Modelle laufen auf TorchTPU?
Google und das PyTorch-Team haben die 5.000 meistgeladenen Hugging-Face-Modelle validiert, darunter Qwen, DeepSeek, Gemma, Llama, Mistral, Whisper, CLIP und BERT. Hugging Face Transformers v5 unterstützt TPUs nativ per device_map="tpu".
Was ist der Unterschied zu AWS TorchNeuron?
Beide machen den eigenen KI-Chip (Google TPU beziehungsweise AWS Trainium) zum nativen PyTorch-Gerät. TorchTPU kam einen Tag nach TorchNeuron, gilt aber als zum Start vollständiger: vLLM, SGLang, TorchTitan-Training und Hugging-Face-Support waren sofort dabei.
Quellen
- Introducing TorchTPU (PyTorch Blog, abgerufen 2026-10-22)
- TorchTPU is now open source: Run native PyTorch on TPUs (Google Cloud Blog, abgerufen 2026-10-22)
- AI News Oct 21, 2026: Google open-sources TorchTPU (Morning Tokens, abgerufen 2026-10-22)
Weitere Artikel
Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Das Titelbild ist KI-generiert und im Bild entsprechend gekennzeichnet. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.