TorchNeuron: Amazon sägt an Nvidias Burggraben

Kurz gesagt: Amazon Web Services hat TorchNeuron veröffentlicht, ein natives PyTorch-Backend für die eigenen Trainium-Chips. PyTorch-Anwendungen sollen mit einer einzigen Konfigurationszeile auf Trainium laufen. Der eigentliche Angriff gilt aber Nvidias Software-Vorteil: Amazon will PyTorch selbst von chip-spezifischem Code befreien.

Eine Zeile statt Rewrite

Laut dem PyTorch-Blog genügt ein .to('neuron'), um eine Trainings-Schleife auf Trainium zu starten. Code, der gegen die geräteunabhängige torch.accelerator-API geschrieben ist, läuft unverändert; für kompilierte Modelle wird einmal torch.compiler.set_default_backend("neuron") gesetzt. TorchNeuron unterstützt eager execution inklusive eines adaptiven Eager-Modus, torch.compile, die Neuron Kernel Interface für eigene Kernel und den Profiler Neuron Explorer auf Trainium2 und Trainium3. Der Code erscheint als Open Source unter Apache 2.0 auf github.com/aws-neuron/torch-neuronx, die öffentliche Beta startete passend zur PyTorch Conference am 20. Oktober.

Warum das Nvidia trifft

Amazon nennt eine Zahl, die den Hebel erklärt: Etwa 85 Prozent aller KI-Anwendungen seien in PyTorch geschrieben. Nvidia hat über Jahre dafür gesorgt, dass CUDA dieses Ökosystem nahtlos bedient, und sitzt damit faktisch als Standard-Hardware im Framework. Genau da setzt Amazon an: Das Unternehmen kündigt an, Änderungen direkt in PyTorch einzubringen, um Code zu entfernen, der das Framework an bestimmte Chips bindet, mit dem Ziel, PyTorch für die ganze Entwickler-Community hardware-unabhängiger zu machen, nicht nur für Trainium-Nutzer. „The real story is removing the lock-in that kept developers from having a real choice at all“, sagte Colin Brace, VP of Technology Software bei AWS Annapurna Labs, gegenüber TechCrunch.

Der Cloud-Hebel dahinter

Natürlich ist das nicht reine Charity. Wer per Ein-Zeiler auf Trainium wechselt, landet mitten in Amazons Cloud. AWS argumentiert mit dem Gesamtpaket: Derselbe Chip-Typ übernimmt Training und Inference, und die übrige Infrastruktur vom Prototyp bis zur Produktion sei schon da, ein Seitenhieb auf Neoclouds wie CoreWeave, Nebius und Firmus, die eng an Nvidia hängen. Der Preis pro Token sei nicht immer der günstigste, sagt Brace, aber die Kosten pro Workload stimmten. Als Beleg nennt AWS den Sprach-KI-Anbieter Deepgram: Der verarbeite seit dem Wechsel auf Trainium 70 Prozent mehr Audio pro Dollar bei Produktionsqualität. Auch Hugging Face hat an der Integration mitgearbeitet und beschreibt in einem eigenen Beitrag, wie HF-Modelle damit auf Trainium laufen.

Einordnung: Nicht der erste Angriff, aber der gezielteste

PyTorch-Apps lassen sich schon länger mit kleinen Änderungen auf AMD-GPUs oder Apple-Chips portieren. Neu ist die Kombination: ein nativer Backend-Weg, ein eigener Chip mit Trainings- und Inference-Ambition, eine fertige Cloud drumherum und der Plan, PyTorch selbst strukturell von Nvidia zu lösen. Ob daraus echte Wahlfreiheit wird oder nur mehr Konfigurationsarbeit, ist offen, wie TechCrunch treffend anmerkt: Der Sinn von PyTorch ist es, genau solche Hardware-Details zu verstecken. Die Antwort entscheidet sich daran, wie viele der angekündigten Upstream-Änderungen das PyTorch-Projekt tatsächlich annimmt.

Was du mitnehmen kannst

• Neuen PyTorch-Code gegen torch.accelerator schreiben, dann bleibt der Chip-Wechsel eine Konfigurationsfrage.
• Wer größere Trainings- oder Inference-Workloads auf AWS fährt: Die TorchNeuron-Beta ist seit dem 20. Oktober öffentlich und einen Test wert.
• Lock-in-Kosten nicht erst bei der Rechnung prüfen, sondern schon beim Framework: Wie viele Zeilen trennen dich vom nächsten Anbieter?