NVIDIA schützt Modellgewichte auf fremder Hardware

Kurz gesagt: Die wertvollsten Güter der KI-Branche sind keine Chips, sondern Modellgewichte. Genau die halten Labore bisher davon ab, ihre Modelle auf fremder Infrastruktur zu betreiben. NVIDIAs neue Confidential-Computing-Generation will diesen Engpass lösen, und Google Cloud liefert gleich die passenden Instanzen dazu.

Der Tresor für Modellgewichte

Confidential Computing schützt Daten und Modelle während ihrer Nutzung, also genau dann, wenn sie sonst im Klartext im Speicher liegen. Laut NVIDIA geht die dritte Generation mit der Rubin-Architektur jetzt auf Rack-Ebene: Eine Vera-Rubin-NVL72-Einheit bildet über NVLink eine gemeinsame Sicherheitsdomäne aus 72 Rubin-GPUs und 36 Vera-CPUs und isoliert GPU-Ausführung, Speicher und Registerzustände über Training, Feintuning und Inferenz hinweg, bei laut NVIDIA nahezu unveränderter Leistung gegenüber unverschlüsseltem Betrieb. Erhältlich ist die Technik als Bare Metal, als Container unter Kubernetes und als VMs, sodass Labore ihren kompletten Software-Stack auf fremden GPU-Servern laufen lassen können, während die Hardware die Gewichte abschirmt. Cohere baut den Schutz in sein Model Vault ein.

A5X: Rubin kommt in die Cloud

Zeitgleich kündigte Google Cloud an, seine A5X-Instanzen mit Vera Rubin NVL72 im November allgemein verfügbar zu machen, samt ConnectX-9-SuperNICs, dem hauseigenen Virgo-Netzwerk und Flüssigkühlung der vierten Generation. Geplant ist ein Ausbau auf bis zu 960.000 Rubin-GPUs an mehreren Standorten, inklusive einer Expansion nach Europa. Confidential Computing auf Rack-Ebene kommt zunächst auf A4X-Max-Instanzen mit GB300 NVL72, zusätzlich ist es ab sofort auf G4-VMs mit RTX-PRO-6000-Blackwell-Karten allgemein verfügbar. Erster A5X-Kunde ist Ineffable Intelligence, das Londoner Labor von AlphaGo-Mitbegründer David Silver, das damit groß angelegtes Reinforcement Learning für kontinuierlich lernende „Superlearner“ betreibt. Auch die Marketinggruppe WPP testete ihre Kreativ-Agenten auf A5X: Workloads, die sonst einen Multi-Node-Cluster brauchten, liefen auf einer einzigen Instanz.

Warum das gerade jetzt kommt

Der Zeitpunkt ist kein Zufall. Diese Woche zeigten die Vorfälle bei Railway und OpenCode, dass Zugangsdaten und KI-Schlüssel inzwischen gezielt gestohlen werden. Wer zusätzlich um die Modellgewichte selbst fürchtet, verzichtet komplett auf fremde Infrastruktur, und genau diese Zurückhaltung bremst Neoclouds, Sovereign-Cloud-Angebote und europäische Anbieter. Hardware-verankerte Isolation macht fremde Rechenzentren für Frontier-Labore erst nutzbar. Für Europa kommt hinzu, dass Google Cloud den A5X-Ausbau ausdrücklich auch hierher plant, was Datenschutz- und Souveränitätsdebatten eine neue technische Option gibt.

Was du mitnehmen kannst

• Confidential Computing schützt Modelle und Daten während der Nutzung, jetzt auf ganzer Rack-Ebene.
• Google Cloud macht A5X mit Vera Rubin NVL72 im November verfügbar und zielt auf bis zu 960.000 Rubin-GPUs.
• Erster Kunde: David Silvers Londoner Labor Ineffable für verstärkendes Lernen.
• Hardware-Isolation könnte die Verbreitung von Frontier-Modellen auf fremde und europäische Infrastruktur entsperren.