DeepSeek legt seine Produktions-Engine DeepInfer offen

Kurz gesagt: Labore öffnen selten das Herzstück ihres Betriebs. DeepSeek tut genau das und legt mit DeepInfer die Inference-Engine offen, mit der es seine eigenen groß angelegten Dienste betreibt. Das GitHub-Repository stand nach wenigen Tagen bei über 20.000 Sternen.

Was drinsteckt

DeepInfer liefert Offline-Inferenz für DeepSeek-V4.1-Flash und baut auf den bereits offenen Kernel-Bibliotheken FlashMLA, DeepGEMM und DeepEP auf; ursprünglich entstand die Engine laut README als Fork von vLLM. Die Feature-Liste liest sich wie ein Lehrbuch moderner Inferenz: Attention-Datenparallelität und balancierte Kontext-Parallelität, MoE-Expert-Parallelität mit Lastausgleich (EPLB) und ein asynchroner Batch-Scheduler ohne Overhead. Dazu kommt DSpark, eine spekulative Decodierung, bei der ein Entwurfsmodell fünf Token vorschlägt und ein Konfidenz-Kopf entscheidet, welche davon das Hauptmodell prüfen muss. Das spart laut DeepSeek rund 30 Prozent Verifikations-Rechenarbeit und brachte unter Produktionslast vier bis sieben Prozent mehr Durchsatz, wie SiliconANGLE berichtet. Eine zweite Technik namens Bounded Replay halbiert nahezu die Prefill-Rechnung, indem nur ein begrenztes Suffix des Prompts erneut durch die Decoder-Schichten läuft.

Der Determinismus-Trumpf

Zwei Features dürften besonders Forschende interessieren: Batch-invariante Inferenz liefert identische Ergebnisse, egal wie sich die Anfragen im Batch zusammensetzen, und deterministisches Sampling macht Ausgaben bei gleichen Eingaben exakt reproduzierbar. Für Evaluierungen und verstärkendes Lernen ist das Gold wert, beide Funktionen laufen allerdings nur auf NVIDIA-Hardware. Hardware insgesamt: unterstützt werden NVIDIAs SM100-Generation (Blackwell) und Huaweis Ascend 950, Hopper und ältere NVIDIA-Architekturen fehlen. Strukturierte Outputs per Regex, JSON-Schema oder EBNF-Grammatik sind ebenfalls an Bord.

Was fehlt, und warum das trotzdem zählt

Nicht im Release: das KV-Cache-Management und der Lastausgleich über Replikate hinweg, beide zu eng mit DeepSeeks interner Infrastruktur verwoben, heißt es; ein Beitrag auf Zhihu beschreibt zumindest die Funktionsweise. Auch die Trennung von Prefill und Decode auf verschiedene Maschinen bleibt den Betreibern überlassen, und das kleinste als effizient beschriebene Setup umfasst 64 GPUs fürs Prefill und weitere 64 fürs Decode, kein Heimprojekt also. DeepSeek beziffert die eigene Last in einem Deployment-Dokument auf 155 Billionen Token pro Tag in einem einzigen Cluster. Warum die Öffnung trotzdem Gewicht hat: Scheduler, Verifikationslogik und Batch-Invarianz zeigen im Detail, wie DeepSeek seine Preise drückt, und es wäre nicht das erste Mal, dass solche Ideen in vLLM und SGLang auftauchen.

Was du mitnehmen kannst

• DeepInfer ist DeepSeeks Produktions-Engine unter Apache 2.0, vorerst nur für DeepSeek-V4.1-Flash.
• Spekulative Decodierung mit Konfidenz-Prüfung und Bounded Replay sind die großen Durchsatzhebel.
• Batch-invariante Inferenz macht Ergebnisse reproduzierbar, allerdings nur auf NVIDIA-Chips.
• Für den Eigenbetrieb brauchst du dreistellige GPU-Zahlen; der eigentliche Wert liegt im offengelegten Know-how.