DeepInfer: DeepSeek legt seine Inferenz-Engine offen
Die wichtigsten Fakten
- DeepSeek hat sein produktives Inferenz-Framework DeepInfer unter der Apache-2.0-Lizenz auf GitHub veröffentlicht.
- DeepInfer läuft auf NVIDIA-SM100-GPUs und Huawei-Ascend-950-NPUs und ist auf DeepSeek-V4.1-Flash optimiert.
- Das Repo wurde am 16. Oktober angelegt und hat bereits über 15.000 Sterne.
- Mit an Bord: asynchrones Scheduling, batch-invariante Inferenz, deterministisches Sampling und strukturierte Outputs.
- Hintergrund sind die steigenden Token-Kosten von KI-Agenten in Unternehmen; DeepInfer reduziert die nötige GPU-Zahl pro Workload.
Kurz gesagt: DeepSeek hat die Engine veröffentlicht, mit der es seine eigenen Modelle in Produktion betreibt. DeepInfer steht ab sofort unter Apache 2.0 auf GitHub und verspricht schnellere, günstigere Inferenz für DeepSeek-V4.1-Flash, auf NVIDIA- wie auf Huawei-Hardware.
Was DeepInfer ist
DeepInfer ist laut GitHub-Repo das Hochleistungs-Inferenz-Framework hinter DeepSeeks eigenen Produktivdiensten, jetzt als Open-Source-Release für Offline-Inferenz. Die Engine basierte ursprünglich größtenteils auf vLLM, mit Anleihen bei SGLang und TensorRT-LLM, und bringt optimierte Kernel (FlashMLA, DeepGEMM, DeepEP, TileKernels), MoE-Parallelismus und einen Zero-Overhead-Batch-Scheduler mit. Das Repo wurde am 16. Oktober angelegt und hat bereits über 15.000 Sterne (Stand 21.10.).
| Aspekt | Details |
|---|---|
| Lizenz | Apache 2.0 |
| Unterstützte Modelle | DeepSeek-V4.1-Flash |
| Hardware | NVIDIA SM100 GPUs, Huawei Ascend 950 NPUs |
| Besondere Features | DSpark-Dekodierung, SWA Bounded Replay, asynchrones Scheduling, batch-invariante Inferenz, deterministisches Sampling, strukturierte Outputs (Regex/JSON Schema/EBNF) |
| Nicht enthalten | KV-Cache-System, Prefill/Decode-Trennung, Lastverteilung über Repliken |
| Voraussetzungen | Linux, GCC 13+, Python 3.12, CUDA 13 (NVIDIA) oder CANN 9.2 (Ascend) |
Warum DeepSeek das jetzt öffnet
Der ökonomische Hintergrund ist der eigentliche Treiber: KI-Agenten verbrauchen riesige Token-Mengen, und die Inferenzkosten werden für Unternehmen zum Problem, schreibt TechTarget. DeepInfer beschleunigt die Inferenz von DeepSeek-Modellen und reduziert damit die Zahl der GPUs pro Workload. Der Analyst Lian Jye Su von Omdia wird dort mit den Worten zitiert, der Token-Verbrauch gehe durch die Decke, und wer Aufgaben schnell und günstig abarbeite, optimiere seine KI-Infrastruktur-Investition. Gleichzeitig positioniert sich DeepSeek damit als Open-Source-Anbieter der Wahl für kostenbewusste Unternehmen, die Modelle auf eigener Infrastruktur betreiben wollen.
So startest du
Die Hürden sind überschaubar: Linux, GCC ab Version 13, Python 3.12 und CUDA 13 beziehungsweise CANN 9.2 auf Ascend. Nach dem Build genügt ein Beispielskript, das Standard-Checkpoint DeepSeek-V4.1-Flash-1017 wird beim ersten Lauf automatisch aus dem Hugging-Face-Cache geladen. Im Repo liegen reproduzierbare Benchmark-Skripte bei, gemessen auf 4 SM100-GPUs für Prefill und 64 für Decode.
Zwei Features hebt das Repo besonders hervor: batch-invariante Inferenz hält Ergebnisse über verschiedene Batch-Zusammensetzungen hinweg identisch, und deterministisches Sampling liefert bei gleichen Eingaben exakt dieselben Ausgaben. Für Unternehmen, die Modellverhalten auditieren oder Tests reproduzieren müssen, sind das starke Argumente. Strukturierte Outputs lassen sich über Regex, JSON Schema oder EBNF-Grammatik erzwingen, direkt über die Sampling-Parameter.
Einordnung
Der Release ist bemerkenswert transparent: DeepSeek legt die Engine offen, mit der es selbst Geld verdient, inklusive Tricks wie DSpark-Dekodierung mit Confidence-Scheduling und batch-invarianter Inferenz für reproduzierbare Ergebnisse. Dass beide Hardware-Welten unterstützt werden, NVIDIA SM100 und Huawei Ascend 950, macht das Framework für chinesische wie westliche Kunden gleichermaßen nutzbar. Zu beachten: Benchmarks im Repo sind Anbieter-Messungen auf eigener Hardware, und DeepInfer ist kein kompletter Serving-Stack, KV-Cache und Lastverteilung muss man selbst ergänzen.
Was du mitnehmen kannst
- DeepInfer ist DeepSeeks Produktions-Engine, jetzt Apache 2.0 auf GitHub, über 15.000 Sterne in fünf Tagen.
- Läuft auf NVIDIA SM100 und Huawei Ascend 950, optimiert für DeepSeek-V4.1-Flash.
- Der Kostendruck durch token-hungrige Agenten ist der Grund für den Open-Source-Schritt.
- Kein Komplett-Stack: KV-Cache und Prefill/Decode-Lastverteilung musst du selbst bauen.
Häufige Fragen
Was ist DeepInfer?
DeepSeeks hauseigenes Inferenz-Framework, mit dem das Unternehmen seine Modelle in Produktion betreibt. Seit dem 20. Oktober ist es unter Apache 2.0 auf GitHub verfügbar und beschleunigt die Offline-Inferenz von DeepSeek-V4.1-Flash auf NVIDIA- und Huawei-Chips.
Was kostet DeepInfer?
Nichts, das Framework steht unter der Apache-2.0-Lizenz. Die eigentlichen Kosten stecken in der Hardware: DeepInfer soll die Zahl der GPUs reduzieren, die für einen Inferenz-Workload nötig sind.
Kann ich DeepInfer mit anderen Modellen nutzen?
Aktuell wird nur DeepSeek-V4.1-Flash unterstützt. Wer andere Modelle betreibt, ist mit Engines wie vLLM oder NVIDIA TensorRT-LLM besser bedient, auf denen DeepInfer ohnehin teilweise aufbaut.
Ist DeepInfer produktionsreif?
Die Engine steckt in DeepSeeks eigenen Produktivdiensten, der Open-Source-Release ist aber kein kompletter Serving-Stack: KV-Cache-System, Prefill/Decode-Trennung und Lastverteilung über Repliken sind nicht enthalten und müssen selbst ergänzt werden.
Quellen
- DeepInfer: High-performance, large-scale inference framework for DeepSeek models (GitHub (deepseek-ai), abgerufen 2026-10-21)
- DeepSeek makes DeepInfer open source to cut AI costs (TechTarget, abgerufen 2026-10-21)
- DeepInfer: Deepseek gibt die Betriebssoftware hinter seinem schnellen KI-Modell frei (The Decoder, abgerufen 2026-10-21)
Weitere Artikel
- Eigener LLM-Proxy: Wer seine KI-Nutzung nicht misst, rätselt nur
- DeepSeek V4.1-Flash-1017: Kleines Modell, starke Coding-Agenten
Transparenzhinweis: Dieser Artikel ist ein redaktioneller Beitrag von Philipp Paulik und entstand mit KI-Unterstützung (Recherche und Textentwurf). Alle Quellen sind unten verlinkt; Zahlen und Aussagen stammen aus diesen Quellen. Das Titelbild ist KI-generiert und im Bild entsprechend gekennzeichnet. Die News-Übersicht auf dieser Seite wird dagegen automatisch aus öffentlichen Feeds aggregiert. So arbeiten wir.