DeepSeek hat sein intern entwickeltes Inferenz-Framework DeepInfer unter der Apache-2.0-Lizenz offengelegt. Es ist auf das Modell DeepSeek-V4.1-Flash sowie auf Nvidia SM100 (Blackwell) und Huaweis Ascend 950 zugeschnitten. Der Anbieter verspricht geringere Betriebskosten, unabhängige Messungen liegen nicht vor.

DeepSeek hat am 20. Oktober 2026 DeepInfer veröffentlicht – das Framework, mit dem das Unternehmen seine eigenen Modelle in der Produktion betreibt, vollständig offengelegt unter der Apache-2.0-Lizenz. Der erste Stand unterstützt ein einziges Modell, DeepSeek-V4.1-Flash, und zielt auf zwei Hardware-Familien: Nvidias SM100-GPUs (Blackwell) und Huaweis Ascend-950-NPUs. Inferenz bezeichnet das Ausliefern und Betreiben eines Modells – den Teil, der im Dauerbetrieb Kosten verursacht, nicht das Training.

In einem bei X veröffentlichten Beitrag schrieb DeepSeek, man teile den eigenen Produktions-Stack, „um der Community zu helfen, Rechenkosten zu senken, den Energieverbrauch zu reduzieren und KI bezahlbarer zu machen“. Ein leitender Forscher des Unternehmens beschrieb die wachsende Kluft zwischen offenen und geschlossenen Modellen gegenüber der South China Morning Post als Kampf „zwischen Licht und Dunkelheit“. Das Pathos stammt aus China; in der Richtung deckt es sich mit dem Argument, dass offene Laufzeit-Schichten die Eintrittsschwelle senken.

Zum Lieferumfang gehören nach der Projektdokumentation:
– optimierte Kernel aus früheren Open-Source-Bibliotheken von DeepSeek, darunter FlashMLA, DeepGEMM und DeepEP
– Parallelisierung über Attention- und Mixture-of-Experts-Schichten für Mehrtakt-Betrieb
– spekulative Dekodierung mit Draft-Token und konfidenzgesteuerter Verifikation; die Komponente „DSpark“ schlägt fünf Token pro Schritt vor, ein Confidence Head schätzt die Annahmequote
– asynchrone Ablaufplanung, die CPU-Batching und Geräteausführung überlappt
– strukturierte Ausgaben über Regex, JSON-Schema oder EBNF-Grammatik
– batch-invariante Inferenz und deterministisches Sampling für reproduzierbare Ergebnisse

DeepInfer ist kein vollständiger Serving-Stack. Die Dokumentation beschreibt den Stand als Offline-Inferenz mit den Kernfunktionen für Betrieb in Größenordnung; KV-Cache-Verwaltung, die Trennung von Prefill und Decode sowie Lastverteilung über Replikate sind nicht enthalten. Das sind die Teile, die ein Inferenz-Framework als mehrtaktigen Dienst einsetzbar machen – Teams müssen Cache-Verwaltung, Ablaufplanung und Routing selbst beistellen. Die Beschränkung auf ein Modell und zwei Hardware-Familien begrenzt die Übertragbarkeit zusätzlich.

Die Leistungszahlen stammen von DeepSeek selbst. Das Unternehmen nennt über 25.000 Output-Token pro Sekunde und GPU bei 256 Anfragen pro Rang (EP64, Kontext 131.072 Token), gemessen mit vier GPUs für Prefill und 64 für Decode, dazu einen Cluster, der 155 Billionen Token pro Tag bedient und 38 US-Dollar Umsatz pro GPU-Stunde zu Nebentarif-Preisen erzielt. Eine unabhängige Messung von DeepInfer ist bislang nicht veröffentlicht, auch Investing.com verweist auf begrenzte unabhängige Daten. Ein Framework, das auf zwei bestimmte Chiptypen optimiert ist, senkt die Kosten für alle, die genau diese Hardware betreiben; auf älteren Servern oder einer Workstation bringt der Code wenig.

DeepInfer entstand nach Angaben von The Next Web zunächst überwiegend auf Basis von vLLM, ergänzt um Ideen aus SGLang und Nvidias TensorRT-LLM. Das vLLM-Projekt bedankte sich auf X und kündigte an, die eigene Unterstützung für V4.1-Flash mit Ideen aus DeepInfer weiterzuentwickeln. DeepSeek will Code für künftige Modelle im selben Repository veröffentlichen.

Für Handwerksbetriebe und KMU steht vor jedem eigenen Modellbetrieb eine Rechnung über die ganze Kette: Chips, Strom, Kühlung, Wartung und Ausfallzeit. Der preiswerte Teil von KI ist die Software; teuer sind Betrieb, Hardware und die Person, die es am Laufen hält. Offener Code macht außerdem keine Daten lokal – wer über die Schnittstelle eines Anbieters arbeitet, bleibt dort. Für Betriebe, die bereits eigene Hardware betreiben, ist ein Blick in den Quellcode kostenlos.

Autor: Team REN-AI-SSANCE – mit KI-Unterstützung erstellt, von Menschen geprüft und freigegeben.

Quelle: South China Morning Post – Originalartikel vom 21.10.2026; Abruf/Archivstand: 21.10.2026