NVIDIA hat am 23. Oktober 2026 Nemotron 3.5 Bolt E4B 4GB veröffentlicht, ein offenes Sprachmodell für lokale Assistenten. Es hat 8 Milliarden Parameter, davon 4 Milliarden aktiv, und ein Kontextfenster von 64.000 Token. Die Angabe 4 GB beschreibt den Speicherbedarf im Zielbetrieb, nicht die Dateigröße.
Das Modell baut auf Gemma 4 E4B von Google auf und wurde von NVIDIA nachtrainiert – nach Angaben des Unternehmens ausschließlich mit Reinforcement Learning, ohne überwachtes Feintuning. Genannt werden drei Einsatzfelder: Sprach- und Geräteassistenten, interaktive Figuren in Spielen sowie eingebettete und industrielle Agenten. Unterstützt werden GeForce RTX, Jetson, RTX Spark und DGX Spark.
Technisch nennt NVIDIA 8 Milliarden Parameter bei 4 Milliarden aktiven Parametern, 64.000 Token Kontext und Unterstützung für 35 Sprachen. Ein Schalter für den Konversationsmodus liefert kurze, sprachtaugliche Antworten, Reasoning lässt sich zuschalten und über ein Budget in der Länge begrenzen. Ein zusätzlicher DFlash-Drafter beschleunigt die Ausgabe: Auf einer RTX 5070 erreicht das Modell 272,6 Token pro Sekunde gegenüber 225,9 bei Gemma 4 E4B mit dessen Drafter.
Die Benchmark-Werte stammen aus eigenen Messungen von NVIDIA. Das Modell führt 15 von 21 Tests, darunter IHEval mit 84,8 Punkten gegenüber 67,0 für Gemma 4 E4B und 60,6 für Qwen3.5-4B, sowie MultiChallenge mit 53,1. Im Durchschnitt liegt es rund 40 Prozent über dem Vorgänger Nemotron 3 Nano 4B und rund 10 Prozent über vergleichbaren kleinen Modellen, bei bis zu 80 Prozent weniger Ausgabe-Token in Vergleichen mit aktiviertem Reasoning. Schwächer schneidet es in Mehrturn-Aufgaben ab: Tau2-Bench 55,1 gegenüber 75,1 bei Qwen3.5-4B, RULER 64K 87,0 gegenüber 95,1, LongBench v2 50,5 gegenüber 59,9.
Der Speicherbedarf ist der eigentliche Kern der Meldung. NVIDIA misst für die Q4_K_M-Fassung 3,5 GB Grafikspeicher auf einer RTX 5070 bei 133,4 Token pro Sekunde und 548 Millisekunden bis zum ersten Token; auf einem Jetson Orin Nano mit 8 GB sind es 4,2 GB bei 15,5 Token pro Sekunde. Die Bezeichnung 4 GB meint diesen Zielkorridor, nicht die Dateigröße: Das GGUF in Q4_K_M umfasst 6,18 GB.
Die Gewichte stehen unter der OpenMDW-1.1, Trainingsdaten und Trainingsrezept sind veröffentlicht. Das Modell ist über Hugging Face, Ollama, LM Studio, Unsloth, Jetson AI Lab und als NVIDIA NIM verfügbar.
Für Handwerksbetriebe und KMU ist weniger der Launch als die Größenklasse relevant. Die Aufgaben, die in Betrieben tatsächlich automatisiert werden, sind klein: Mails vorsortieren, Angebote aus PDFs ziehen, Prüfberichte zusammenfassen, Rechnungen klassifizieren. Dafür ist kein Modell mit Weltwissen nötig, sondern eines, das zuverlässig klassifiziert, sowie eine Infrastruktur, die sich erklären lässt.
Drei Einschränkungen bleiben:
- Ein Modell allein genügt nicht. Sprache, Anwendung und Kontext brauchen zusätzlichen Speicher; 4 GB Modell bedeutet nicht 4 GB Rechner.
- Kleine Modelle scheitern leise. Sie antworten falsch statt gar nicht, deshalb braucht der Einsatz eine Prüfinstanz – einen Menschen oder eine feste Regel.
- Die Eignung zeigt sich an eigenen Dokumenten, nicht an einem Leaderboard. Ein Test mit 50 echten Rechnungen oder Prüfberichten sagt mehr als jede Vergleichstabelle.
Für den Mittelstand verschiebt sich damit die Frage: nicht welches Modell das größte ist, sondern welches ein Betrieb selbst betreiben und erklären kann.
Autor: Team REN-AI-SSANCE – mit KI-Unterstützung erstellt, von Menschen geprüft und freigegeben.
Quelle: benchlm.ai (AI Model Updates) – Originalmeldung vom 23.10.2026; Modellangaben aus der NVIDIA-Veröffentlichung vom 23.10.2026; Abruf/Archivstand: 24.10.2026
