NVIDIA Nemotron 3.5 Bolt E4B: Das 4GB Open-Modell für lokale KI-Agenten

NVIDIA hat soeben Nemotron 3.5 Bolt E4B 4GB veröffentlicht – sein bislang kleinstes Open-Modell, das so konzipiert wurde, dass ein konversationsfähiger, Tool-nutzender KI-Agent lokal auf einem Roboter, einem Handheld-Gerät oder einer Einsteiger-GPU laufen kann. Es packt Agentenverhalten in rund 4 GB Arbeitsspeicher und kann dabei über mehrere Gesprächsrunden hinweg Tools aufrufen. Dieser Leitfaden erklärt, was Bolt E4B ist, wie es sich verhält, welche Hardware es benötigt und wie man es betreibt – damit Sie entscheiden können, ob es in Ihren Edge-Stack gehört.

Was ist Nemotron 3.5 Bolt E4B?

Nemotron 3.5 Bolt E4B ist ein kleines, offenes Sprachmodell für schnelle lokale Konversationsagenten. NVIDIA beschreibt es als sein neuestes offenes kleines Sprachmodell, das auf Geschwindigkeit und Intelligenz pro Gigabyte in Konversationsagenten optimiert ist. Es zielt auf drei Einsatzbereiche ab: Geräte- und Sprachassistenten, interaktive Charaktere sowie eingebettete oder industrielle Agenten.

Das entscheidende Merkmal ist seine Größe. Das Modell hat 8 Milliarden Gesamtparameter, aber nur 4 Milliarden effektive, mit einem 64K-Kontextfenster und ausschließlich textbasierter Ein- und Ausgabe. Das „4GB" im Namen bezieht sich auf den Arbeitsspeicher, den der quantisierte Build in seinen vorgesehenen Einsatzbereichen anstrebt – nicht auf den Download, der größer ist. NVIDIA liefert es unter der OpenMDW-1.1-Lizenz aus, und die Veröffentlichung umfasst offene Gewichte, Daten und Trainingsrezepte.

Bolt E4B wird nicht von Grund auf neu trainiert. Es baut auf Googles Gemma 4 E4B mit NVIDIAs Nemotron-Post-Training auf – das „E" steht für effektive Parameter, sodass das Modell 8B Gewichte trägt, aber pro Token nur rund 4B aktiviert.

Es erschien am 23. Oktober 2026 als letztes von drei offenen Nemotron-3.5-Modellen, die NVIDIA im Laufe des Monats veröffentlichte, zusammen mit dem 120B Nemotron 3.5 Super VL Vision-Language-Modell und dem 24GB Bolt 74B-A9B. Während Super VL auf Rechenzentrumsagenten abzielt, steht Bolt E4B am entgegengesetzten Ende: klein genug für Robotik-Controller und eingebettete Geräte.

Wofür Bolt E4B entwickelt wurde

NVIDIA hat Bolt E4B darauf ausgerichtet, wie Konversationsagenten tatsächlich funktionieren – nicht darauf, eine Coding-Bestenliste anzuführen. Die wichtigsten Funktionen:

• Mehrstufige Tool-Nutzung — es ruft Anwendungs-APIs auf, um Aufgaben über eine Konversation hinweg zu erledigen, mit Unterstützung für asynchrone Tool-Aufrufe.
• Konversationsmodus — ein Schalter, der prägnante, sprachfertige Antworten für natürliches Hin-und-Her fördert.
• Konfigurierbares Reasoning — Reasoning für schwierige Anfragen ein- oder für schnellere Antworten ausschalten, mit Optionen zur Begrenzung des „Denkens" zur Einhaltung von Latenzzielen.
• 64K-Kontext — ausreichend für Gesprächsverlauf, Anweisungen, Tool-Definitionen, abgerufene Daten und App-Zustand.
• Mehrsprachig — Unterstützung für 35 Sprachen, auf einem Basismodell, das auf mehr als 140 vortrainiert wurde.

Die Zieleinsatzbereiche ergeben sich daraus: lokale Sprach- und Geräteassistenten (PC, Mobilgerät, Fahrzeug), interaktive Charaktere wie Spiel-NPCs und Begleiter sowie Mensch-Maschine-Schnittstellen für Robotik und industrielles IoT.

NVIDIAs Launch-Demo macht den Edge-Ansatz konkret. Ein Reachy Mini-Roboter läuft auf einem Jetson Orin Nano 8GB, wobei Bolt E4B Konversation und Tool-Aufrufe übernimmt, während Cosmos 3 Edge Echtzeit-Vision liefert. In einer zweiten Demo überprüft ein Schmied-NPC die Bezahlung für einen Gegenstand und ruft dann autonom Tools auf, um Rezepte zu prüfen, Zutaten zu sammeln, den Gegenstand herzustellen und ihn zu übergeben – genau die Art von verschachtelter Dialog-plus-Aktions-Schleife, für die diese kleinen Agenten gedacht sind.

Nemotron 3.5 Bolt E4B Benchmarks

NVIDIA gruppiert seine Evaluierungen in fünf Fähigkeitsbereiche und vergleicht Bolt E4B mit ähnlich großen Modellen: dem eigenen Nemotron 3 Nano 4B, Qwen 3.5 4B und dem Basis-Gemma 4 E4B. Alle nachstehenden Werte sind von NVIDIA angegeben (BF16) – behandeln Sie sie daher als Herstellerangaben, bis Dritte sie reproduzieren.

Bei Konversation und Tool-Nutzung führt Bolt E4B in seiner Größenklasse generell:

Es gewinnt nicht überall – Qwen 3.5 4B führt bei Tau2-Bench (75,1 vs. 55,1) und einigen Langkontext-Abrufen, wo RULER bei 64K Qwen (95,1) und Nano (91,5) gegenüber Bolt (87,0) bevorzugt. NVIDIAs eigene Zusammenfassung lautet, dass Bolt E4B im Durchschnitt rund 40 % höher als Nemotron 3 Nano 4B und etwa 10 % höher als andere evaluierte Konkurrenten abschneidet, während es bei Reasoning-aktivierten Vergleichen bis zu 80 % weniger Ausgabe-Token verwendet. Weniger Token bedeuten weniger Dekodierarbeit, geringere Kosten und oft schnellere Antworten.

Ein Drittanbieter-Signal erschien beim Launch: Laut einem X-Post von NVIDIA hat Scale Labs Bolt bei kleinen Modellen auf MultiChallenge mit 56,03 % auf Platz eins eingestuft – rund 12,8 Punkte vor Gemma 4 E4B – was richtungsmäßig mit NVIDIAs eigenem MultiChallenge-Wert übereinstimmt.

Wie viel Arbeitsspeicher und wie schnell?

Hier wird der „4GB"-Anspruch konkret. NVIDIA hat den Q4_K_M-Build bei Batch-Größe 1 auf llama.cpp über repräsentative Hardware gemessen:

Auf einer Desktop-RTX-Karte antwortet das Modell also in etwa einer halben Sekunde und streamt weit über 100 Token/Sek. in ~3,5 GB. Auf einem 8-GB-Jetson Orin Nano passt es noch – aber erwarten Sie ein erstes Token nach mehreren Sekunden und rund 15 Token/Sek., weshalb NVIDIA es mit einem leichtgewichtigen Vision-Modell kombiniert, anstatt schwerere Modelle auf demselben Board zu stapeln.

Zwei Optimierungen helfen, den Abstand zu verringern:

• DFlash Parallel Drafter — ein Speculative-Decoding-Drafter, der Draft-Token in einem einzigen Forward-Pass vorschlägt; NVIDIA berichtet von bis zu 21 % höherem Durchsatz als der ursprüngliche Drafter von Gemma 4 E4B.
• Q4_K_M mit imatrix-Kalibrierung — NVIDIA hat den BF16-Checkpoint mit etwa 1 Million Token RL-Rollouts aus demselben Trainingsschritt quantisiert, wodurch die Qualität nahe am Vollpräzisionsmodell bleibt.

Wie wurde Bolt E4B trainiert?

Bolt E4B ist eine Post-Training-Geschichte. NVIDIA startete von Gemma4-E4B-it und wendete Nemotron-Post-Training über Umgebungen für Anweisungsfolgen, mehrstufige Tool-Aufrufe und Konversation an. Die Methode ist ausschließlich Reinforcement Learning — RL mit verifizierbaren Belohnungen (RLVR) und aus menschlichem Feedback (RLHF), ausgeführt auf NeMo-RL und NeMo-Gym.

Um das Modell schnell statt geschwätzig zu halten, betonte NVIDIA die Nicht-Reasoning-Genauigkeit, behielt ein 2:1-Verhältnis von Nicht-Reasoning- zu Reasoning-Samples pro Batch bei und fügte Längenstrafen hinzu, um Weitschweifigkeit einzudämmen, da das Training Antworten länger werden ließ. Das vollständige Rezept und die Datensätze werden zusammen mit den Gewichten veröffentlicht.

So betreiben Sie Nemotron 3.5 Bolt E4B

NVIDIA liefert mehrere Checkpoints – ein Q4_K_M GGUF für den Einsatz, einen DFlash-Drafter und einen BF16-HF-Checkpoint – und listet mehrere Einstiegsmöglichkeiten auf: Hugging Face, Ollama, LM Studio, Unsloth, Canonical, Jetson AI Lab und das NVIDIA In-Game Inferencing SDK.

Die einfachsten lokalen Wege:

1. Desktop (RTX). Laden Sie das GGUF über Ollama oder LM Studio herunter und führen Sie es wie jedes andere lokale Modell aus – erwarten Sie Antworten unter einer Sekunde auf einer modernen RTX-Karte.
2. Jetson / Edge. Verwenden Sie den Jetson AI Lab-Leitfaden, der einen llama.cpp-Container ausführt, der Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf herunterlädt und eine OpenAI-kompatible API auf Port 8000 bereitstellt.
3. App-Integration. Da der Server die OpenAI-API spricht, können Sie vorhandenen Agenten-Code darauf ausrichten, indem Sie die Basis-URL austauschen – die Modellkarte dokumentiert die Schalter enable_thinking und conversational_mode.

Ein minimaler Aufruf gegen einen laufenden llama.cpp-Server ist eine Standard-Chat-Completions-Anfrage an /v1/chat/completions mit der Modell-ID nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB.

Sollten Sie es verwenden?

Bolt E4B ist eine starke Wahl, wenn Sie einen Sprachassistenten, einen Spiel-NPC oder einen Roboter entwickeln, der lokal laufen, schnell antworten und Arbeitsspeicher für Sprach- oder Vision-Modelle auf demselben Gerät freilassen muss. Es ist das richtige Werkzeug, wenn Datenschutz, Latenz oder Offline-Betrieb ein Cloud-Modell ausschließen.

Es ist weniger überzeugend, wenn Sie tiefes Reasoning, Langkontext-Abruf oder agentisches Coding benötigen – seine eigenen Geschwister (Bolt 74B-A9B für mehrstufige Aufgaben, Super VL für Dokumente und Vision) oder ein Frontier-Modell werden diese Anforderungen besser erfüllen. Und wie der Rest der Nemotron-Familie verläuft der reibungslose Weg über NVIDIA-Hardware.

Für einen Vergleich mit anderen aktuellen kleinen und Open-Weight-Veröffentlichungen lesen Sie unsere Analysen zu Muse Spark Open und Reflection Beam.

Bauen Sie ein lokales Agenten-Team auf Ihrer eigenen Hardware

Bolt E4B zeigt, wohin Edge-KI sich entwickelt: fähige, Tool-nutzende Agenten, die auf dem Gerät vor Ihnen laufen. Eigent ist eine Open-Source-Cowork-Desktop-App, die ein Team von KI-Agenten lokal orchestriert, sodass Sie lokale Modelle und Ihre eigenen Tools in echte mehrstufige Workflows einbinden können, anstatt Skripte zusammenzukleben. Erkunden Sie was Sie mit Eigent bauen können, oder laden Sie Eigent herunter und beginnen Sie, Ihr eigenes Agenten-Team aufzubauen.