NVIDIA Nemotron 3.5 Bolt E4B: 4GB otwarty model dla lokalnych agentów AI

NVIDIA właśnie wydało Nemotron 3.5 Bolt E4B 4GB — swój najmniejszy otwarty model, stworzony po to, by konwersacyjny agent AI korzystający z narzędzi mógł działać lokalnie na robocie, urządzeniu przenośnym lub procesorze graficznym klasy podstawowej. Mieści zachowanie agenta w około 4GB pamięci, jednocześnie wywołując narzędzia w wielu turach. Ten przewodnik wyjaśnia, czym jest Bolt E4B, jak działa, jakiego sprzętu wymaga i jak go uruchomić — abyś mógł zdecydować, czy należy do Twojego stosu brzegowego.

Czym jest Nemotron 3.5 Bolt E4B?

Nemotron 3.5 Bolt E4B to mały, otwarty model językowy przeznaczony do szybkich lokalnych agentów konwersacyjnych. NVIDIA opisuje go jako swój najnowszy otwarty mały model językowy zoptymalizowany pod kątem szybkości i inteligencji na gigabajt w agentach konwersacyjnych. Celuje w trzy rodzaje zadań: asystenci urządzeń i głosowi, interaktywne postacie oraz agenci wbudowani lub przemysłowi.

Kluczowym szczegółem jest jego rozmiar. Model ma 8 miliardów parametrów łącznie, ale tylko 4 miliardy efektywnych, z oknem kontekstowym 64K i wejściem oraz wyjściem wyłącznie tekstowym. „4GB" w nazwie odnosi się do pamięci, jaką celuje skwantyzowana wersja w zamierzonych zastosowaniach — nie do rozmiaru pobieranego pliku, który jest większy. NVIDIA udostępnia go na licencji OpenMDW-1.1, a wydanie obejmuje otwarte wagi, dane i przepisy treningowe.

Bolt E4B nie jest trenowany od zera. Bazuje na Gemma 4 E4B Google z post-treningiem Nemotron NVIDIA — litera „E" oznacza efektywne parametry, więc model niesie 8B wag, ale aktywuje około 4B na token.

Pojawił się 23 października 2026 roku jako ostatni z trzech otwartych modeli Nemotron 3.5, które NVIDIA wypuściła w ciągu miesiąca, obok 120B Nemotron 3.5 Super VL — modelu wizyjno-językowego — oraz 24GB Bolt 74B-A9B. Podczas gdy Super VL celuje w agentów centrów danych, Bolt E4B zajmuje przeciwległy koniec spektrum: wystarczająco mały dla kontrolerów robotyki i urządzeń wbudowanych.

Do czego służy Bolt E4B

NVIDIA zaprojektowała Bolt E4B wokół tego, jak konwersacyjni agenci faktycznie się zachowują — nie po to, by zająć czołowe miejsce w rankingu kodowania. Jego główne funkcje:

• Wieloturowe wywoływanie narzędzi — wywołuje API aplikacji, aby realizować zadania w trakcie rozmowy, z obsługą asynchronicznych wywołań narzędzi.
• Tryb konwersacyjny — przełącznik zachęcający do zwięzłych, gotowych do mowy odpowiedzi dla naturalnej wymiany zdań.
• Konfigurowalne rozumowanie — włącz rozumowanie dla trudnych żądań lub wyłącz dla szybszych odpowiedzi, z opcjami ograniczenia „myślenia" w celu osiągnięcia celów opóźnienia.
• Kontekst 64K — wystarczający dla historii rozmowy, instrukcji, definicji narzędzi, pobranych danych i stanu aplikacji.
• Wielojęzyczność — obsługa 35 języków, na modelu bazowym wstępnie trenowanym na ponad 140.

Docelowe zastosowania wynikają z powyższego: lokalni asystenci głosowi i urządzeń (PC, mobile, samochodowe), interaktywne postacie jak NPC w grach i towarzysze, oraz interfejsy człowiek-maszyna dla robotyki i przemysłowego IoT.

Demo startowe NVIDIA konkretyzuje argument brzegowy. Robot Reachy Mini działa na Jetson Orin Nano 8GB, gdzie Bolt E4B obsługuje rozmowę i wywołania narzędzi, a Cosmos 3 Edge dostarcza wizję w czasie rzeczywistym. W drugim demo NPC kowal weryfikuje płatność za przedmiot, a następnie autonomicznie wywołuje narzędzia, by sprawdzić przepisy, zebrać składniki, wykonać przedmiot i go przekazać — właśnie taki przeplatany pętlą dialogu i działania scenariusz jest przeznaczeniem tych małych agentów.

Benchmarki Nemotron 3.5 Bolt E4B

NVIDIA grupuje swoje oceny w pięć kategorii i porównuje Bolt E4B z modelami podobnej wielkości: własnym Nemotron 3 Nano 4B, Qwen 3.5 4B i bazowym Gemma 4 E4B. Wszystkie poniższe wyniki są raportowane przez NVIDIA (BF16), więc traktuj je jako liczby producenta do czasu, gdy strony trzecie je zreprodukują.

W zakresie rozmowy i wywoływania narzędzi Bolt E4B generalnie prowadzi w swojej klasie rozmiarów:

Nie wygrywa we wszystkim — Qwen 3.5 4B prowadzi na Tau2-Bench (75,1 vs 55,1) i w niektórych testach długiego kontekstu, gdzie RULER przy 64K faworyzuje Qwen (95,1) i Nano (91,5) nad Bolt (87,0). Własne podsumowanie NVIDIA mówi, że Bolt E4B osiąga średnio około 40% wyższe wyniki niż Nemotron 3 Nano 4B i około 10% wyższe niż inne oceniane modele porównywalne, używając przy tym do 80% mniej tokenów wyjściowych w porównaniach z włączonym rozumowaniem. Mniej tokenów oznacza mniej pracy dekodowania, niższy koszt i często szybsze odpowiedzi.

Jeden sygnał od strony trzeciej pojawił się przy starcie: zgodnie z postem na X od NVIDIA, Scale Labs sklasyfikowało Bolt na pierwszym miejscu wśród małych modeli w MultiChallenge z wynikiem 56,03% — około 12,8 punktu przed Gemma 4 E4B — co jest kierunkowo spójne z własną liczbą NVIDIA dla MultiChallenge.

Ile pamięci i jak szybko?

Tu twierdzenie „4GB" nabiera konkretnych podstaw. NVIDIA zmierzyła wersję Q4_K_M przy rozmiarze wsadu 1 na llama.cpp na reprezentatywnym sprzęcie:

Na desktopowej karcie RTX model odpowiada w około pół sekundy i strumieniuje ponad 100 tokenów/sek przy ~3,5GB. Na 8GB Jetson Orin Nano nadal się mieści — ale należy spodziewać się kilkusekundowego czasu do pierwszego tokenu i około 15 tokenów/sek, dlatego NVIDIA łączy go z lekkim modelem wizyjnym zamiast nakładać cięższe modele na tę samą płytę.

Dwie optymalizacje pomagają zmniejszyć tę różnicę:

• DFlash parallel drafter — drafter spekulatywnego dekodowania (speculative decoding), który proponuje tokeny szkicowe w jednym przejściu do przodu; NVIDIA raportuje do 21% wyższą przepustowość niż oryginalny drafter Gemma 4 E4B.
• Q4_K_M z kalibracją imatrix — NVIDIA skwantyzowała punkt kontrolny BF16 używając około 1M tokenów z rolloutów RL z tego samego kroku treningowego, utrzymując jakość zbliżoną do modelu pełnej precyzji.

Jak trenowano Bolt E4B?

Bolt E4B to historia post-treningu. NVIDIA zaczęła od Gemma4-E4B-it i zastosowała post-trening Nemotron w środowiskach dla śledzenia instrukcji, wieloturowego wywoływania narzędzi i konwersacji. Metoda to wyłącznie uczenie przez wzmacnianie — RL z weryfikowalnymi nagrodami (RLVR) i z informacji zwrotnej od ludzi (RLHF), uruchomione na NeMo-RL i NeMo-Gym.

Aby model był szybki, a nie gadatliwy, NVIDIA kładła nacisk na dokładność bez rozumowania, utrzymywała stosunek 2:1 próbek bez rozumowania do próbek z rozumowaniem na partię i dodała kary za długość, by ograniczyć gadatliwość, gdy trening wydłużał odpowiedzi. Pełny przepis i zestawy danych są opublikowane razem z wagami.

Jak uruchomić Nemotron 3.5 Bolt E4B

NVIDIA dostarcza wiele punktów kontrolnych — wersję Q4_K_M GGUF do wdrożenia, drafter DFlash i punkt kontrolny BF16 HF — i wymienia kilka sposobów na start: Hugging Face, Ollama, LM Studio, Unsloth, Canonical, Jetson AI Lab i NVIDIA In-Game Inferencing SDK.

Najprostsze lokalne ścieżki:

1. Desktop (RTX). Pobierz GGUF przez Ollama lub LM Studio i uruchom jak każdy inny lokalny model — spodziewaj się odpowiedzi poniżej sekundy na nowoczesnej karcie RTX.
2. Jetson / brzeg sieci. Skorzystaj z przewodnika Jetson AI Lab, który uruchamia kontener llama.cpp pobierający Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf i serwuje API kompatybilne z OpenAI na porcie 8000.
3. Integracja z aplikacją. Ponieważ serwer mówi API OpenAI, możesz skierować istniejący kod agenta na niego, zamieniając bazowy URL — karta modelu dokumentuje przełączniki enable_thinking i conversational_mode.

Minimalne wywołanie do działającego serwera llama.cpp to standardowe żądanie chat-completions do /v1/chat/completions z identyfikatorem modelu nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB.

Czy powinieneś go używać?

Bolt E4B doskonale pasuje, jeśli budujesz asystenta głosowego, NPC w grze lub robota, który musi działać lokalnie, odpowiadać szybko i zostawiać wolną pamięć dla modeli mowy lub wizji na tym samym urządzeniu. To właściwe narzędzie, gdy prywatność, opóźnienie lub działanie bez internetu wykluczają model chmurowy.

Jest mniej przekonujący, jeśli potrzebujesz głębokiego rozumowania, wyszukiwania w długim kontekście lub agentycznego kodowania — jego własne rodzeństwo (Bolt 74B-A9B do pracy wieloetapowej, Super VL do dokumentów i wizji) lub model frontierowy lepiej obsłuży te potrzeby. I jak reszta rodziny Nemotron, płynna ścieżka prowadzi przez sprzęt NVIDIA.

Aby porównać to z innymi niedawnymi premierami małych i otwartych modeli, zapoznaj się z naszymi omówieniami Muse Spark Open i Reflection Beam.

Zbuduj lokalny zespół agentów na własnym sprzęcie

Bolt E4B pokazuje, dokąd zmierza brzegowa AI: zdolni agenci korzystający z narzędzi, działający na urządzeniu przed Tobą. Eigent to open-source'owa desktopowa aplikacja Cowork, która orkiestruje zespół agentów AI lokalnie, dzięki czemu możesz połączyć lokalne modele i własne narzędzia w prawdziwe wieloetapowe przepływy pracy zamiast sklejać skrypty. Sprawdź, co możesz zbudować z Eigent, lub pobierz Eigent i zacznij budować własny zespół agentów.