NVIDIA Nemotron 3.5 Bolt E4B：4GB 本地 AI 代理開放模型

NVIDIA 剛發布了 Nemotron 3.5 Bolt E4B 4GB，這是其迄今最小的開放模型——專為讓具備對話能力、可呼叫工具的 AI 代理能在機器人、手持裝置或入門級 GPU 上本地運行而設計。它將代理行為壓縮至約 4GB 記憶體，同時仍能在多輪對話中呼叫工具。本指南將說明 Bolt E4B 是什麼、效能表現如何、需要哪些硬體，以及如何運行，協助您判斷它是否適合納入您的邊緣運算架構。

Nemotron 3.5 Bolt E4B 是什麼？

Nemotron 3.5 Bolt E4B 是一款小型開放語言模型，專為快速本地對話代理而設計。NVIDIA 將其描述為其最新的開放小型語言模型，針對對話代理的每 GB 速度與智能進行了優化。它鎖定三種應用場景：裝置與語音助理、互動角色，以及嵌入式或工業代理。

關鍵在於其體積。該模型擁有 80 億個總參數，但僅有 40 億個有效參數，具備 64K 上下文視窗，僅支援文字輸入與輸出。名稱中的「4GB」指的是量化版本在目標應用場景中所需的記憶體——而非下載大小（下載檔案更大）。NVIDIA 以 OpenMDW-1.1 授權發布，並同時開放權重、資料與訓練方案。

Bolt E4B 並非從頭訓練，而是以 Google 的 Gemma 4 E4B 為基礎，加上 NVIDIA 的 Nemotron 後訓練——「E」代表有效參數，因此模型擁有 8B 權重，但每個 token 僅啟動約 4B。

它於 2026 年 10 月 23 日發布，是 NVIDIA 當月陸續推出的三款 Nemotron 3.5 開放模型中的最後一款，另外兩款分別是 1200 億參數的 Nemotron 3.5 Super VL 視覺語言模型，以及 24GB 的 Bolt 74B-A9B。Super VL 鎖定資料中心代理，Bolt E4B 則位於另一個極端：小到足以用於機器人控制器和嵌入式裝置。

Bolt E4B 的設計用途

NVIDIA 設計 Bolt E4B 時，著眼於對話代理的實際行為模式，而非追求程式碼排行榜的頂端。其主要功能包括：

• 多輪工具呼叫 — 在對話過程中呼叫應用程式 API 完成任務，並提供非同步工具呼叫的使用指引。
• 對話模式 — 一個切換開關，鼓勵模型給出簡潔、適合語音播放的回覆，實現自然的來回對話。
• 可配置推理 — 針對困難請求開啟推理，或關閉以加快回應速度，並可設定「思考」上限以達到延遲目標。
• 64K 上下文 — 足以容納對話歷史、指令、工具定義、檢索資料和應用程式狀態。
• 多語言支援 — 支援 35 種語言，底層基礎模型預訓練語言超過 140 種。

目標應用場景由此而來：本地語音與裝置助理（PC、行動裝置、車載）、互動角色（如遊戲 NPC 和虛擬夥伴），以及機器人和工業 IoT 的人機介面。

NVIDIA 的發布示範具體呈現了邊緣運算的應用潛力。一台 Reachy Mini 機器人在 Jetson Orin Nano 8GB 上運行，由 Bolt E4B 負責對話與工具呼叫，Cosmos 3 Edge 提供即時視覺。在第二個示範中，一位鐵匠 NPC 確認物品付款後，自主呼叫工具查詢配方、收集材料、製作物品並交付——這正是這類小型代理所擅長的對話與行動交織循環。

Nemotron 3.5 Bolt E4B 基準測試

NVIDIA 將評估分為五大能力，並將 Bolt E4B 與同等規模的模型進行比較：其自家的 Nemotron 3 Nano 4B、Qwen 3.5 4B，以及基礎版 Gemma 4 E4B。以下所有分數均為 NVIDIA 自行回報（BF16），在第三方重現之前，請將其視為廠商數據。

在對話與工具呼叫方面，Bolt E4B 在同等規模中普遍領先：

並非所有項目都由 Bolt E4B 勝出——Qwen 3.5 4B 在 Tau2-Bench（75.1 對 55.1）和部分長上下文檢索方面領先，其中 RULER 64K 測試偏向 Qwen（95.1）和 Nano（91.5），優於 Bolt（87.0）。NVIDIA 的總結是：Bolt E4B 的平均分數比 Nemotron 3 Nano 4B 高約 40%，比其他同類模型高約 10%，同時在啟用推理的比較中，輸出 token 數量減少多達 80%。更少的 token 意味著更少的解碼工作、更低的成本，以及通常更快的回應速度。

發布時出現了一個第三方訊號：根據 NVIDIA 的 X 貼文，Scale Labs 在 MultiChallenge 小型模型排名中，Bolt 以 56.03% 位居第一，領先 Gemma 4 E4B 約 12.8 個百分點——與 NVIDIA 自身的 MultiChallenge 數據方向一致。

記憶體需求與運行速度

這裡是「4GB」說法的具體依據。NVIDIA 在 llama.cpp 上以批次大小 1 測量了 Q4_K_M 版本在代表性硬體上的表現：

因此，在桌上型 RTX 顯示卡上，模型約在半秒內回應，並以約 3.5GB 的記憶體串流超過 100 tokens/秒。在 8GB 的 Jetson Orin Nano 上，模型仍可運行——但預期首個 token 需要數秒，且約 15 tokens/秒，這也是為什麼 NVIDIA 將其與輕量視覺模型搭配，而非在同一塊板子上疊加更重的模型。

兩項優化有助於縮小差距：

• DFlash 並行草稿器（parallel drafter） — 一種推測解碼（speculative-decoding）草稿器，在單次前向傳播中提出草稿 token；NVIDIA 回報其吞吐量比 Gemma 4 E4B 的原始草稿器高出多達 21%。
• Q4_K_M 搭配 imatrix 校準 — NVIDIA 使用約 100 萬個來自同一訓練步驟的 RL rollout token 對 BF16 檢查點進行量化，使品質接近全精度模型。

Bolt E4B 的訓練方式

Bolt E4B 的核心在於後訓練。NVIDIA 從 Gemma4-E4B-it 出發，在指令遵循、多輪工具呼叫和對話等環境中應用 Nemotron 後訓練。方法為純強化學習——包含可驗證獎勵的強化學習（RLVR）和來自人類回饋的強化學習（RLHF），在 NeMo-RL 和 NeMo-Gym 上運行。

為保持模型快速而非冗長，NVIDIA 強調非推理準確性，每批次保持 2:1 的非推理與推理樣本比例，並加入長度懲罰以抑制訓練過程中回答越來越長的傾向。完整的訓練方案與資料集已與權重一同公開。

如何運行 Nemotron 3.5 Bolt E4B

NVIDIA 提供多個檢查點——用於部署的 Q4_K_M GGUF、DFlash 草稿器，以及 BF16 HF 檢查點——並列出多種入門方式：Hugging Face、Ollama、LM Studio、Unsloth、Canonical、Jetson AI Lab，以及 NVIDIA In-Game Inferencing SDK。

最簡單的本地運行方式：

1. 桌上型電腦（RTX）。 透過 Ollama 或 LM Studio 下載 GGUF，像運行其他本地模型一樣使用——在現代 RTX 顯示卡上預期可達到次秒級回應。
2. Jetson / 邊緣裝置。 使用 Jetson AI Lab 指南，該指南運行一個 llama.cpp 容器，下載 Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf 並在 8000 埠提供相容 OpenAI 的 API。
3. 應用程式整合。 由於伺服器使用 OpenAI API，您可以透過更換 base URL 將現有代理程式碼指向它——模型卡片記錄了 enable_thinking 和 conversational_mode 切換選項。

對運行中的 llama.cpp 伺服器發出的最小呼叫，是向 /v1/chat/completions 發送標準的聊天補全請求，模型 ID 為 nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB。

是否應該使用它？

如果您正在建構需要本地運行、快速回應，並在同一裝置上為語音或視覺模型保留記憶體空間的語音助理、遊戲 NPC 或機器人，Bolt E4B 是絕佳選擇。當隱私、延遲或離線運行的需求排除了雲端模型時，它就是正確的工具。

如果您需要深度推理、長上下文檢索或代理式程式碼生成，它的吸引力則相對較低——其同系列產品（Bolt 74B-A9B 適合多步驟工作，Super VL 適合文件與視覺）或前沿模型將更能滿足這些需求。與 Nemotron 系列的其他成員一樣，最順暢的使用路徑仍在 NVIDIA 硬體上。

若想了解此模型與其他近期小型及開放權重模型發布的比較，請參閱我們對 Muse Spark Open 和 Reflection Beam 的分析。

在自有硬體上建構本地代理團隊

Bolt E4B 展示了邊緣 AI 的發展方向：能夠在您面前的裝置上運行、具備工具呼叫能力的代理。Eigent 是一款開源的 Cowork 桌面應用程式，可在本地協調一支 AI 代理團隊，讓您能將本地模型與自有工具串接成真正的多步驟工作流程，而無需拼湊腳本。探索您可以用 Eigent 建構什麼，或下載 Eigent 開始建構您自己的代理團隊。