NVIDIA Nemotron 3.5 Bolt E4B：4GB 本地 AI 代理開放模型

NVIDIA 剛發布了 Nemotron 3.5 Bolt E4B 4GB，這是其迄今最小的開放模型——專為讓具備對話能力、可調用工具的 AI 代理能在機器人、手持設備或入門級 GPU 上本地運行而設計。它將代理行為壓縮至約 4GB 記憶體，同時仍能在多輪對話中調用工具。本指南將解釋 Bolt E4B 是什麼、其性能表現、所需硬件，以及如何運行它，幫助你判斷它是否適合納入你的邊緣部署方案。

Nemotron 3.5 Bolt E4B 是什麼？

Nemotron 3.5 Bolt E4B 是一個小型開放語言模型，專為快速本地對話代理而設計。NVIDIA 將其描述為其最新的開放小型語言模型，針對對話代理中每 GB 的速度與智能進行了優化。它面向三類工作負載：設備與語音助手、互動角色，以及嵌入式或工業代理。

關鍵在於其體積。該模型擁有 80 億個總參數，但僅有 40 億個有效參數，上下文視窗為 64K，僅支持文本輸入與輸出。名稱中的「4GB」指的是量化版本在目標工作負載中所需的記憶體——而非下載大小，下載包更大。NVIDIA 以 OpenMDW-1.1 授權發布，並同時開放了權重、數據及訓練方案。

Bolt E4B 並非從頭訓練，而是在 Google 的 Gemma 4 E4B 基礎上，經過 NVIDIA 的 Nemotron 後訓練而成——「E」代表有效參數，即模型擁有 80 億個權重，但每個 token 僅激活約 40 億個。

它於 2026 年 10 月 23 日發布，是 NVIDIA 當月陸續推出的三款 Nemotron 3.5 開放模型中的最後一款，另外兩款分別是 1200 億參數的 Nemotron 3.5 Super VL 視覺語言模型，以及 24GB 的 Bolt 74B-A9B。Super VL 面向數據中心代理，而 Bolt E4B 則處於另一個極端：小到足以用於機器人控制器和嵌入式設備。

Bolt E4B 的設計用途

NVIDIA 圍繞對話代理的實際行為模式設計 Bolt E4B，而非以刷榜編程測試為目標。其核心功能包括：

• 多輪工具調用 — 在對話過程中調用應用程式 API 完成任務，並提供非同步工具調用指引。
• 對話模式 — 一個切換開關，鼓勵模型給出簡潔、適合語音播報的回覆，實現自然的來回對話。
• 可配置推理 — 對複雜請求開啟推理，對簡單請求關閉以加快響應，並可設置「思考」上限以達到延遲目標。
• 64K 上下文 — 足以容納對話歷史、指令、工具定義、檢索數據及應用狀態。
• 多語言支持 — 支持 35 種語言，底層基礎模型預訓練語言超過 140 種。

由此衍生的目標應用場景包括：本地語音與設備助手（PC、移動端、車載）、互動角色（如遊戲 NPC 和虛擬伴侶），以及機器人和工業物聯網的人機界面。

NVIDIA 的發布演示具體呈現了邊緣部署的潛力。一台 Reachy Mini 機器人運行在 Jetson Orin Nano 8GB 上，由 Bolt E4B 負責對話與工具調用，Cosmos 3 Edge 提供實時視覺能力。在另一個演示中，一個鐵匠 NPC 確認玩家付款後，自主調用工具查詢配方、收集材料、製作物品並交付——正是這類對話與行動交織的循環，正是這些小型代理的設計初衷。

Nemotron 3.5 Bolt E4B 基準測試

NVIDIA 將評估分為五大能力維度，並將 Bolt E4B 與同等規模的模型進行比較：其自家的 Nemotron 3 Nano 4B、Qwen 3.5 4B，以及基礎版 Gemma 4 E4B。以下所有分數均為 NVIDIA 自報（BF16），在第三方獨立驗證前請視為廠商數據。

在對話與工具調用方面，Bolt E4B 在同等規模中普遍領先：

並非所有項目都由 Bolt E4B 領先——Qwen 3.5 4B 在 Tau2-Bench（75.1 對 55.1）及部分長上下文檢索測試中表現更佳，RULER 64K 測試中 Qwen（95.1）和 Nano（91.5）均優於 Bolt（87.0）。NVIDIA 的總結是：Bolt E4B 平均比 Nemotron 3 Nano 4B 高出約 40%，比其他同類模型高出約 10%，同時在啟用推理的比較中，輸出 token 數量最多減少 80%。更少的 token 意味著更少的解碼工作、更低的成本，以及通常更快的響應速度。

發布時出現了一個第三方信號：根據 NVIDIA 的 X 帖子，Scale Labs 在 MultiChallenge 小型模型排名中將 Bolt 列為第一，得分 56.03%，領先 Gemma 4 E4B 約 12.8 個百分點——與 NVIDIA 自報的 MultiChallenge 數據方向一致。

記憶體需求與運行速度

這裡是「4GB」說法的具體依據。NVIDIA 在 llama.cpp 上以批次大小 1 測量了 Q4_K_M 版本在代表性硬件上的表現：

在桌面 RTX 顯示卡上，模型約半秒內給出回覆，在約 3.5GB 顯存下流式輸出速度超過 100 tokens/秒。在 8GB Jetson Orin Nano 上，模型仍可運行——但首個 token 需要數秒，速度約為 15 tokens/秒，這也是 NVIDIA 選擇搭配輕量視覺模型而非在同一板卡上疊加更重模型的原因。

兩項優化有助於縮小差距：

• DFlash 並行起草器（parallel drafter） — 一種推測解碼起草器，在單次前向傳播中提出草稿 token；NVIDIA 報告其吞吐量比 Gemma 4 E4B 原始起草器高出最多 21%。
• 帶 imatrix 校準的 Q4_K_M — NVIDIA 使用訓練同一步驟約 100 萬個 token 的 RL rollout 數據對 BF16 檢查點進行量化，使質量接近全精度模型。

Bolt E4B 的訓練方式

Bolt E4B 的核心在於後訓練。NVIDIA 從 Gemma4-E4B-it 出發，在指令遵循、多輪工具調用和對話等環境中應用 Nemotron 後訓練。訓練方法為純強化學習——包括可驗證獎勵的強化學習（RLVR）和基於人類反饋的強化學習（RLHF），在 NeMo-RL 和 NeMo-Gym 上運行。

為保持模型快速而非冗長，NVIDIA 強調非推理準確性，每批次保持 2:1 的非推理與推理樣本比例，並添加長度懲罰以抑制訓練過程中答案越來越長的傾向。完整訓練方案和數據集已與模型權重一同公開。

如何運行 Nemotron 3.5 Bolt E4B

NVIDIA 提供多個檢查點——用於部署的 Q4_K_M GGUF、DFlash 起草器，以及 BF16 HF 檢查點——並列出多種入門方式：Hugging Face、Ollama、LM Studio、Unsloth、Canonical、Jetson AI Lab，以及 NVIDIA In-Game Inferencing SDK。

最簡單的本地部署路徑：

1. 桌面端（RTX）。 通過 Ollama 或 LM Studio 拉取 GGUF，像運行其他本地模型一樣使用——在現代 RTX 顯示卡上預期響應時間低於一秒。
2. Jetson / 邊緣設備。 使用 Jetson AI Lab 指南，該指南運行一個 llama.cpp 容器，下載 Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf 並在 8000 端口提供兼容 OpenAI 的 API。
3. 應用程式集成。 由於服務器使用 OpenAI API，你可以通過替換 base URL 將現有代理代碼指向它——模型卡文檔說明了 enable_thinking 和 conversational_mode 切換開關的用法。

對運行中的 llama.cpp 服務器發起的最簡調用，是向 /v1/chat/completions 發送標準聊天補全請求，模型 ID 為 nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB。

是否應該使用它？

如果你正在構建需要本地運行、快速響應，並在同一設備上為語音或視覺模型保留記憶體空間的語音助手、遊戲 NPC 或機器人，Bolt E4B 是非常合適的選擇。當隱私要求、延遲限制或無網絡環境排除了雲端模型時，它正是合適的工具。

如果你需要深度推理、長上下文檢索或代理式編程，它的吸引力則相對有限——其同系列的兄弟模型（Bolt 74B-A9B 適合多步驟任務，Super VL 適合文檔和視覺任務）或前沿模型將更好地滿足這些需求。與 Nemotron 系列的其他成員一樣，最順暢的使用路徑仍依賴 NVIDIA 硬件。

如需了解這與其他近期小型及開放權重模型發布的比較，請參閱我們對 Muse Spark Open 和 Reflection Beam 的分析。

在自己的硬件上構建本地代理團隊

Bolt E4B 展示了邊緣 AI 的發展方向：能夠在你面前的設備上運行的、具備工具調用能力的代理。Eigent 是一款開源的 Cowork 桌面應用，可在本地協調一支 AI 代理團隊，讓你將本地模型和自己的工具整合到真正的多步驟工作流程中，而無需拼湊腳本。探索你可以用 Eigent 構建什麼，或下載 Eigent 開始構建你自己的代理團隊。