NVIDIA Nemotron 3.5 Bolt E4B：4GB 本地 AI 智能体开放模型

NVIDIA 刚刚发布了 Nemotron 3.5 Bolt E4B 4GB，这是其迄今最小的开放模型——专为让具备对话能力、可调用工具的 AI 智能体在机器人、手持设备或入门级 GPU 上本地运行而构建。它将智能体行为压缩至约 4GB 内存，同时仍能在多轮对话中调用工具。本指南将介绍 Bolt E4B 是什么、性能表现如何、所需硬件配置以及运行方式，帮助你判断它是否适合纳入你的边缘计算技术栈。

Nemotron 3.5 Bolt E4B 是什么？

Nemotron 3.5 Bolt E4B 是一款面向快速本地对话智能体的小型开放语言模型。NVIDIA 将其描述为最新的开放小型语言模型，针对对话智能体中每千兆字节的速度与智能进行了优化。它面向三类工作负载：设备与语音助手、交互式角色，以及嵌入式或工业智能体。

关键在于其体积。该模型拥有 80 亿总参数，但有效参数仅约 40 亿，上下文窗口为 64K，仅支持文本输入与输出。名称中的"4GB"指的是量化版本在目标工作负载中所占用的内存——而非下载包大小（下载包更大）。NVIDIA 以 OpenMDW-1.1 许可证发布，并随模型一同开放了权重、数据和训练方案。

Bolt E4B 并非从零训练，而是在 Google 的 Gemma 4 E4B 基础上经过 NVIDIA Nemotron 后训练构建而成——"E"代表有效参数，即模型携带 80 亿权重，但每个 token 仅激活约 40 亿。

该模型于 2026 年 10 月 23 日发布，是 NVIDIA 当月陆续推出的三款 Nemotron 3.5 开放模型中的最后一款，另外两款分别是 1200 亿参数的 Nemotron 3.5 Super VL 视觉语言模型和 24GB 的 Bolt 74B-A9B。Super VL 面向数据中心智能体，而 Bolt E4B 则处于另一个极端：小到足以用于机器人控制器和嵌入式设备。

Bolt E4B 的设计目标

NVIDIA 围绕对话智能体的实际行为模式设计了 Bolt E4B，而非追求在代码排行榜上名列前茅。其核心功能包括：

• 多轮工具调用 — 在对话过程中调用应用程序 API 完成任务，并提供异步工具调用指导。
• 对话模式 — 一个可切换的开关，鼓励模型给出简洁、适合语音播报的回复，实现自然的来回交流。
• 可配置推理 — 对复杂请求开启推理，对简单请求关闭以加快响应速度，并可设置"思考"上限以满足延迟目标。
• 64K 上下文 — 足以容纳对话历史、指令、工具定义、检索数据和应用状态。
• 多语言支持 — 支持 35 种语言，基础模型预训练语言超过 140 种。

由此衍生出的目标应用场景包括：本地语音与设备助手（PC、移动端、车载）、游戏 NPC 和虚拟伴侣等交互式角色，以及机器人和工业物联网的人机界面。

NVIDIA 的发布演示将边缘计算的价值具体呈现出来。一台 Reachy Mini 机器人运行在 Jetson Orin Nano 8GB 上，由 Bolt E4B 负责对话与工具调用，Cosmos 3 Edge 提供实时视觉能力。在另一个演示中，一位铁匠 NPC 验证物品付款后，自主调用工具检查配方、收集材料、制作物品并完成交付——这正是此类小型智能体所擅长的对话与行动交织的循环。

Nemotron 3.5 Bolt E4B 基准测试

NVIDIA 将评估分为五项能力，并将 Bolt E4B 与同等规模的模型进行对比：其自家的 Nemotron 3 Nano 4B、Qwen 3.5 4B 以及基础版 Gemma 4 E4B。以下所有分数均为 NVIDIA 官方报告数据（BF16），在第三方复现之前请将其视为厂商数据。

在对话与工具调用方面，Bolt E4B 在同等规模模型中总体领先：

并非所有项目都领先——Qwen 3.5 4B 在 Tau2-Bench（75.1 对比 55.1）和部分长上下文检索任务中表现更好，其中 RULER 64K 测试中 Qwen（95.1）和 Nano（91.5）均优于 Bolt（87.0）。NVIDIA 自己的总结是：Bolt E4B 平均得分比 Nemotron 3 Nano 4B 高约 40%，比其他同类模型高约 10%，同时在启用推理的对比中输出 token 数量减少多达 80%。更少的 token 意味着更少的解码工作、更低的成本，以及通常更快的响应速度。

发布时出现了一个第三方信号：根据 NVIDIA 的 X 帖子，Scale Labs 在 MultiChallenge 小型模型排名中将 Bolt 列为第一，得分 56.03%，领先 Gemma 4 E4B 约 12.8 个百分点——与 NVIDIA 自己的 MultiChallenge 数据方向一致。

内存占用与运行速度

这里是"4GB"说法的具体依据。NVIDIA 在 llama.cpp 上以批大小 1 测量了 Q4_K_M 版本在代表性硬件上的表现：

因此，在桌面 RTX 显卡上，模型约半秒内给出回复，在约 3.5GB 显存下流式输出速度超过 100 token/秒。在 8GB Jetson Orin Nano 上，模型仍可运行——但首 token 需要数秒，生成速度约为 15 token/秒，这也是 NVIDIA 将其与轻量视觉模型搭配而非在同一板卡上叠加更重模型的原因。

两项优化有助于缩小差距：

• DFlash 并行草稿器（parallel drafter） — 一种推测解码（speculative decoding）草稿器，在单次前向传播中提出草稿 token；NVIDIA 报告其吞吐量比 Gemma 4 E4B 原始草稿器提升多达 21%。
• 带 imatrix 校准的 Q4_K_M — NVIDIA 使用来自同一训练步骤约 100 万 token 的 RL rollout 数据对 BF16 检查点进行量化，使质量接近全精度模型。

Bolt E4B 的训练方式

Bolt E4B 的核心是后训练。NVIDIA 从 Gemma4-E4B-it 出发，在指令遵循、多轮工具调用和对话等环境中应用 Nemotron 后训练。训练方法为纯强化学习——包括基于可验证奖励的强化学习（RLVR）和基于人类反馈的强化学习（RLHF），在 NeMo-RL 和 NeMo-Gym 上运行。

为保持模型快速而非冗长，NVIDIA 着重提升非推理准确率，在每批次中保持非推理与推理样本 2:1 的比例，并添加长度惩罚以抑制训练过程中答案变长的趋势。完整训练方案和数据集已随权重一同发布。

如何运行 Nemotron 3.5 Bolt E4B

NVIDIA 提供多个检查点——用于部署的 Q4_K_M GGUF、DFlash 草稿器以及 BF16 HF 检查点——并列出了多种入门方式：Hugging Face、Ollama、LM Studio、Unsloth、Canonical、Jetson AI Lab 以及 NVIDIA In-Game Inferencing SDK。

最简便的本地运行路径：

1. 桌面端（RTX）。 通过 Ollama 或 LM Studio 拉取 GGUF，像运行其他本地模型一样使用——在现代 RTX 显卡上可获得亚秒级响应。
2. Jetson / 边缘设备。 使用 Jetson AI Lab 指南，该指南运行一个 llama.cpp 容器，下载 Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf 并在 8000 端口提供兼容 OpenAI 的 API。
3. 应用集成。 由于服务器遵循 OpenAI API 规范，你可以通过替换 base URL 将现有智能体代码指向该模型——模型卡文档说明了 enable_thinking 和 conversational_mode 开关的用法。

对运行中的 llama.cpp 服务器发起的最简调用，是向 /v1/chat/completions 发送标准聊天补全请求，模型 ID 为 nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB。

是否应该使用它？

如果你正在构建需要本地运行、快速响应、并为同一设备上的语音或视觉模型预留内存空间的语音助手、游戏 NPC 或机器人，Bolt E4B 是非常合适的选择。当隐私保护、低延迟或离线运行的需求排除了云端模型时，它正是合适的工具。

如果你需要深度推理、长上下文检索或智能体编程，它的吸引力则相对有限——其同系列产品（Bolt 74B-A9B 适合多步骤任务，Super VL 适合文档和视觉任务）或前沿模型能更好地满足这些需求。与 Nemotron 系列的其他产品一样，最顺畅的使用路径仍依赖 NVIDIA 硬件。

关于与其他近期小型及开放权重模型发布的对比，请参阅我们对 Muse Spark Open 和 Reflection Beam 的详细解析。

在自有硬件上构建本地智能体团队

Bolt E4B 展示了边缘 AI 的发展方向：能够在你面前的设备上运行的、具备工具调用能力的智能体。Eigent 是一款开源的 Cowork 桌面应用，可在本地编排 AI 智能体团队，让你将本地模型和自有工具接入真正的多步骤工作流，而无需拼凑脚本。探索使用 Eigent 可以构建什么，或下载 Eigent 开始构建你自己的智能体团队。