NVIDIA Nemotron 3.5 Bolt E4B: 로컬 AI 에이전트를 위한 4GB 오픈 모델

NVIDIA가 Nemotron 3.5 Bolt E4B 4GB를 출시했습니다. 이는 NVIDIA의 가장 작은 오픈 모델로, 대화형 도구 사용 AI 에이전트가 로봇, 핸드헬드 기기, 또는 엔트리급 GPU에서 로컬로 실행될 수 있도록 설계되었습니다. 약 4GB의 메모리 안에 에이전트 동작을 담으면서도 여러 턴에 걸쳐 도구를 호출할 수 있습니다. 이 가이드는 Bolt E4B가 무엇인지, 성능은 어떤지, 어떤 하드웨어가 필요한지, 그리고 실행 방법을 설명하여 엣지 스택에 적합한지 판단할 수 있도록 도와드립니다.

Nemotron 3.5 Bolt E4B란 무엇인가?

Nemotron 3.5 Bolt E4B는 빠른 로컬 대화형 에이전트를 위한 소형 오픈 언어 모델입니다. NVIDIA는 이를 대화형 에이전트에서 기가바이트당 속도와 지능을 최적화한 최신 오픈 소형 언어 모델로 설명합니다. 세 가지 워크로드를 대상으로 합니다: 기기 및 음성 어시스턴트, 인터랙티브 캐릭터, 임베디드 및 산업용 에이전트.

핵심은 크기입니다. 이 모델은 총 80억 개의 파라미터를 가지지만 유효 파라미터는 40억 개이며, 64K 컨텍스트 윈도우와 텍스트 전용 입출력을 지원합니다. 이름의 "4GB"는 양자화 빌드가 의도된 워크로드에서 목표로 하는 메모리를 의미하며, 더 큰 용량의 다운로드 파일 크기가 아닙니다. NVIDIA는 OpenMDW-1.1 라이선스로 배포하며, 오픈 가중치, 데이터, 학습 레시피가 포함됩니다.

Bolt E4B는 처음부터 학습된 모델이 아닙니다. Google의 Gemma 4 E4B를 기반으로 NVIDIA의 Nemotron 사후 학습을 적용했습니다. "E"는 유효(effective) 파라미터를 의미하므로, 모델은 80억 개의 가중치를 가지지만 토큰당 약 40억 개만 활성화됩니다.

2026년 10월 23일에 출시되었으며, NVIDIA가 해당 월에 순차적으로 공개한 세 가지 오픈 Nemotron 3.5 모델 중 마지막입니다. 120B Nemotron 3.5 Super VL 비전-언어 모델과 24GB Bolt 74B-A9B와 함께 출시되었습니다. Super VL이 데이터센터 에이전트를 대상으로 한다면, Bolt E4B는 반대편 끝에 위치합니다: 로보틱스 컨트롤러와 임베디드 기기에 사용할 수 있을 만큼 작습니다.

Bolt E4B가 수행하도록 설계된 작업

NVIDIA는 코딩 리더보드 상위권을 목표로 하는 것이 아니라, 대화형 에이전트가 실제로 동작하는 방식을 중심으로 Bolt E4B를 설계했습니다. 주요 기능:

• 멀티턴 도구 사용 — 대화 전반에 걸쳐 애플리케이션 API를 호출하여 작업을 완료하며, 비동기 도구 호출에 대한 가이드를 제공합니다.
• 대화 모드 — 자연스러운 주고받기를 위해 간결하고 음성에 적합한 응답을 유도하는 토글 기능입니다.
• 구성 가능한 추론 — 어려운 요청에는 추론을 켜고 빠른 응답이 필요할 때는 끌 수 있으며, 지연 시간 목표를 달성하기 위해 "사고" 시간을 제한하는 옵션도 있습니다.
• 64K 컨텍스트 — 대화 기록, 지시사항, 도구 정의, 검색된 데이터, 앱 상태를 충분히 담을 수 있습니다.
• 다국어 지원 — 140개 이상의 언어로 사전 학습된 기반 모델을 바탕으로 35개 언어를 지원합니다.

이를 통해 다음과 같은 경험을 목표로 합니다: 로컬 음성 및 기기 어시스턴트(PC, 모바일, 차량 내), 게임 NPC 및 동반자 같은 인터랙티브 캐릭터, 로보틱스 및 산업용 IoT를 위한 인간-기계 인터페이스.

NVIDIA의 출시 데모는 엣지 활용 사례를 구체적으로 보여줍니다. Reachy Mini 로봇이 Jetson Orin Nano 8GB에서 실행되며, Bolt E4B가 대화와 도구 호출을 처리하는 동안 Cosmos 3 Edge가 실시간 비전을 제공합니다. 두 번째 데모에서는 대장장이 NPC가 아이템 결제를 확인한 후, 자율적으로 도구를 호출하여 레시피를 확인하고, 재료를 수집하고, 아이템을 제작하여 전달합니다. 이것이 바로 이러한 소형 에이전트가 목표로 하는 대화와 행동이 교차하는 루프입니다.

Nemotron 3.5 Bolt E4B 벤치마크

NVIDIA는 평가를 다섯 가지 역량으로 분류하고, Bolt E4B를 유사한 크기의 모델들과 비교합니다: 자체 Nemotron 3 Nano 4B, Qwen 3.5 4B, 기반 모델인 Gemma 4 E4B. 아래의 모든 점수는 NVIDIA가 보고한 수치(BF16)이므로, 제3자가 재현하기 전까지는 벤더 수치로 참고하시기 바랍니다.

대화 및 도구 사용 측면에서 Bolt E4B는 일반적으로 동급 크기 모델 중 선두를 차지합니다:

모든 항목에서 1위를 차지하지는 않습니다. Qwen 3.5 4B는 Tau2-Bench(75.1 대 55.1)와 일부 장문 컨텍스트 검색에서 앞서며, 64K RULER에서는 Qwen(95.1)과 Nano(91.5)가 Bolt(87.0)보다 우수합니다. NVIDIA의 자체 요약에 따르면 Bolt E4B는 Nemotron 3 Nano 4B보다 평균 약 40% 높은 점수를 기록하고, 평가한 다른 동급 모델보다 약 10% 높으며, 추론 활성화 비교에서 최대 80% 적은 출력 토큰을 사용합니다. 토큰이 적다는 것은 디코딩 작업이 줄어들고, 비용이 낮아지며, 응답이 빨라지는 경우가 많다는 것을 의미합니다.

출시 시점에 제3자 신호가 하나 나타났습니다: NVIDIA의 X 게시물에 따르면, Scale Labs가 MultiChallenge에서 소형 모델 중 Bolt를 56.03%로 1위로 평가했으며, Gemma 4 E4B보다 약 12.8포인트 앞섰습니다. 이는 NVIDIA 자체 MultiChallenge 수치와 방향성이 일치합니다.

메모리 요구사항과 속도는?

여기서 "4GB" 주장이 구체화됩니다. NVIDIA는 대표적인 하드웨어에서 배치 크기 1로 llama.cpp를 사용하여 Q4_K_M 빌드를 측정했습니다:

데스크톱 RTX 카드에서는 약 0.5초 만에 응답하고 ~3.5GB에서 100토큰/초 이상으로 스트리밍됩니다. 8GB Jetson Orin Nano에서도 실행 가능하지만, 첫 토큰까지 수 초가 걸리고 약 15토큰/초를 예상해야 합니다. 이것이 NVIDIA가 동일한 보드에 더 무거운 모델을 쌓는 대신 경량 비전 모델과 함께 사용하는 이유입니다.

격차를 줄이는 두 가지 최적화:

• DFlash 병렬 드래프터 — 한 번의 순전파로 드래프트 토큰을 제안하는 투기적 디코딩(speculative-decoding) 드래프터로, NVIDIA는 Gemma 4 E4B의 원래 드래프터보다 최대 21% 높은 처리량을 보고합니다.
• imatrix 캘리브레이션을 적용한 Q4_K_M — NVIDIA는 동일한 학습 단계의 RL 롤아웃에서 약 100만 개의 토큰을 사용하여 BF16 체크포인트를 양자화하여, 전체 정밀도 모델에 가까운 품질을 유지합니다.

Bolt E4B는 어떻게 학습되었나?

Bolt E4B는 사후 학습(post-training)의 결과물입니다. NVIDIA는 Gemma4-E4B-it에서 시작하여 지시 따르기, 멀티턴 도구 호출, 대화를 위한 환경에서 Nemotron 사후 학습을 적용했습니다. 방법론은 강화 학습만 사용합니다 — 검증 가능한 보상을 통한 강화 학습(RLVR)과 인간 피드백을 통한 강화 학습(RLHF)으로, NeMo-RL과 NeMo-Gym에서 실행됩니다.

모델을 수다스럽지 않고 빠르게 유지하기 위해, NVIDIA는 비추론 정확도를 강조하고, 배치당 비추론 대 추론 샘플 비율을 2:1로 유지했으며, 학습이 진행되면서 답변이 길어지는 것을 억제하기 위해 길이 패널티를 추가했습니다. 전체 레시피와 데이터셋은 가중치와 함께 공개되어 있습니다.

Nemotron 3.5 Bolt E4B 실행 방법

NVIDIA는 여러 체크포인트를 제공합니다 — 배포용 Q4_K_M GGUF, DFlash 드래프터, BF16 HF 체크포인트 — 그리고 시작하는 여러 방법을 안내합니다: Hugging Face, Ollama, LM Studio, Unsloth, Canonical, Jetson AI Lab, NVIDIA In-Game Inferencing SDK.

가장 간단한 로컬 실행 방법:

1. 데스크톱 (RTX). Ollama 또는 LM Studio를 통해 GGUF를 다운로드하고 다른 로컬 모델처럼 실행합니다 — 최신 RTX 카드에서 1초 미만의 응답을 기대할 수 있습니다.
2. Jetson / 엣지. Jetson AI Lab 가이드를 사용하세요. llama.cpp 컨테이너를 실행하여 Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf를 다운로드하고 포트 8000에서 OpenAI 호환 API를 제공합니다.
3. 앱 통합. 서버가 OpenAI API를 지원하므로, 기본 URL만 교체하면 기존 에이전트 코드를 그대로 연결할 수 있습니다 — 모델 카드에는 enable_thinking 및 conversational_mode 토글이 문서화되어 있습니다.

실행 중인 llama.cpp 서버에 대한 최소한의 호출은 모델 ID nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB를 사용하여 /v1/chat/completions에 표준 채팅 완성 요청을 보내는 것입니다.

사용해야 할까요?

Bolt E4B는 로컬에서 실행되고, 빠르게 응답하며, 동일한 기기에서 음성 또는 비전 모델을 위한 메모리 여유 공간을 남겨야 하는 음성 어시스턴트, 게임 NPC, 또는 로봇을 구축하는 경우에 매우 적합합니다. 개인 정보 보호, 낮은 지연 시간, 또는 오프라인 운영이 클라우드 모델을 배제할 때 올바른 선택입니다.

깊은 추론, 장문 컨텍스트 검색, 또는 에이전트 코딩이 필요한 경우에는 덜 매력적입니다 — 자체 형제 모델(다단계 작업을 위한 Bolt 74B-A9B, 문서 및 비전을 위한 Super VL) 또는 프론티어 모델이 더 적합합니다. 그리고 나머지 Nemotron 제품군과 마찬가지로, 원활한 경로는 NVIDIA 하드웨어를 통해 실행됩니다.

최근의 다른 소형 및 오픈 가중치 출시와의 비교는 Muse Spark Open 및 Reflection Beam 분석을 참조하세요.

자신의 하드웨어에서 로컬 에이전트 팀 구축하기

Bolt E4B는 엣지 AI가 향하는 방향을 보여줍니다: 눈앞의 기기에서 실행되는 유능한 도구 사용 에이전트. Eigent는 AI 에이전트 팀을 로컬에서 조율하는 오픈소스 Cowork 데스크톱 앱으로, 스크립트를 이어 붙이는 대신 로컬 모델과 자신만의 도구를 실제 다단계 워크플로우에 연결할 수 있습니다. Eigent로 무엇을 만들 수 있는지 살펴보거나, Eigent를 다운로드하여 자신만의 에이전트 팀 구축을 시작하세요.