NVIDIA Nemotron 3.5 Super VL: Was ist neu, Benchmarks und wie man es ausführt

NVIDIA hat soeben Nemotron 3.5 Super VL veröffentlicht – ein offenes multimodales Modell mit 120 Milliarden Parametern, das für dauerhaft laufende KI-Agenten entwickelt wurde. Es vereint Reasoning (Schlussfolgerungsfähigkeit), Instruktionsbefolgung und Tool-Nutzung mit Text-, Bild-, Dokument- und Videoverständnis in einem einzigen Checkpoint. Dieser Leitfaden erklärt, was das Modell ist, wie es abschneidet, wie die Lizenzierung funktioniert und wie man es ausführt – damit Sie entscheiden können, ob es in Ihren Agenten-Stack gehört.

Was ist Nemotron 3.5 Super VL?

Nemotron 3.5 Super VL ist NVIDIAs offenes, anpassbares Vision-Language-Modell (Sprach-Bild-Modell) für spezialisierte Unternehmensagenten. Seine Mixture-of-Experts-Architektur mit 120B Parametern aktiviert 12B Parameter pro Token für agentische Workflows. Dieses Design balanciert Kapazität und Inferenzkosten: Sie erhalten das Wissen eines großen Modells, ohne für jeden Token alle 120B Parameter ausführen zu müssen.

Das Hauptmerkmal ist die Konsolidierung. Das Modell kombiniert Reasoning, Instruktionsbefolgung, Tool-Nutzung sowie Text-, Bild-, Dokument- und Videoverständnis in einem einzigen Modell und macht separate Vision-Language-Modelle überflüssig. Für Entwickler bedeutet das, dass ein offener Checkpoint ein separates Textmodell zusammen mit einem separaten Bildmodell ersetzt.

Es erschien am 15. Oktober 2026 als Teil von NVIDIAs umfassenderer Nemotron-Familie. Super VL und Bolt 74B-A9B sind jetzt verfügbar, Bolt E4B folgt am 23. Oktober. Die drei offenen Modelle decken gemeinsam das gesamte Spektrum der Agenten-Deployments ab – von großen Unternehmensservern bis hin zu Edge-Geräten und lokaler Hardware.

Architektur: hybrides Mamba-Transformer MoE

Unter der Haube verwendet Super VL ein effizienzorientiertes Design. Nemotron 3.5 Super VL baut auf der Nemotron 3 Super-Architektur mit einem 120B-Parameter-Mixture-of-Experts-Modell auf, das 12B Parameter pro Token aktiviert. Die hybride Mamba-Transformer-Architektur unterstützt die Verarbeitung langer Kontexte, während Multi-Token Prediction (MTP) die Generierung beschleunigt.

Das Modell wurde nicht von Grund auf neu trainiert. NVIDIA hat Super VL aus Nemotron 3 Ultra, seinem größten Reasoning-Modell, destilliert. Das Training war umfangreich: NVIDIA berichtet, dass das Modell auf etwa 26 Billionen Tokens über Pretraining und fortgesetztes Pretraining trainiert wurde, gefolgt von Post-Training mit rund 3,8 Millionen Samples und Reinforcement Learning in Dutzenden von Umgebungen.

Mehrere Inferenz-Optimierungen bauen aufeinander auf:

• LiLiCorr Speculative Decoding, das laut NVIDIA auf DGX Spark eine bis zu 2,3-fach schnellere Token-Generierung im Vergleich zu Decoding ohne Spekulation liefert.
• NVFP4-Quantisierung mit quantisierungsbewusster Destillation, sodass der 4-Bit-Checkpoint die Genauigkeit nahe am ursprünglichen BF16-Modell hält.
• Kontext-Wiederverwendung über Agenten-Turns hinweg via Prefix-Caching, wobei sowohl Attention-Caches als auch Mamba-Rekurrentzustände erhalten bleiben.

NVIDIA hat das Modell auch mit externer Unterstützung entwickelt. NVIDIA entwickelte das Modell mit der Nemotron Coalition, einer Gruppe, zu der Mistral AI, Thinking Machines Lab, Perplexity und Black Forest Labs gehören. Hochwertige Datensätze von Perplexity halfen dabei, das Mid-Training des Modells zu verbessern und zu optimieren. Umgebungen von Prime Intellect ermöglichten den Aufbau besserer Teacher-Modelle.

Benchmarks: Geschwindigkeit und Genauigkeit

NVIDIAs zentraler Effizienzanspruch ist der Durchsatz. Auf einer einzelnen GPU liefert Nemotron 3.5 Super VL für agentische Aufgaben einen bis zu 5-fach höheren Durchsatz im Vergleich zu anderen offenen Modellen in seiner Größenkategorie. Diese Geschwindigkeit summiert sich zu schnellerer Aufgabenerledigung bei lang laufenden Agenten – was wichtig ist, wenn ein einzelner Job Stunden oder Tage dauert.

Bei Agenten-Verhaltens-Benchmarks übertrifft es NVIDIAs eigenes größeres Modell:

Diese Zahlen stammen aus NVIDIAs technischem Blog, der auch anmerkt, dass Nemotron 3.5 Super VL eines der führenden offenen Modelle auf dem OCRBench v2-Leaderboard ist. Beim Chart-Reasoning speziell berichtet NVIDIA, dass das Modell beim CharXiv-Benchmark 80,8 % erzielte, steigend auf 84 % mit Python-Code-Interpretation. Beim Coding übertrifft das Modell laut NVIDIA Nemotron 3 Super auf SWE-bench und Terminal-Bench in mehreren Evaluierungssetups.

Unabhängige Berichterstattung formuliert den Genauigkeitsanspruch pointierter: VentureBeat berichtet, dass das Modell nach dem Post-Training darauf ausgerichtet ist, Frontier-Modelle wie Claude Opus 5 und GPT-6.1 Sol bei spezialisierten Aufgaben-Benchmarks zu übertreffen. Dieser Vorbehalt ist wichtig – die Frontier-Matching-Ansprüche hängen von der Feinabstimmung für einen spezifischen Workflow ab, nicht von der allgemeinen Nutzung ohne Anpassung.

Wie immer bei Hersteller-Benchmarks sollten Sie diese Zahlen als NVIDIAs eigene Messungen betrachten, bis Dritte sie reproduzieren. Ein unabhängiges Signal existiert: NVIDIA zitiert eine EXO Labs-Evaluierung, die Super VL auf der Pareto-Grenze für Genauigkeit und Aufgabenerledigungszeit auf DGX Spark platzierte, gemäß seinem technischen Blog.

Was es wirklich gut kann

NVIDIA richtet das Modell auf Aufgaben aus, denen Agenten in der Praxis begegnen. Beim Vision-Bereich konzentrierte sich NVIDIA auf die Art von Material, dem Agenten im täglichen Arbeitsalltag begegnen, einschließlich OCR, Tabellen, Diagramme, mehrseitige Dokumente und Videos. Das Vorzeige-Beispiel ist die Querverweisanalyse: Das Modell kann ein Diagramm interpretieren, es mit einer Tabelle an anderer Stelle in einem Dokument verknüpfen und beides zusammenfassen.

Die dokumentierten Agenten-Workflows umfassen Coding, Web-Recherche, Dokumentenintelligenz, Cybersecurity-Triage und Videoverständnis. Frühe Anwender berichten nach dem Post-Training von konkreten Verbesserungen:

• Ramp konvertiert Belegbilder in strukturiertes JSON und erwartet bis zu 50 % höheren Durchsatz und 10-fach niedrigere Latenz.
• Scale AI hat das Modell für die Verarbeitung von Lieferantengutschriften feinabgestimmt und prognostiziert 40-fach niedrigere Inferenzkosten und 5-fach niedrigere Latenz bei dieser Arbeitslast.
• AI21 und Alice haben es für Bedrohungsintelligenz und Schwachstellenanalyse feinabgestimmt und die Genauigkeit um 41 % verbessert.

Dies sind frühe, workload-spezifische Ergebnisse aus NVIDIAs Launch-Materialien, keine allgemeinen Benchmarks – lesen Sie sie als das, was das Modell mit Feinabstimmung erreichen kann, nicht als garantierte Standardwerte.

Nemotron 3.5 Bolt: die Edge-Modelle

Super VL wird nicht allein ausgeliefert. Zwei kleinere Bolt-Modelle bringen Agenten auf lokale Hardware:

• Nemotron 3.5 Bolt 74B-A9B 24GB zielt auf lokales Coding, Recherche und andere mehrstufige Aufgaben ab. Es verwendet eine native 2-Bit-Quantisierung, um in 24 GB zu passen und neben anderen Apps zu laufen – NVIDIA bezeichnet es als das #1 offene Modell seiner Klasse auf PinchBench und #2 für BrowseComp.
• Bolt E4B 4GB ist für konversationelle und physische Agenten auf GeForce RTX, Jetson und RTX/DGX Spark konzipiert, für schnelle lokale Sprachassistenten und eingebettete Schnittstellen.

Zusammen deckt die Produktlinie Rechenzentren (Super VL), geräteseitige mehrstufige Arbeit (Bolt 74B) und leichtgewichtige Sprachverarbeitung (Bolt E4B) ab.

Lizenzierung: Ist es wirklich offen?

Ja, mit den üblichen Vorbehalten. Das Modell wird mit offenen Gewichten, offenen Datensätzen und Trainingsrezepten ausgeliefert. Berichten rund um den Launch zufolge wird Nemotron 3.5 Super VL unter NVIDIAs OpenMDW-Lizenz vertrieben, die kommerzielle Nutzung, Feinabstimmung und Weiterverteilung erlaubt. Das positioniert es näher an permissiven Open-Source-Bedingungen als an den restriktiven, nur für Forschungszwecke gedachten Lizenzen, die einige Labs noch immer an ihre größten Modelle knüpfen.

Der praktische Vorbehalt ist die Hardware. Dutzende von Organisationen stimmen Super VL bereits fein ab, aber das Beste aus ihm herauszuholen bedeutet, NVIDIA-Hardware zu kaufen. Der optimierte NVFP4-Pfad und die meisten Serving-Tricks sind auf NVIDIAs Blackwell- und DGX-Stack abgestimmt. Bestätigen Sie immer die genauen Bedingungen auf der Modellkarte, bevor Sie kommerziell einsetzen.

So führen Sie Nemotron 3.5 Super VL aus

Das Release enthält Basis-, Post-Training- und NVFP4-quantisierte Checkpoints. Sie haben drei grundlegende Wege:

1. Self-Hosting. Laden Sie die BF16- oder NVFP4-Safetensors herunter und betreiben Sie sie mit vLLM, SGLang oder TensorRT-LLM. Der NVFP4-Checkpoint ist dafür ausgelegt, auf einer einzelnen H200 oder DGX Spark zu laufen.
2. Gehostete API. Super VL ist über NVIDIA NIM, OpenRouter, Together AI, Baseten und fal verfügbar, mit einem kostenlosen Tier auf build.nvidia.com.
3. Lokal / Edge. Verwenden Sie das Bolt 74B-A9B-Modell über Ollama oder LM Studio für Workloads, die Sie aus der Cloud heraushalten möchten.

Für die Anpassung verweist NVIDIA Entwickler auf NeMo für Supervised Fine-Tuning, LoRA und Reinforcement Learning sowie auf offene Datensätze auf Hugging Face. Die vollständige Architekturübersicht finden Sie in NVIDIAs technischem Blog und der Launch-Ankündigung.

Sollten Sie es verwenden?

Nemotron 3.5 Super VL ist eine starke Wahl, wenn Sie Agenten betreiben, die unübersichtliche visuelle Dokumente lesen, wenn Sie Daten in Ihrer eigenen Infrastruktur behalten möchten und wenn Sie einen spezifischen Workflow haben, der eine Feinabstimmung lohnt. Es ist weniger überzeugend, wenn Sie ein Allzweck-Chat-Modell benötigen oder nicht auf NVIDIA-Hardware setzen – die Effizienzgeschichte stützt sich stark auf diesen Stack.

Für einen Überblick, wie es im Vergleich zu anderen aktuellen offenen und Frontier-Launches dasteht, lesen Sie unsere Analysen zu Gemini 4 Argon und GLM-5.3-Flash.

Ein offenes multimodales Modell in die Praxis umsetzen

Nemotron 3.5 Super VL ist dafür gebaut, Dokumente zu lesen, Tools aufzurufen und mehrstufige Aufgaben auszuführen – genau die Arbeit, die eine KI-Belegschaft eigenständig erledigen sollte. Eigent ist eine Open-Source-Cowork-Desktop-App, die Multi-Agenten-Workflows lokal orchestriert, sodass Sie Agenten auf Ihre eigenen Dokumente und Tools ausrichten können, anstatt Modelle manuell zusammenzustückeln. Sehen Sie, wie es dokumentenintensive Review-Workflows handhabt, oder laden Sie Eigent herunter und bauen Sie Ihr eigenes Agenten-Team auf.