Thinking Machines Inkling-Small: Ein 276B-Modell, das seinen größeren Bruder übertrifft

Thinking Machines Lab hat Inkling-Small veröffentlicht – ein Open-Weights Mixture-of-Experts-Modell mit 276B Gesamtparametern und 12B aktiven Parametern – etwa ein Viertel der Größe seines ersten Modells Inkling, das es beim Schlussfolgern und agentischen Coding jedoch erreicht oder übertrifft. Der eigentliche Kern der Geschichte ist nicht die Skalierung, sondern die Effizienz. Dieser Leitfaden behandelt die Spezifikationen von Inkling-Small, seine Benchmark-Zahlen direkt aus der Veröffentlichung, die Betriebskosten und was ein effizientes Open-Weights-Modell bedeutet, wenn Sie KI-Agenten entwickeln.

Was ist Inkling-Small?

Inkling-Small ist das zweite Modell von Thinking Machines Lab, dem Startup, das von der ehemaligen OpenAI-CTO Mira Murati gegründet wurde. Es erschien etwa zwei Wochen nach Inkling, der ersten Open-Weights-Veröffentlichung des Labs, und basiert auf einer einzigen Idee: die Leistungsfähigkeit beibehalten, den Rechenaufwand reduzieren.

Die wichtigsten Fakten aus dem Release-Beitrag und der Modellkarte des Labs:

• 276B Gesamtparameter, 12B aktiv – ein spärlicher MoE-Transformer. Das entspricht etwa einem Viertel von Inklings 975B Gesamt- / 41B aktiven Parametern.
• 1M-Token-Kontextfenster.
• Nativ multimodal – verarbeitet Text, Bilder und Audio mit derselben encoder-freien Architektur wie Inkling.
• Variables Denkvermögen – das Schlussfolgern lässt sich hoch- oder herunterregeln, um Genauigkeit gegen Geschwindigkeit und Kosten abzuwägen.
• Open Weights unter Apache 2.0, auf Hugging Face – einschließlich eines NVFP4-quantisierten Checkpoints für effiziente Inferenz.
• Trainiert auf NVIDIA GB300 NVL72-Systemen.

Architektonisch handelt es sich um einen 42-schichtigen Decoder-only-Transformer, der jedes Token an 6 von 256 Experten weiterleitet, plus 2 gemeinsame Experten, die bei jedem Token aktiv sind (Modellkarte). Das MoE-Rezept folgt derselben Linie wie Inkling.

Die Besonderheit: Das kleine Modell schlägt das große

Das Überraschende ist, dass Inkling-Small Inkling nicht nur annähert – bei mehreren Benchmarks liegt es sogar vorne. Thinking Machines erklärt im Release-Beitrag warum: Das Training von Inkling-Small begann nach dem seines größeren Geschwistermodells, sodass das Team die Vortrainings-Datenmischung und das Rezept verbessern und dann einen frühen Checkpoint mittels On-Policy-Destillation mit Inkling als Lehrer nachtrainieren konnte. Anschließend wurde das agentische Coding-Reinforcement-Learning weitere zwei Wochen skaliert (Release-Beitrag).

Das Ergebnis in den eigenen Worten des Labs: Inkling-Small übertraf Inkling beim Schlussfolgern und agentischen Coding, während Inkling einen Vorteil bei der Wissensabdeckung und Faktentreue behält. Ein konkretes Beispiel – beim Humanity's Last Exam (nur Text) erzielt es 31,6 %, vor Inklings 29,7 %, und das Lab berichtet, dass der Vorteil bei jedem Denkbudget bestehen bleibt.

Inkling-Small Benchmarks

Alle nachstehenden Zahlen stammen aus der Veröffentlichung und wurden bei Effort 0,99 ermittelt. Das Muster zeigt einen breiten, ausgewogenen Generalisten statt eines Leaderboard-Spezialisten. Wo ein selbst berichtetes Harness beteiligt ist, weisen wir darauf hin.

*SWEBench Verified und Terminal Bench 2.1 verwenden die eigenen Coding-Harnesses des Labs für die Inkling-Modelle; externe Modelle verwenden selbst berichtete Zahlen. Modellübergreifende Vergleiche sollten mit diesem Vorbehalt betrachtet werden – eine unabhängige Überprüfung wird wichtig sein.

Zwei Erkenntnisse: Erstens ist das kleine Modell bei den Coding- und Schlussfolgerungsaufgaben, die für Agenten am wichtigsten sind, mindestens gleichauf mit dem großen. Zweitens ist der Kompromiss die Faktentreue: Bei SimpleQA Verified fällt Inkling-Small auf 20,6 % gegenüber Inklings 43,9 % – weniger Parameter bedeuten weniger gespeichertes Weltwissen, was genau der Bereich ist, in dem Retrieval oder Tools ihren Wert beweisen.

Verglichen mit seiner tatsächlichen Gewichtsklasse ist Inkling-Small wettbewerbsfähig gegenüber Open-Weights-Peers wie DeepSeek V4 Flash, Qwen3.5-397B-A17B und GLM 5.2 – mit wechselnden Siegen je nach Benchmark, ohne zu dominieren.

Das Effizienzargument: Kosten und Rechenaufwand

Das eigentliche Verkaufsargument ist die Leistung-pro-Dollar-Kurve. Da pro Token nur 12B Parameter aktiv sind, ist Inkling-Small bei vergleichbarer Qualität günstiger zu betreiben als Inkling.

• Ausgabepreise: Inkling-Small ist mit $1,20 / 1M Token gegenüber Inklings $4,05 / 1M Token (Release-Beitrag) gelistet – etwa ein Drittel der Kosten.
• Hardware-Mindestanforderung: Der BF16-Checkpoint benötigt mindestens 600 GB aggregierten VRAM (z. B. 4× NVIDIA B300 oder 8× H200). Der NVFP4-quantisierte Checkpoint reduziert das auf 180 GB und kann auf einer einzelnen B300 laufen (Modellkarte, MarkTechPost).

Dieser Single-GPU-Pfad ist die Schlagzeile für kleinere Teams: ein 276B multimodales Modell, das ein Startup auf einer einzigen gemieteten B300 selbst hosten kann, anstatt einen Cluster auf Frontier-Lab-Niveau zu benötigen.

Multimodalität, Epistemik und Sicherheit

Multimodal. Inkling-Small verwendet dasselbe nativ multimodale, encoder-freie Design wie Inkling – Audio als dMel-Spektrogramme, Bilder aufgeteilt in 40×40-Patches – und das Lab gibt an, die Fähigkeit des Modells verbessert zu haben, Python für visuelle Aufgaben wie das Zuschneiden und Hineinzoomen in Diagramme und Dokumente zu nutzen. Es erreicht Inkling bei den meisten multimodalen Evaluierungen zu geringeren Kosten nahezu.

Epistemik. Die Kalibrierung wurde mit Reinforcement Learning gegen ordnungsgemäße Scoring-Regeln bei realen Prognosefragen trainiert. Bei ForecastBench (ohne Suche) erzielt es einen Brier-Index von 61,3 ± 0,46, leicht vor Inklings 60,1 (Release-Beitrag).

Sicherheit. Es erbt Inklings Sicherheitsrezept. StrongREJECT liegt bei 98,4 %, und bei FORTRESS erzielt es 71,6 % adversarial / 96,9 % benign. Das Lab empfiehlt, nachgelagerte Moderation wie Llama Guard bei verbraucherorientierten Deployments zu schichten (MarkTechPost). Wie bei Inkling tragen Teams, die die Open Weights feinabstimmen, die Verantwortung für die Sicherheit ihrer Anpassungen.

So führen Sie es aus

Es gibt drei Möglichkeiten (Modellkarte):

1. Gewichte herunterladen von Hugging Face – BF16 oder den NVFP4-quantisierten Checkpoint.
2. Feinabstimmung auf Tinker, der Feinabstimmungsplattform des Labs, die auch API-Zugang und eine Playground-Umgebung für Text-, Bild- und Audio-Chat bietet.
3. Drittanbieter-Inferenzanbieter über API für Teams, die es nicht selbst hosten möchten.

Warum ein effizientes Open-Weights-Modell für KI-Agenten wichtig ist

Für Teams, die Agenten entwickeln, schärft Inkling-Small denselben Wandel, den Inkling eingeleitet hat: Sie können ein leistungsfähiges, multimodales Modell auf Ihrer eigenen Infrastruktur betreiben, es auf Ihre Domäne feinabstimmen und das Ergebnis privat halten – ohne pro API-Aufruf an einen geschlossenen Anbieter zu zahlen. Der Unterschied liegt jetzt in der Wirtschaftlichkeit. Ein viertelgroßes Modell zu einem Drittel des Preises mit einem Single-GPU-quantisierten Pfad verschiebt das Selbst-Hosting von „Frontier-Lab-Budget" zu „eine gemietete Instanz".

Das variable Denkvermögen ist das agenten-native Feature: Verlangsamen Sie das Modell für schwierige Planungsschritte, beschleunigen Sie es für günstige – alles innerhalb Ihrer eigenen Schleife – was genau das ist, was lange, mehrstufige Workflows benötigen. Wenn Sie Open-Source-Optionen vergleichen, behandelt unser Artikel über das ursprüngliche Thinking Machines Inkling das größere Modell und die These des selbst feinabgestimmten Modells ausführlicher.

Setzen Sie dies mit Ihrer eigenen KI-Belegschaft um

Die gesamte Prämisse von Inkling-Small – dass ein effizientes, selbst gehostetes Modell, das Sie selbst gestalten können, eine Einheitslösung übertrifft – ist dieselbe Wette hinter Eigent, der Open-Source-„Cowork"-Desktop-App, die eine Multi-Agenten-KI-Belegschaft lokal betreibt. Während Inkling-Small ein Basismodell ist, das Sie feinabstimmen, ist Eigent die Workforce-Schicht darüber: ein Team von Agenten, das echte, mehrstufige Workflows auf Ihrem Rechner automatisiert und dabei die Modelle Ihrer Wahl verwendet. Um Open-Weights-Modelle in die Praxis umzusetzen, anstatt nur Benchmark-Tabellen zu lesen, laden Sie Eigent herunter und beginnen Sie mit dem Aufbau Ihrer eigenen Agenten-Workflows.