Bonsai 27B lokal auf 8GB VRAM mit Hermes & OpenClaw

Bonsai lokal betreiben: Ternäre 1,58-Bit-Modelle auf 8 GB VRAM – was geht und was nicht

Lesezeit: etwa 13 Minuten

Ein Sprachmodell, das in weniger als zwei Gigabyte passt und trotzdem brauchbare Antworten liefert – die Bonsai-Modelle von PrismML sind seit dem Frühjahr 2026 einer der meistdiskutierten Namen in der Local-LLM-Szene. Der Trick dahinter ist keine Zauberei, sondern eine radikale Kompressionsmethode: die ternäre Quantisierung, bei der jedes Gewicht nur noch einen von drei Werten annimmt – −1, 0 oder +1. Statt 16 Bit pro Gewicht landest du bei rund 1,58 Bit.

Weil rund um diese Modelle einiges durcheinandergeht, hier die Faktenlage vorweg. PrismML – ein Caltech-Spinout unter CEO Babak Hassibi, finanziert unter anderem von Khosla Ventures und Google – hat zwei verschiedene Bonsai-Linien im Markt:

• Ternary Bonsai, vorgestellt am 16. April 2026 in drei Größen: 1,7B, 4B und 8B.
• Bonsai 27B, veröffentlicht am 14. Juli 2026 – eine Kompression des Modells Qwen3.6 27B, wahlweise in 1-Bit- oder Ternär-Variante.

Ein „Bonsai 27B“ existiert also durchaus, und mit rund 5,9 Gigabyte in der ternären beziehungsweise 3,9 Gigabyte in der 1-Bit-Fassung passt es sogar auf eine 8-GB-Karte. Was nicht existiert, ist ein Bonsai mit „10 Billionen Parametern“ – diese Zahl kursiert in Überschriften, hat aber keine Grundlage. Dieser Ratgeber für aimageddon.de sortiert die Faktenlage Juli 2026: was ternäre Modelle wirklich brauchen, welche Leistung belegt ist, welcher Software-Stack läuft – inklusive der Agent-Frameworks Hermes und OpenClaw – und bei welchen Aufgaben du die Finger davon lassen solltest.

Was ternäre 1,58-Bit-Quantisierung wirklich bedeutet

Normale Sprachmodelle speichern jedes Gewicht als Fließkommazahl mit 16 oder 32 Bit. Ternäre Quantisierung reduziert diese Vielfalt auf drei Zustände. Der Wert 0 heißt „diese Verbindung trägt nichts bei“, −1 und +1 stehen für hemmend oder verstärkend. Ein Zustand aus drei Möglichkeiten braucht rechnerisch log₂(3) ≈ 1,58 Bit – daher der Name.

Der technisch interessante Teil ist, wie PrismML trotz dieser Grobheit Signal erhält: Die Modelle nutzen eine gruppenweise Quantisierung. Für je 128 Gewichte wird ein gemeinsamer FP16-Skalierungsfaktor s gespeichert, sodass jedes Gewicht effektiv einen der Werte {−s, 0, +s} annimmt. Damit kann das Modell die effektive Gewichtsstärke in verschiedenen Netzbereichen anpassen, während der Speicherbedarf pro Gewicht fast so niedrig bleibt wie bei rein binärer Darstellung.

Bemerkenswert ist die Konsequenz: Ternary Bonsai ist nach Herstellerangaben durchgängig ternär – es gibt keine höherpräzisen Ausnahmen. Embeddings, Attention-Layer, MLPs und der LM-Head verwenden alle dieselbe 1,58-Bit-Darstellung. Und diese Darstellung wird von Anfang an mittrainiert; ein bestehendes 16-Bit-Modell lässt sich nicht einfach nachträglich in ein sauberes Ternär-Modell umrechnen.

Warum das den Speicherbedarf einbrechen lässt

Der Effekt ist Mathematik, keine Marketing-Behauptung. Ein dichtes 8-Milliarden-Parameter-Modell braucht in 16 Bit rund 16 GB nur für die Gewichte. In ternärer Packung sinkt das auf etwa ein Neuntel.

Die Zahl im Namen ist nicht die Zahl im Speicher

Hier lohnt es, mit einem Missverständnis aufzuräumen. Parameteranzahl (etwa „8B“) und Speicherbedarf sind zwei verschiedene Dinge. Ein aggressiv quantisiertes Modell kann mehr Parameter haben und trotzdem weniger Platz brauchen als ein kleineres, unkomprimiertes. Genau deshalb ist die Rechnung „27B passt niemals in 8 GB“ falsch – in ternärer Packung passt es. Umgekehrt heißt „viele Parameter“ eben nicht „viel Intelligenz zum Nulltarif“: Die Kompression kostet an anderer Stelle, dazu weiter unten.

Die Bonsai-Modelle im Überblick

Die Ternary-Bonsai-Familie ist dabei ausdrücklich kein Ersatz für die ältere 1-Bit-Linie, sondern ein anderer Kompromiss: Wo der absolut kleinste Fußabdruck zählt, bleibt 1-Bit die richtige Wahl. Wo etwas mehr Speicher ein deutlich stärkeres Modell rechtfertigt, ist die ternäre Variante besser. Konkret bringt das ternäre 8B gegenüber dem 1-Bit-Bonsai-8B rund fünf Benchmark-Punkte mehr bei etwa 600 MB zusätzlichem Speicher.

Wie leistungsfähig sind die Modelle wirklich?

Hier lässt sich erfreulich konkret werden, weil PrismML die Benchmark-Basis offenlegt. Das Ternary Bonsai 8B erreicht im Schnitt 75,5 Punkte über sechs Benchmarks (MMLU Redux, MuSR, GSM8K, HumanEval+, IFEval und BFCLv3) – gegenüber 70,5 beim 1-Bit-Vorgänger. Zur Einordnung in der 8B-Klasse:

Das ist die eigentliche Nachricht: In seiner Parameterklasse schlägt Bonsai fast alle Vollpräzisions-Modelle bei rund einem Neuntel des Speicherbedarfs. Nur Qwen3 8B liegt vorn – und braucht dafür knapp das Zehnfache an Speicher. Zwei Vorbehalte gehören dazu: Diese Zahlen stammen vom Hersteller, und Benchmark-Punkte sagen wenig über das Verhalten bei deinen konkreten Aufgaben. Wir haben nicht selbst gemessen.

Warum der KV-Cache der eigentliche Engpass ist

Der VRAM-Bedarf setzt sich aus zwei Posten zusammen: den Modellgewichten und dem KV-Cache, dem Zwischenspeicher fürs Kontextfenster. Die Gewichte sind bei Bonsai winzig. Der KV-Cache dagegen wächst mit der Kontextlänge und kann bei langen Eingaben schnell mehr Speicher fressen als das Modell selbst.

Wer 8 GB hat und ein 1,75-GB-Modell lädt, hat also nicht 6 GB „übrig“ – der Rest geht für Kontext, Aktivierungen und Treiber-Overhead drauf. Besonders relevant wird das beim 27B-Modell: Mit 5,9 GB Gewichten bleibt auf einer 8-GB-Karte kaum Luft für längere Kontexte. Wer sehr lange Eingaben verarbeiten will, stößt eher hier an als an der Modellgröße. Viel System-RAM hilft nur bedingt: Offloading in den Arbeitsspeicher kostet spürbar Tempo.

Praktische Faustregel: Plane die Modellgröße nicht am verfügbaren VRAM, sondern am verfügbaren VRAM minus deinem geplanten Kontextfenster. Bei knappem Speicher ist ein kleineres Modell mit langem Kontext oft nützlicher als ein größeres mit kurzem.

Der Software-Stack: Inference-Server unten, Agent oben

Beim Betrieb lohnt es, zwei Ebenen zu trennen – der Fehler steckt oft darin, sie zu verwechseln. Unten läuft der Inference-Server, der das Modell tatsächlich lädt und rechnet. Darüber sitzt optional ein Agent-Framework, das dem Modell Aufgaben, Werkzeuge und Gedächtnis gibt. Hermes und OpenClaw gehören zur zweiten Ebene – sie laden Bonsai nicht selbst, sondern sprechen einen Server an.

Verfügbare Formate und Bezugswege

• MLX (Apple Silicon): Das offizielle Release erfolgte im MLX-Format für Apple-Hardware – die Modelle laufen laut Hersteller nativ auf Mac, iPhone und iPad. Wer im Apple-Ökosystem arbeitet, hat hier den direktesten Weg.
• GGUF (Hugging Face): PrismML stellt auf Hugging Face GGUF-Varianten bereit, etwa für das 8B-Modell in einer Q2_0-Packung mit rund 2,18 GB. Das Repository verzeichnete zuletzt über 100.000 Downloads im Monat – die Formate sind also real im Umlauf, nicht nur angekündigt.
• bitnet.cpp: Microsofts quelloffenes Framework für 1-Bit- und 1,58-Bit-Modelle, auf llama.cpp aufgesetzt, mit eigenen Kerneln für ternäre Operationen.
• LocalAI: führt Bonsai in seiner Modell-Galerie und ist damit eine bequeme Bezugsquelle.
• Ollama und LM Studio: verbreitete Einstiege mit OpenAI-kompatiblem Endpunkt. Prüf im Einzelfall, ob das jeweilige Format nativ unterstützt wird – bei so neuen Quantisierungsverfahren hinkt die Backend-Unterstützung der Modellveröffentlichung regelmäßig hinterher.

Agent-Frameworks: Hermes und OpenClaw

Hermes Agent von Nous Research ist ein quelloffener, autonomer Agent, der sich an einen OpenAI-kompatiblen Endpunkt hängt, Aufgaben ausführt und Fakten in einer internen SQLite-Datenbank mit Volltextsuche ablegt. OpenClaw ist ein lokal-orientierter Hintergrund-Agent, der Nachrichten schlichter in eine JSONL-Datei protokolliert.

Beide brauchen einen Server, der Bonsai serviert. „Bonsai läuft mit Hermes und OpenClaw“ heißt also präzise: Der Inference-Server rechnet Bonsai, Hermes oder OpenClaw steuern die Aufgaben drumherum. Wer das verwechselt, wundert sich, warum nichts startet.

Realistische Leistung – und wo ternäre Modelle einbrechen

Wofür sie taugen

Für strukturierte, überschaubare Aufgaben sind kleine Bonsai-Modelle ein sinnvolles Werkzeug: Text klassifizieren, Daten aus unstrukturierten Eingaben parsen, kurze Abschnitte zusammenfassen, einfache Automatisierungs-Schritte im Homelab. Das läuft lokal, offline und ohne dass Daten das Haus verlassen – für viele Homelab-Szenarien der eigentliche Gewinn. In genau dieser Rolle spielen die Agent-Frameworks ihre Stärke aus: ein kleines, schnelles Modell, das rund um die Uhr Routineaufgaben abarbeitet.

Wo sie zuverlässig scheitern

Je aggressiver ein Modell quantisiert ist, desto weniger Feinauflösung bleibt für lange, verkettete Schlussfolgerungen. Komplexe Programmieraufgaben, mehrschrittiges mathematisches Denken oder das Halten eines langen Zusammenhangs über viele Schritte sind die typischen Bruchstellen. Für ernsthafte Softwareentwicklung ist ein stark quantisiertes Kleinmodell die falsche Wahl. Das Problem ist dabei selten das Tempo – es ist die fehlende Präzision für belastbare Logik. Ergebnisse wirken plausibel und sind trotzdem unzuverlässig, was sie besonders tückisch macht.

Zum Tempo: Die erreichbaren Tokens pro Sekunde hängen stark von Hardware, Backend und Kontextlänge ab. Als Anhaltspunkt für die Größenordnung nennt PrismML für das 27B-Modell in der 1-Bit-Variante auf einem aktuellen Spitzen-Smartphone rund elf Tokens pro Sekunde. Auf einer dedizierten Grafikkarte liegt das deutlich darüber – eine belastbare Einzelzahl lässt sich daraus aber nicht ableiten.

Lizenz: hier ist die Lage erfreulich klar

Bei lokalen Modellen ist die Lizenz kein Detail – „Open Source“ ist bei KI-Modellen kein einheitlicher Begriff, und manche Lizenzen schränken kommerzielle Nutzung oder ganze Regionen ein. Bei Bonsai ist die Lage unkompliziert: Die Modelle stehen unter Apache 2.0, einer der freizügigsten Lizenzen, kommerzielle Nutzung ausdrücklich eingeschlossen. Das gilt sowohl für die Ternary-Bonsai-Familie als auch für Bonsai 27B.

Trotzdem gilt der Grundsatz: Lies vor dem produktiven Einsatz die Lizenzdatei des konkreten Downloads. Lizenzen können sich zwischen Varianten und Versionen unterscheiden, und maßgeblich ist der Lizenztext, nicht die Überschrift auf der Download-Seite. Das ist ein Hinweis, keine Rechtsberatung.

Häufige Fehler beim lokalen Betrieb

Praktische Handlungsempfehlungen Juli 2026

• Erst die Aufgabe klären, dann die Modellgröße. Für Klassifikation und Parsing reicht 1,7B oder 4B. Erst wenn zusammenhängender Text gefragt ist, lohnt 8B oder größer.
• Kontextbedarf vorab abschätzen und vom verfügbaren VRAM abziehen. Das ist die Rechnung, an der die meisten Setups scheitern.
• Format zur Hardware wählen: MLX auf Apple Silicon, GGUF auf allem anderen. Prüf den Versionsstand deines Backends, bevor du lange suchst.
• Mit dem 8B-Modell anfangen, wenn du eine 8-GB-Karte hast – 1,75 GB Gewichte lassen genug Luft für brauchbaren Kontext. Das 27B ist mit 5,9 GB machbar, aber eng.
• Server und Agent getrennt aufsetzen und einzeln testen. Erst prüfen, ob der Inference-Server antwortet, dann Hermes oder OpenClaw davorschalten.
• Für Code-Generierung ein anderes Werkzeug nehmen. Hier ist die Grenze der Kompression erreicht, und plausibel klingender falscher Code kostet mehr Zeit, als das Modell spart.
• Eigene Stichprobe fahren, bevor du ein Modell produktiv einsetzt: zehn typische Aufgaben aus deinem Alltag, manuell bewertet. Das schlägt jede Benchmark-Tabelle.

Fazit: Für wen sich lokales Bonsai lohnt

Die ternären Bonsai-Modelle sind ein echter Fortschritt für alle, die im Homelab lokale KI ohne Cloud-Abhängigkeit wollen und mit klar umrissenen Aufgaben arbeiten: Automatisierung, Parsing, Klassifikation, einfache Textarbeit. Dass ein 8B-Modell mit 1,75 Gigabyte in seiner Klasse fast alle Vollpräzisions-Konkurrenten schlägt, die 14 bis 18 Gigabyte brauchen, ist keine Marketing-Behauptung, sondern die offengelegte Benchmark-Bilanz des Herstellers.

Zwei Dinge solltest du trotzdem im Kopf behalten. Erstens: Der Speicher ist nicht mehr dein Problem, der Kontext ist es. Plane die Modellwahl vom Kontextfenster her, nicht von der Gewichtsgröße. Zweitens: Bei verketteter Logik und Code-Generierung ist die Kompressionsgrenze erreicht – dort greifst du besser zu einem größeren Modell oder einer Cloud-API.

Und was die Überschriften angeht: Ein Bonsai 27B gibt es tatsächlich, und es passt in der ternären Variante mit 5,9 Gigabyte sogar auf eine 8-GB-Karte. Ein Bonsai mit Billionen von Parametern gibt es nicht. Wenn dir eine Zahl in diesem Feld zu gut klingt, ist der schnellste Faktencheck ein Blick auf die Modellkarte des Herstellers.

Quellen und weiterführende Informationen

• Introducing Ternary Bonsai: Top Intelligence at 1.58 Bits (prismml.com) – Herstellerankündigung mit Architekturdetails, Gruppenquantisierung und Speicherangaben aller drei Größen.
• PrismML Introduces Ternary Bonsai Model Family (prnewswire.com) – offizielle Pressemitteilung vom 16. April 2026 mit Benchmark-Vergleich und Zitat des CEO.
• prism-ml/Ternary-Bonsai-8B-gguf (huggingface.co) – verfügbare Formate, Dateigrößen und Downloadzahlen des 8B-Modells.
• Ternary Bonsai: Specs, Benchmarks und FAQ (ternarybonsai.click) – Zusammenfassung von Speicherbedarf, Plattformunterstützung und Lizenz.
• PrismML Releases Ternary Bonsai (officechai.com) – unabhängige Einordnung der Benchmark-Ergebnisse im Vergleich zur 8B-Konkurrenz.
• Announcing Bonsai 27B (prismml.com) – Varianten, effektive Bit-Raten und Speichergrößen des 27B-Modells.

Haftungsausschluss

Allgemeine Information, keine eigenen Messungen. Dieser Artikel auf aimageddon.de dient der allgemeinen Information über lokale KI-Modelle im Homelab und ersetzt keine individuelle technische oder rechtliche Beratung. Wir führen keine eigenen Benchmarks durch, sondern werten Herstellerangaben, Modellkarten und öffentliche Berichterstattung aus. Genannte Benchmark-Werte stammen vom Hersteller und sind zum Redaktionsschluss nicht unabhängig bestätigt.

Technische Angaben. Speicherbedarf, Ladezeiten und Inferenzgeschwindigkeit hängen von Grafikkarte, Treiberstand, Backend, Quantisierungsformat, Kontextlänge und Betriebssystem ab und können erheblich von den genannten Werten abweichen. Angaben zu unterstützten Formaten entsprechen dem Stand Juli 2026; die Backend-Unterstützung für neue Quantisierungsverfahren ändert sich mit jeder Version – prüf den aktuellen Stand in der Dokumentation des jeweiligen Projekts.

Modell-Lizenzen und Ergebnisse. Die genannten Modelle stehen nach Herstellerangaben unter Apache 2.0; maßgeblich ist die Lizenzdatei des konkreten Downloads, die sich zwischen Varianten unterscheiden kann. Sprachmodelle erzeugen Ausgaben auf statistischer Basis und können sachlich falsche, veraltete oder irreführende Texte produzieren – das gilt für stark quantisierte Modelle in besonderem Maß. Die Prüfung KI-generierter Ergebnisse liegt in deiner Verantwortung; der unkritische Einsatz in produktiven oder sicherheitsrelevanten Umgebungen ist nicht empfohlen. Wer personenbezogene Daten verarbeitet, bleibt auch bei lokaler Verarbeitung an die DSGVO gebunden.

Hardware, Energie und Affiliate. Der Betrieb von Sprachmodellen auf Consumer-Hardware verursacht Stromkosten, die bei Dauerbetrieb spürbar werden. Preise für Grafikkarten und Speicher schwanken derzeit stark; nach § 11 PAngV müssen Händler bei beworbenen Preissenkungen den niedrigsten Preis der letzten 30 Tage ausweisen. Beim Kauf im Fernabsatz steht dir nach § 312g BGB ein 14-tägiges Widerrufsrecht zu; bei Sachmängeln greifen §§ 437, 438 BGB mit zwei Jahren Frist, in den ersten zwölf Monaten mit Beweislastumkehr nach § 477 BGB. Einige Links führen zum Amazon-Partnerprogramm oder zum Awin-Netzwerk; kaufst du darüber, erhält aimageddon.de eine Provision ohne Mehrkosten für dich. Alle Markennamen sind eingetragene Warenzeichen der jeweiligen Inhaber.

👉 Bonsai 27B (1-Bit) auf Amazon ansehen