Qwen 3.6, Kimi K3 & Bonsai: Warum alle auf 27B setzen

Warum 27B die Referenzgröße für lokale KI ist – und wie Bonsai die Grenze aufs Handy verschiebt

Lesezeit: etwa 13 Minuten

Im Sommer 2026 taucht eine Zahl in der Welt der offenen Sprachmodelle auffällig oft auf: 27 Milliarden Parameter. Sie ist kein Zufall und auch kein Modethema, sondern die direkte Folge einer sehr banalen Grenze – dem Videospeicher der Grafikkarten, die Enthusiast:innen zu Hause stehen haben. 24-GB-Consumer-GPUs wie die RTX 4090 und die ältere RTX 3090 haben faktisch definiert, wie groß ein „lokales“ Modell sein darf. Die Modellbauer richten ihre Architekturen an diesem Budget aus, nicht umgekehrt.

Zwei Releases aus diesem Sommer zeigen, was daraus geworden ist. Qwen 3.6-27B von Alibaba ist der Anker: ein klassisches dichtes Modell, bei dem alle 27 Milliarden Parameter bei jeder Anfrage mitrechnen, veröffentlicht am 22. April 2026 unter Apache 2.0. Und Bonsai 27B vom Caltech-Spinout PrismML nimmt genau dieses Modell und presst es per 1-Bit- beziehungsweise Ternär-Kompression auf 3,9 respektive 5,9 Gigabyte – klein genug, um auf einem Smartphone zu laufen.

Das ist die eigentliche Bewegung: Nicht mehrere Hersteller landen unabhängig voneinander bei derselben Zahl, sondern eine Modellklasse hat sich als Referenz etabliert – und die Hardware-Grenze, an der sie sich orientiert, rutscht gerade nach unten. Dieser Ratgeber für aimageddon.de sortiert die Faktenlage Juli 2026: warum ausgerechnet 27 Milliarden, was die VRAM-Arithmetik dahinter wirklich hergibt, was extreme Quantisierung kostet – und warum ein drittes, oft im selben Atemzug genanntes Modell in Wahrheit gar nicht in diese Kategorie gehört.

Ein Hinweis vorab, weil er zum Thema gehört: Keiner der genannten Werte ersetzt einen eigenen Testlauf auf deiner Hardware. Benchmark-Tabellen und Praxis klaffen bei lokalen Modellen regelmäßig auseinander.

Warum ausgerechnet 27B? Die Hardware-Logik dahinter

Die 24-GB-Karte als heimlicher Standard-Setzer

Es gibt keine offizielle Norm, die sagt „ein lokales Modell hat 27 Milliarden Parameter zu haben“. Trotzdem verhält es sich so, als gäbe es sie. Der Grund liegt im Consumer-Markt: Die leistungsstärksten Grafikkarten, die Privatleute realistisch kaufen, kommen seit mehreren Generationen mit 24 GB VRAM. Die RTX 3090, die RTX 4090 und die Workstation-Ableger derselben Chip-Familien bilden eine Wand, an der sich alles orientiert. Wer darüber hinaus will, landet bei Profi-Karten oder mehreren GPUs – beides Preisklassen, die den Homelab-Charakter sprengen.

Ein Modell, das lokal einen Markt finden will, muss in diese 24 GB passen – inklusive des Speichers für den Kontext (die KV-Caches), der mit der Länge der Eingabe wächst. Genau hier wird 27B interessant. Ein gut gemachter 4-Bit-Build eines 27-Milliarden-Modells landet je nach Quantisierungsverfahren und mitgeliefertem Vision-Anteil bei grob 14 bis 18 GB. Das lässt auf einer 24-GB-Karte noch Puffer für ordentlichen Kontext. Ein 70B-Modell passt in 4 Bit nicht mehr sauber hinein; ein 13B-Modell lässt Kapazität liegen. 27B trifft die Mitte.

Apple Silicon verschiebt die Grenze, hebt sie aber nicht auf

Auf der anderen Seite steht Apple Silicon mit Unified Memory: Hier teilen sich CPU und GPU denselben Speicherpool, und den gibt es in Konfigurationen bis weit über 100 GB. Das klingt nach mehr Freiheit – und ist es auch für die reine Speicherfrage. Aber die Speicherbandbreite von Apples Chips liegt unter der dedizierter High-End-GPUs, was die Token-Geschwindigkeit bei großen dichten Modellen bremst. Auch hier bleibt 27B ein Sweetspot: groß genug für ernsthafte Arbeit, klein genug, um auf einem Mac mit moderatem Speicher noch mit brauchbarer Geschwindigkeit zu laufen.

Die „8-GB-Karte“-Behauptung – und warum sie inzwischen anders zu bewerten ist

Lange galt: Wer behauptet, 27B laufe „sogar auf 8-GB-GPUs“, verkauft Unsinn. Mit klassischer 4-Bit-Quantisierung stimmt das auch weiterhin – da belegen allein die Gewichte deutlich mehr. Was sich 2026 geändert hat, ist die Existenz von Builds unterhalb von 2 Bit, die tatsächlich in solche Budgets passen (dazu weiter unten mehr). Für konventionelle Quantisierung bleibt es dabei: Realistisch braucht ein 27B-Modell mit nutzbarem Kontext eher 16 bis 24 GB, und wer eine 8-GB-Karte hat, ist mit einem 7B- bis 14B-Modell in normaler Präzision meist besser bedient als mit einem stark beschnittenen 27B.

Die VRAM-Rechnung: Was 27B je nach Präzision frisst

Bevor es um die einzelnen Modelle geht, lohnt der nüchterne Blick auf die Speicher-Arithmetik. Die folgenden Werte gelten für die reinen Gewichte eines 27-Milliarden-Modells; der Kontext-Speicher (KV-Cache) kommt je nach Länge mit mehreren Gigabyte obendrauf, und multimodale Builds bringen einen zusätzlichen Vision-Anteil mit.

Die Tabelle erklärt die ganze Bewegung. 4 Bit ist der Punkt, an dem ein 27B-Modell auf der 24-GB-Standardkarte zu Hause ist – das ist der Grund, warum sich diese Modellgröße überhaupt etabliert hat. Und die beiden unteren Zeilen sind der Grund, warum die Geschichte 2026 weitergeht: Sie beschreiben keine Rechenübung, sondern ausgelieferte Modelle.

Qwen 3.6-27B Dense: der Anker der Klasse

Warum Alibaba bei einer dichten Architektur bleibt

Alibaba hat Qwen 3.6-27B am 22. April 2026 unter Apache-2.0-Lizenz veröffentlicht – ein dichtes 27-Milliarden-Modell, bei dem alle Parameter bei jeder Berechnung mitrechnen. Laut Anbieter baut es auf der Vorgängerversion 3.5-27B auf und verbessert vor allem die Fähigkeiten für agentisches Programmieren sowie das Schlussfolgern in STEM-Bereichen. Es ist zudem als natives Vision-Language-Modell angelegt, versteht also auch Bildeingaben, und bringt ein Kontextfenster von 262.144 Token mit.

Der bemerkenswerte Punkt: Alibaba bewirbt das Modell damit, dass es das eigene, rund 15-mal größere Vorgänger-Flaggschiff Qwen 3.5-Plus (397B MoE) auf mehreren agentischen Coding-Benchmarks schlägt. Das ist genau die Art Marketing-Aussage, bei der Skepsis angebracht ist: „schlägt ein 15-mal größeres Modell“ gilt für ausgewählte Benchmarks, nicht pauschal. Ein 27B-Modell hat nicht das Weltwissen eines 397B-Modells. Wo es glänzt, ist die enge, wiederholbare Domäne – Code generieren, Werkzeuge aufrufen, Anweisungen befolgen. Dass ausgerechnet dort ein kleines dichtes Modell mithält, ist die eigentliche Nachricht.

Inferenz-Geschwindigkeit und VRAM-Bedarf im Homelab-Alltag

In der Praxis wird Qwen 3.6-27B üblicherweise in 4- oder 8-Bit-Quantisierung mit Werkzeugen wie llama.cpp betrieben. Auf einer 24-GB-Karte läuft die 4-Bit-Variante mit ordentlichem Kontext flüssig. In Entwickler-Communitys wird das Modell auffällig gelobt: Ein auf der Hacker-News-Startseite verbreitetes Hands-on-Fazit – verfasst von Quesma-Mitgründer Piotr Migdał und am 29. Juni 2026 veröffentlicht – bezeichnete Qwen 3.6-27B dense als erstes lokales Modell, das sich wie eine Allzweck-Intelligenz für den täglichen Gebrauch anfühle. Solche Einschätzungen sind subjektiv und stammen von Einzelpersonen – sie ersetzen keinen strukturierten Vergleich, deuten aber auf eine reale Stärke im Alltagseinsatz hin.

Es gibt auch Gegenstimmen. In den Foren finden sich Nutzer:innen, die das 27B-Modell in ihren Setups nicht gegen ältere Coder-Modelle durchsetzen können, sowie Diskussionen darüber, ob man das dichte 27B oder die MoE-Geschwister nehmen soll. Das ist normal: Lokale Modelle sind stark von Quantisierungsstufe, Prompt-Format und Werkzeugkette abhängig. Wer nur die Benchmark-Tabelle liest und dann enttäuscht ist, hat meist an der Konfiguration gespart.

Das MoE-Geschwister im selben Haus

Interessant ist, dass Qwen dieselbe Klasse gleich doppelt bedient: Neben dem dichten 27B gibt es das Qwen 3.6-35B-A3B – ein MoE-Modell mit 35 Milliarden Gesamt-Parametern, von denen nur rund 3 Milliarden pro Token aktiv sind. Beide zielen auf ähnliche Aufgaben (Coding, Agenten), machen aber gegensätzliche Kompromisse: mehr aktive Rechenleistung gegen mehr Gesamtwissen bei weniger aktiver Last. Wer beide auf derselben Hardware laufen lässt, sieht den Dense-vs-MoE-Kompromiss im Kleinen.

Bonsai 27B: dieselbe Modellklasse, auf dem Telefon

Was PrismML gebaut hat

Am 14. Juli 2026 hat PrismML – ein von Khosla Ventures finanzierter Caltech-Spinout unter CEO Babak Hassibi – Bonsai 27B veröffentlicht, ebenfalls unter Apache 2.0, mit Gewichten auf Hugging Face. Wichtig für das Verständnis der ganzen Geschichte: Bonsai ist kein eigenständig trainiertes Konkurrenzmodell, sondern eine Kompression von Qwen 3.6 27B. Es ist also nicht ein zweiter Hersteller, der unabhängig bei 27 Milliarden landet – es ist derselbe Datenpunkt, radikal geschrumpft.

Das Verfahren geht deutlich weiter als übliche Quantisierung. Die Sprachgewichte werden durchgängig – über Embeddings, Attention, MLPs und den LM-Head – auf binäre beziehungsweise ternäre Werte gebracht; der Vision-Anteil (rund 461 Millionen Parameter) läuft separat in 4 Bit. Zwei Varianten stehen bereit:

• Ternär (Gewichte aus {−1, 0, +1} mit FP16-Gruppenskalierung): 1,71 effektive Bit pro Gewicht, rund 5,9 GB – gedacht für Laptop-Qualität.
• 1-Bit binär: 1,125 effektive Bit pro Gewicht, rund 3,9 GB – klein genug fürs Smartphone. PrismML nennt für ein iPhone 17 Pro Max rund 11 Token pro Sekunde.

Das Kontextfenster von 262.144 Token der Basis bleibt erhalten, ebenso Werkzeugaufrufe und Bildverständnis. Für Bildeingaben kommt eine zusätzliche Datei für den Vision-Anteil dazu (knapp 1 GB). Ein technisch relevanter Unterschied zu üblichen Quantisierungen: PrismML trainiert nach eigenen Angaben nativ in 1-Bit-Präzision, statt einen fertigen Checkpoint nachträglich herunterzurechnen – es gibt also keine Vollpräzisions-Version, die im Hintergrund mitläuft.

Was das kostet – und wo Skepsis angebracht bleibt

Die entscheidende Frage bei so aggressiver Kompression ist immer: Was bleibt von der Qualität? PrismML gibt an, dass die ternäre Variante rund 95 Prozent und die 1-Bit-Variante rund 90 Prozent der Vollpräzisions-Basis erreicht – gemessen über eine Suite von 15 Benchmarks aus Mathematik, Coding, agentischer Werkzeugnutzung und Vision. Der Hersteller betont zudem, dass Mathematik und Coding kaum leiden und Werkzeugaufrufe nah an der Vollpräzision bleiben.

Hier gehört ein doppelter Vorbehalt hin. Erstens: Diese Zahlen stammen aus PrismMLs eigener Benchmark-Suite, nicht von unabhängigen Prüfern. Zweitens war genau das der Punkt, an dem sich die Diskussion entzündete – der Release schaffte es binnen eines Tages mit über 500 Punkten weit nach oben auf Hacker News, wobei sich die meistbeachteten Kommentare weniger über die Dateigröße freuten als die Benchmark-Darstellung auseinandernahmen. Wer Bonsai produktiv einsetzen will, sollte die Qualität an den eigenen Aufgaben messen, nicht an der Herstellergrafik.

Trotzdem verschiebt der Release eine Faustregel, die in der lokalen Community lange galt: dass man ungern unter 4 Bit geht, weil die Ausgaben darunter instabil werden. PrismML behauptet, ihr 1-Bit-Build schlage den aggressivsten konventionellen Low-Bit-Build derselben Basis bei rund 2,5-mal kleinerem Speicherbedarf. Sollte sich das unabhängig bestätigen, ist die alte Regel nicht mehr pauschal haltbar – die Art der Kompression zählt dann mehr als die Bitzahl allein.

Wofür das praktisch taugt

Zwei Szenarien werden dadurch realistisch, die es vorher nicht waren. Das offensichtliche ist die On-Device-Nutzung: ein Modell dieser Leistungsklasse auf Telefon oder Laptop, ohne Netz, ohne API-Kosten, ohne dass Daten das Gerät verlassen. Das weniger offensichtliche ist der Serverbetrieb: Wenn ein 27B-Modell statt 18 GB nur 4 bis 6 GB belegt, passen auf eine einzelne 24-GB-Karte plötzlich deutlich größere Stapel, längere Kontexte oder mehrere Modelle gleichzeitig. Der Speicher, den man vorher für die Gewichte gebraucht hat, steht für Durchsatz zur Verfügung.

Für wen ist es trotzdem nicht die richtige Wahl? Wer eine 24-GB-Karte hat, genügend Speicher übrig und maximale Antwortqualität braucht, fährt mit dem 4-Bit-Build der Basis weiterhin sicherer. Extremkompression ist ein Werkzeug für Speicherknappheit und Durchsatz – keine generelle Empfehlung.

Kimi K3: großes Modell, aber keine 27B-Geschichte

Im selben Zeitraum tauchte Kimi K3 von Moonshot AI auf, und weil es zeitlich zusammenfiel, wird es gelegentlich in dieselbe Erzählung gepackt. Das führt in die Irre – und ein verbreiteter Zahlendreher verstärkt das noch.

Was Kimi K3 tatsächlich ist

Moonshot hat K3 am 16. Juli 2026 vorgestellt: ein Mixture-of-Experts-Modell mit 2,8 Billionen Gesamtparametern, laut Hersteller das größte je für eine offene Veröffentlichung angekündigte Modell und rund 75 Prozent größer als das bis dahin größte offene Modell. Dazu kommen ein Kontextfenster von gut einer Million Token, natives Bildverständnis und zwei hauseigene Architekturbausteine (Kimi Delta Attention und Attention Residuals). Die Gewichte waren zum Ankündigungszeitpunkt noch nicht verfügbar; Moonshot nannte den 27. Juli 2026 als Termin und stellte eine modifizierte MIT-Lizenz in Aussicht. Beim unabhängigen Artificial-Analysis-Index landete K3 knapp hinter den westlichen Spitzenmodellen, im Frontend-Code-Arena-Ranking dagegen auf Platz eins.

Die 27-Milliarden-Angabe stimmt nicht

In mehreren Zusammenfassungen kursiert die Angabe, K3 aktiviere rund 27 Milliarden Parameter pro Token – was es zum dritten Beleg einer 27B-Konvergenz machen würde. Das lässt sich anhand der Architekturangaben nicht halten: K3 aktiviert 16 von 896 Experten pro Token, also etwa 1,8 Prozent des Pools; unabhängige Beobachter leiten daraus rund 50 Milliarden aktive Parameter ab. Zum Vergleich: Der Vorgänger K2 lag bei rund 32 Milliarden aktiven Parametern aus etwa einer Billion Gesamtgröße. Keine der beiden Zahlen liegt bei 27.

Wichtiger als die Korrektur ist aber die grundsätzliche Einordnung: Selbst wenn die aktive Last kleiner wäre, muss der Speicher bei einem MoE-Modell alle Expert:innen vorhalten. MoE spart Rechenzeit, nicht Speicher. Für die vollen 2,8 Billionen Gewichte liegt der Bedarf weit jenseits jedes Homelabs – Moonshot nennt für Self-Hosting eine Größenordnung von mehreren Dutzend Beschleunigern. Kimi K3 ist ein Server-Modell und gehört in eine andere Diskussion als Qwen 3.6-27B und Bonsai. Wer ohne eigenes Rechenzentrum lokal arbeiten will, für den ist es schlicht keine Option.

Die drei Ansätze nebeneinander

Der gemeinsame Nenner ist nicht die Zahl 27, sondern die Frage dahinter: Wie viel Modell passt unter die Speichergrenze der Hardware, die die Zielgruppe tatsächlich besitzt? Qwen beantwortet sie für die 24-GB-Karte, Bonsai für Telefon und Laptop – und Kimi K3 beantwortet eine ganz andere Frage, nämlich wie weit man offene Gewichte nach oben skalieren kann.

Was 27B im Homelab-Alltag wirklich bedeutet

Der Kontext frisst mehr Speicher, als die Modellgröße vermuten lässt

Ein häufiger Denkfehler: Man rechnet nur die Gewichte und wundert sich, warum die Karte trotzdem volläuft. Der KV-Cache – der Speicher für den bereits verarbeiteten Kontext – wächst mit der Länge von Eingabe und Ausgabe und kann bei langen Prompts mehrere Gigabyte belegen. Wer ein 27B-Modell in 4 Bit auf einer 24-GB-Karte betreibt und dann mit sehr langem Kontext arbeitet, kann trotzdem an die Wand fahren. Plane den Kontext-Speicher von Anfang an mit ein, statt die Gewichte-Größe als Gesamtbedarf zu lesen.

Benchmark-Sieg heißt nicht Alltags-Sieg

Qwen 3.6-27B schlägt auf Coding-Benchmarks ein 15-mal größeres Modell – das ist die Schlagzeile. Was sie nicht sagt: Benchmarks messen enge, wiederholbare Aufgaben. Sobald du breites Weltwissen, seltene Fakten oder sehr lange Zusammenhänge brauchst, spielt die Gesamtgröße wieder ihre Rolle, und ein 27B-Modell zeigt seine Grenzen. Für agentische Werkzeug-Ketten und Code ist ein starkes 27B heute erstaunlich weit gekommen. Als Allwissens-Orakel ist es das nicht.

Die Werkzeugkette entscheidet mehr, als viele glauben

Ein und dasselbe Modell fühlt sich je nach Quantisierung, Prompt-Vorlage, Sampler-Einstellungen und Inferenz-Backend völlig unterschiedlich an. Foren-Klagen, ein 27B-Modell schneide schlechter ab als erwartet, lösen sich oft in Konfigurationsdetails auf – falsches Chat-Template, ungünstige Sampler-Werte, unpassender Build. Wer ernsthaft vergleicht, hält all das konstant: gleiche Aufgaben, gleiche Prompts, gleiche Maschine.

Lizenzen: „Open Weight“ ist nicht gleich „frei“

Ein Punkt, der in Modell-Artikeln zu oft fehlt: „Open Source“ ist bei KI-Modellen kein einheitlicher Begriff. Was frei herunterladbar ist, ist nicht automatisch frei kommerziell nutzbar oder in jeder Region einsetzbar. Hier ist die Lage angenehm klar: Sowohl Qwen 3.6-27B als auch Bonsai 27B stehen unter Apache 2.0 – einer der freizügigsten Lizenzen, kommerzielle Nutzung ausdrücklich eingeschlossen. Das ist ein handfester Vorteil und einer der Gründe, warum beide in der Community so präsent sind.

Bei Kimi K3 war die genaue Lizenz zum Zeitpunkt dieser Recherche noch nicht abschließend geklärt; angekündigt war eine modifizierte MIT-Variante. Praktischer Rat, keine Rechtsberatung: Wer ein Modell geschäftlich einsetzen will, liest die Lizenzdatei im Original – nicht die Blog-Zusammenfassung. Der Satz „ist doch open“ hat schon manches Projekt in Haftungsfragen geführt.

Häufige Missverständnisse rund um die 27B-Klasse

Ein Wort zu den Preisen: Warum jede Euro-Zahl gerade wackelt

Wer aus dieser Entwicklung die praktische Konsequenz zieht – „ich kaufe mir eine 24-GB-Karte“ – trifft im Juli 2026 auf einen außergewöhnlich verzerrten Markt. Die anhaltende Speicherknappheit treibt die Preise für Grafikkarten und Arbeitsspeicher in einem Maß, das jede pauschale Budget-Empfehlung schnell veralten lässt. Eine konkrete Euro-Zahl für eine 24-GB-Karte zu nennen, wäre in zwei Wochen womöglich falsch.

Deshalb die Logik statt der Zahl: Preise für GPUs fallen typischerweise mit dem Generationswechsel und in Nachfrage-Tälern; ein echter Rabatt lässt sich am 30-Tage-Tiefstpreis erkennen, den Händler nach § 11 PAngV ausweisen müssen, nicht an einer durchgestrichenen UVP. Und eine Überlegung, die dieser Sommer neu ins Spiel bringt: Wenn eine Modellklasse, die gestern 18 GB brauchte, heute in 4 bis 6 GB läuft, ist der Kauf einer sehr teuren Karte womöglich nicht mehr so alternativlos, wie er im Frühjahr noch aussah.

Praktische Handlungsempfehlungen Juli 2026

• Zuerst den Anwendungsfall festlegen. Coding, Agenten und Werkzeug-Ketten sind die Paradedisziplin eines dichten 27B. Wer breites Faktenwissen oder sehr lange Recherche-Kontexte braucht, sollte prüfen, ob ein lokales Modell überhaupt die richtige Wahl ist oder eine gehostete API besser passt.
• Die Karte nach VRAM aussuchen, nicht nach Marketing-Namen. Für 27B in 4 Bit mit brauchbarem Kontext sind 24 GB der komfortable Zielwert. Die reine Rechenleistung ist zweitrangig, sobald das Modell nicht in den Speicher passt.
• Vor dem Hardwarekauf die Kompressionsvarianten testen. Bevor du eine 24-GB-Karte kaufst, probier den ternären oder 1-Bit-Build auf vorhandener Hardware an deinen echten Aufgaben. Reicht die Qualität, sparst du die Investition.
• Quantisierung so hoch wählen, wie der Speicher hergibt. Wenn 4 Bit passt, ist 4 Bit für maximale Qualität weiterhin die sichere Wahl. Extremkompression ist ein Werkzeug für Speicherknappheit und Durchsatz.
• Den Kontext-Speicher von Anfang an einplanen. Rechne mehrere Gigabyte KV-Cache zur Gewichte-Größe dazu, bevor du dich auf eine Karte festlegst.
• Die Lizenz vor dem produktiven Einsatz lesen. Apache 2.0 bei Qwen 3.6-27B und Bonsai 27B ist unkompliziert; bei anderen Modellen gehört die Original-Lizenzdatei geprüft.
• Herstellerbenchmarks gegen eigene Aufgaben prüfen. Die 90- und 95-Prozent-Angaben zu Bonsai stammen aus der Suite des Anbieters. Deine Aufgaben sind der einzige Maßstab, der zählt.

Fazit: Die Wand bewegt sich

Dass 27 Milliarden Parameter zur Referenzgröße für lokale Modelle geworden sind, ist die vielleicht schönste Illustration dafür, dass Software-Design von Hardware getrieben wird und nicht andersherum. 27B ist das Größte, was sich in 4 Bit komfortabel auf einer 24-GB-Consumer-Karte betreiben lässt – und genau deshalb hat sich die Klasse etabliert.

Was diesen Sommer dazugekommen ist, ist nicht ein dritter Hersteller mit derselben Zahl, sondern eine Verschiebung der Grenze selbst: Dieselbe Modellklasse läuft per Extremkompression inzwischen in unter vier Gigabyte. Ob die dabei versprochene Qualität hält, muss sich unabhängig noch bestätigen – die bisherigen Zahlen kommen vom Anbieter, und die Fachöffentlichkeit hat sich zuerst über die Benchmark-Darstellung gestritten. Wenn es hält, ist die interessantere Frage nicht mehr, welches Modell auf eine 24-GB-Karte passt, sondern was man mit dem Speicher anfängt, den man plötzlich übrig hat.

Für die eigene Planung heißt das: Kauf nicht auf ein Modell hin, sondern auf ein Speicherbudget – und prüfe vorher, ob du das Budget nach diesem Sommer überhaupt noch brauchst. Das Modell wechselt im Quartalstakt; die Frage, wie viel Speicher deine Aufgaben wirklich verlangen, bleibt länger relevant. Und wenn die Kompression weiter so springt, heißt der nächste Artikel womöglich nicht „Warum 70B das neue 27B ist“, sondern „Warum die Grafikkarte nicht mehr der Flaschenhals war“.

Quellen und weiterführende Informationen

• Announcing Bonsai 27B: The First 27B-Class Model to Run on a Phone (prismml.com) – Herstellerankündigung mit Varianten, effektiven Bit-Raten, Speichergrößen und Benchmark-Angaben.
• Bonsai 27B – Modelldokumentation (docs.prismml.com) – technische Beschreibung der End-to-End-Quantisierung und des separat behandelten Vision-Anteils.
• prism-ml/Bonsai-27B-gguf und Bonsai-27B-mlx-1bit (huggingface.co) – veröffentlichte Gewichte, Dateigrößen und Einsatzszenarien.
• Moonshot AI releases Kimi K3, the largest open-source model ever (venturebeat.com) – Gesamtgröße, Architekturbausteine und Termin der Gewichte-Veröffentlichung.
• Moonshot releases 2.8-trillion-parameter Kimi K3 (tomshardware.com) – Expertenzahl pro Token, Benchmark-Einordnung und API-Preise.
• Alibabas neues Qwen3.6-27B schlägt sein 15-mal größeres Vorgängermodell (the-decoder.de) – Release, Lizenz und Einordnung der Coding-Benchmarks.
• Qwen3.6-27B: Flagship-Level Coding in a 27B Dense Model (qwen.ai) – offizielle Modellankündigung von Alibaba.

Haftungsausschluss

Allgemeine Information, keine eigenen Messungen. Dieser Artikel auf aimageddon.de dient der allgemeinen Information zu offenen Sprachmodellen und ersetzt keine individuelle technische Beratung. Wir führen keine eigenen Benchmarks durch, sondern werten Herstellerangaben, Fachberichterstattung und öffentlich dokumentierte Community-Erfahrungen aus. Angaben entsprechen dem Recherchestand Juli 2026; das Feld entwickelt sich in einem Tempo, das eine dauerhafte Aktualität ausschließt – maßgeblich sind die Originalveröffentlichungen der Hersteller.

Zu den zitierten Leistungsangaben. Die Qualitätswerte zu Bonsai 27B (rund 90 bzw. 95 Prozent der Vollpräzisions-Basis) stammen aus der Benchmark-Suite des Herstellers PrismML und sind zum Redaktionsschluss nicht unabhängig bestätigt. Auch die Vergleichsaussagen zu Qwen 3.6-27B und Kimi K3 beruhen überwiegend auf Anbieterangaben und einzelnen Drittvergleichen. Benchmark-Ergebnisse hängen stark von Quantisierungsstufe, Prompt-Format, Sampler-Einstellungen und Inferenz-Backend ab und lassen sich nicht ungeprüft auf die eigene Umgebung übertragen; führe vor produktivem Einsatz eigene Evaluierungen für deine konkreten Aufgaben durch.

Lizenzen und Speicherbedarf. Die Verfügbarkeit offener Gewichte ist keine Nutzungserlaubnis: Maßgeblich ist die Lizenzdatei des jeweiligen Modells in ihrer zum Einsatzzeitpunkt gültigen Fassung, insbesondere für gewerbliche Nutzung. Bei Mixture-of-Experts-Modellen ist zu beachten, dass trotz geringer aktiver Parameterzahl sämtliche Gewichte im Speicher vorgehalten werden müssen; der tatsächliche Bedarf hängt zusätzlich von Quantisierung, Kontextlänge und Batch-Größe ab. Prüfe die eigene Hardware-Konstellation vorab, um Speicherfehler und Leistungseinbrüche zu vermeiden.

Ergebnisse und Hardwarekauf. Sprachmodelle können unabhängig von Größe und Architektur sachlich falsche Ausgaben erzeugen; treffe keine sicherheitskritischen, medizinischen, rechtlichen oder finanziellen Entscheidungen allein auf Basis KI-generierter Ausgaben. Preise für Grafikkarten und Arbeitsspeicher unterliegen derzeit starken Schwankungen – nach § 11 PAngV müssen Händler bei beworbenen Preissenkungen den niedrigsten Preis der letzten 30 Tage ausweisen; ein durchgestrichener Preis allein sagt nichts über die tatsächliche Ersparnis. Alle Markennamen sind eingetragene Warenzeichen der jeweiligen Inhaber.

👉 RTX 3190 auf Amazon ansehen

👉 RTX 3091 auf Amazon ansehen

👉 RTX 3190 auf Amazon ansehen

👉 RTX 3091 auf Amazon ansehen

* Produktlinks sind Affiliate-Links. Bei einem Kauf über diese Links erhalten wir eine kleine Provision – für dich entstehen keine Mehrkosten.