DeepGrove Maple-Preview: Was das ternäre 20B-Modell für lokale Inferenz taugt

DeepGrove Maple-Preview: Was das ternäre 20B-Modell für lokale Inferenz taugt

Am oberen Ende der Homelab-Diskussion steht seit Wochen dieselbe Frage: Wie bekommt man Reasoning-Qualität auf eine Maschine unter dem Schreibtisch, ohne eine zweite Grafikkarte zu kaufen?

DeepGrove hat dazu im Sommer 2026 ein Modell veröffentlicht, das architektonisch einen anderen Weg geht als die üblichen Dense-Modelle: Maple-Preview, laut Modellkarte ein quelloffenes Reasoning-LLM mit 20B-A1B — 20 Milliarden Parameter insgesamt, rund eine Milliarde davon pro Token aktiv — und mit ternären Gewichten statt der sonst üblichen 16-Bit-Fließkommazahlen.

Der Effekt ist bemerkenswert: Der Checkpoint liegt bei rund 5,3 Gigabyte — für ein Modell mit 20 Milliarden Parametern. Dazu 24 Layer mit 256 Experten, von denen acht pro Token aktiv sind, ein Kontextfenster von 131.072 Token und die MIT-Lizenz, die noch permissiver ist als Apache 2.0.

Der Stand der Überprüfung sieht anders aus als der Stand der Ankündigung

Sämtliche bislang zirkulierenden Leistungszahlen stammen von DeepGrove selbst — unabhängige Messungen Dritter lagen zum Zeitpunkt dieser Recherche nicht vor.

Die Modellkarte schränkt außerdem selbst ein, dass die Preview „minimales Post-Training für agentische Aufgaben“ und nur „kleinskaliges allgemeines Reinforcement Learning“ erhalten hat.

Übersetzt: Tool-Use und lange Agenten-Ketten sind die schwache Stelle — und das nach Aussage der Entwickler selbst.

Wir testen auf diesem Blog keine Modelle selbst. Alles, was hier als Leistungsangabe steht, ist als Anbieterangabe oder als Verweis auf eine Fremdquelle gekennzeichnet.

20B-A1B und ternäre Gewichte: was hinter den Zahlen steckt

Mixture-of-Experts: viele Parameter, wenig Rechenarbeit

Ein Mixture-of-Experts-Modell teilt seine Schichten in spezialisierte Teilnetze auf. Pro Token entscheidet ein Router, welche dieser Expertenblöcke gerechnet werden — der Rest bleibt unbenutzt.

Bei einem 20B-A1B-Aufbau heißt das: Die Rechenlast pro Token entspricht ungefähr der eines Ein-Milliarden-Modells, das gespeicherte Wissen dem eines 20-Milliarden-Modells.

Genau diese Asymmetrie macht MoE für lokale Inferenz interessant — denn auf Consumer-Hardware ist selten die Rechenleistung der Engpass, sondern Speicherbandbreite und Kapazität.

Ternär: drei mögliche Werte pro Gewicht

Ternäre Gewichte kennen nur die Zustände −1, 0 und +1. Informationstheoretisch sind das rund 1,58 Bit pro Gewicht statt 16 Bit bei FP16 — ein Faktor von etwa zehn gegenüber unquantisierten Gewichten.

Und das ohne den nachträglichen Qualitätsverlust einer Post-Training-Quantisierung, weil das Modell von vornherein so trainiert wird. Genau darin liegt der konzeptionelle Unterschied zu einem heruntergerechneten Standardmodell.

Der zweite Effekt ist rechnerischer Natur: Multiplikationen mit −1, 0 und +1 lassen sich auf Additionen und Vorzeichenwechsel zurückführen. Das bringt auf CPUs mit passenden Kerneln deutlich mehr als auf GPUs, die für Fließkomma-Matrixmultiplikation gebaut sind.

Ein Detail zur Vorsicht: In Sekundärquellen taucht das Modell gelegentlich als „1-Bit-Modell“ auf. Ternär ist etwas anderes als binär, und die tatsächliche Dateigröße hängt am Packformat — DeepGrove bietet zwei verschiedene ternäre Packschemata an, die sich in Tempo und Speicherbedarf leicht unterscheiden.

Preview heißt Preview

Die Modellkarte ist an diesem Punkt ungewöhnlich offen: Dies ist ausdrücklich kein fertiges Allzweckmodell. Der Fokus liegt auf reinem Reasoning; bei agentischen Benchmarks räumt der Anbieter selbst schwächere Ergebnisse ein.

Für deine Einsatzplanung ist das die wichtigste Zeile der ganzen Modellkarte: Wer ein Modell für Werkzeugaufrufe, Automatisierungsketten oder einen Coding-Agenten sucht, ist hier vorerst falsch. Wer Mathematik-, Logik- und Analyseaufgaben lokal rechnen will, ist die Zielgruppe.

Die Einrichtungshürde, die nicht auf der ersten Seite steht

Der praktisch wichtigste Punkt für ein Homelab: Maple-Preview läuft nicht ohne Weiteres mit einer Standard-Installation.

Die GGUF-Varianten setzen einen angepassten llama.cpp-Fork von DeepGrove voraus — die ternären Packformate versteht die Standardversion nicht. Wer also erwartet, das Modell wie gewohnt über die übliche Modell-Registry zu ziehen und loszulegen, wird enttäuscht.

Für Apple Silicon existiert ein eigener Weg über ein MLX-Format mit angepasstem Werkzeug. Auch das ist eine Extra-Installation, keine Standardroute.

Plane also Einrichtungszeit ein — und prüfe vor dem Download, ob der Fork mit deiner Umgebung zusammenpasst. Bei einem Preview-Modell ist die Werkzeugkette erfahrungsgemäß der Teil, der sich am schnellsten ändert.

Die Leistungsangaben richtig lesen

Was DeepGrove nennt

Der Anbieter berichtet von über 200 Token pro Sekunde auf einem Mac mini der M4-Generation und von einem noch höheren Wert auf einem MacBook mit M5 Pro im reinen CPU-Betrieb. Dazu die Aussage, das Modell sei fünf- bis sechzehnmal schneller als vergleichbar effiziente Modelle anderer Anbieter.

Drei Gründe, warum diese Zahlen nicht das sind, wonach sie aussehen

Erstens: Sie stammen vollständig vom Anbieter. Unabhängige Messungen lagen zum Recherchezeitpunkt nicht vor — und bei einem Modell, das gerade erst erschienen ist, ist das der Normalfall, kein Vorwurf. Es ändert nur nichts daran, dass eine Herstellerangabe keine Abnahme ist.

Zweitens laufen die Zahlen nicht alle auf derselben Werkzeugkette. Die mitgelieferte Transformers-Implementierung ist auf eine CUDA-Umgebung ausgelegt; das Apple-Silicon-Ergebnis nutzt eine separate On-Device-Runtime. Zwei Zahlen aus zwei verschiedenen Laufzeitumgebungen sind keine Vergleichsreihe.

Drittens ist der Vergleichsmaßstab die eigentliche Unbekannte. Ein Faktor „5 bis 16″ hängt vollständig davon ab, welche Gegenmodelle in welcher Quantisierungsstufe auf welcher Hardware gemessen wurden.

Was du stattdessen misst

Bei einem MoE-Modell mit ternären Gewichten ist die aussagekräftigste Größe nicht die Spitzenrate, sondern das Verhalten unter deinen Bedingungen:

• Tokens pro Sekunde bei realistischer Prompt-Länge — nicht mit einem Zweizeiler, sondern mit dem Kontext, den du tatsächlich fütterst.
• Zeit bis zum ersten Token bei langem Kontext. Bei 131.072 Token Fenster ist die Prompt-Verarbeitung der Posten, der im Alltag wehtut.
• Speicherbelegung bei vollem Kontext, nicht im Leerlauf. Der KV-Cache wächst linear mit der Kontextlänge — und er profitiert nicht von der ternären Gewichtskompression.
• Qualität auf deinen eigenen Aufgaben. Ein Dutzend Fälle, deren richtige Antwort du kennst, sagt mehr als jeder Benchmark-Durchschnitt.

Der letzte Punkt wiegt bei einem Reasoning-Modell besonders schwer: Benchmark-Ergebnisse auf Mathematik-Wettbewerbsaufgaben übertragen sich nicht automatisch auf die Art von Analyseaufgaben, die im Alltag anfallen.

Was das für dein Speicherbudget bedeutet

Ein Checkpoint von gut fünf Gigabyte klingt nach einer Karte der Einstiegsklasse — und in Bezug auf die Gewichte stimmt das auch. Die Rechnung geht trotzdem nicht bei fünf Gigabyte auf.

Dazu kommen der KV-Cache, der mit der Kontextlänge wächst, Aktivierungsspeicher und der Overhead der Laufzeitumgebung. Bei einem 131k-Kontextfenster ist der Cache der dominierende Posten, nicht das Modell.

Für Apple Silicon spielt der gemeinsame Speicher hier seine Stärke aus, weil sich CPU und GPU denselben Pool teilen. Und weil ternäre Arithmetik CPU-freundlich ist, ist der reine CPU-Betrieb bei diesem Modelltyp keine Notlösung, sondern ein regulärer Weg — anders als bei den meisten Fließkomma-Modellen vergleichbarer Größe.

Wie sich die Hardware-Klassen insgesamt unterscheiden, zeigt unser Vergleich Mini-PC gegen Desktop-GPU; was ein kompletter Aufbau kostet, rechnet der Vergleich bauen oder kaufen durch.

Häufige Fehler vermeiden

Praktische Handlungsempfehlungen August 2026

• Zuerst den Einsatzzweck klären: Reasoning ja, Agenten-Workflows vorerst nein. Das entscheidet die Frage schneller als jede Messung.
• Vor dem Download prüfen, ob der angepasste Fork zu deiner Umgebung passt — die Standardwerkzeuge reichen nicht.
• Eigene Testfälle vorbereiten: ein Dutzend Aufgaben aus deinem Alltag, deren richtige Antwort du kennst.
• Speicher bei vollem Kontext messen, nicht im Leerlauf.
• Zeit bis zum ersten Token erfassen, nicht nur die Ausgaberate.
• Auf unabhängige Messungen warten, wenn du Hardware danach ausrichten willst.
• Die MIT-Lizenz prüfen, wenn du kommerziell einsetzt — sie ist permissiv, aber der Lizenztext im Repository ist maßgeblich, nicht die Zusammenfassung.
• Beim GPU-Kauf den 30-Tage-Tiefstpreis nach § 11 PAngV gegenprüfen — die Speicherknappheit verzerrt die Preise weiterhin.

Fazit

Der interessante Teil ist nicht die Geschwindigkeit, sondern das Prinzip: Ternäre Gewichte sind seit Jahren Forschungsthema, weil sie enorme Effizienzgewinne versprechen — wenn sich die Modellqualität halten lässt. Zwanzig Milliarden Parameter in gut fünf Gigabyte zeigen, dass an dem Ansatz etwas dran ist.

Ob der Trade-off aufgeht, ist damit aber nicht beantwortet. Sämtliche Zahlen stammen bislang vom Anbieter, und zwei davon laufen nicht einmal auf derselben Werkzeugkette. Das ist bei einem frisch veröffentlichten Modell normal — es macht die Angaben nur nicht zu geprüften Werten.

Und die Einordnung, die vor jeder Installation kommt, liefert die Modellkarte selbst: Das ist ein Reasoning-Modell mit minimalem Post-Training für agentische Aufgaben. Wer einen Coding-Agenten sucht, ist hier vorerst falsch — wer Logik- und Analyseaufgaben lokal rechnen will, hat einen guten Kandidaten vor sich.

Quellen und weiterführende Informationen

• DeepGrove auf Hugging Face (huggingface.co) — Modellkarte, Gewichte, GGUF-Varianten und Lizenztext; maßgeblich für Architektur, Kontextlänge und die Einschränkungen zum Post-Training.
• DeepGrove auf GitHub (github.com) — angepasster llama.cpp-Fork und Anleitung für den Betrieb auf Apple Silicon.
• llama.cpp und MLX — Dokumentation zu Quantisierungsformaten und lokaler Ausführung.
• heise online / c’t (heise.de) — Fachberichterstattung und unabhängige Messungen zu lokal betriebenen Modellen.
• Preisvergleichsportale — aktuelle Preise für Hardware, deren Beschaffung du davon abhängig machst.
• EUR-Lex (eur-lex.europa.eu) — KI-Verordnung (EU) 2024/1689; der MIT-Lizenztext ist über die Open Source Initiative einsehbar.

Haftungsausschluss

Allgemeiner Hinweis: Dieser Artikel auf aimageddon.de dient der allgemeinen Information und ersetzt weder eine technische noch eine rechtliche Beratung. Auf diesem Blog werden keine Modelle selbst gemessen. Sämtliche Leistungsangaben zu Maple-Preview stammen zum Redaktionsschluss vom Anbieter; unabhängige Messungen Dritter lagen nicht vor. Angaben zu Architektur, Kontextlänge, Dateigrößen und Lizenz beruhen auf der Modellkarte und können sich mit jeder Aktualisierung ändern — bei einem ausdrücklich als Preview gekennzeichneten Modell ist damit zu rechnen. Prüf vor dem produktiven Einsatz die aktuelle Modellkarte.

Zu Werkzeugketten und Einsatzgrenzen: Der Betrieb setzt angepasste Laufzeitumgebungen voraus; Standardinstallationen gängiger Werkzeuge unterstützen die verwendeten Packformate nicht ohne Weiteres. Solche Forks werden unabhängig gepflegt und können nach Aktualisierungen der Ursprungsprojekte vorübergehend nicht funktionieren. Die Modellkarte weist selbst darauf hin, dass die Preview nur minimales Post-Training für agentische Aufgaben erhalten hat — für Werkzeugaufrufe und lange Automatisierungsketten ist das Modell nach Angaben der Entwickler nicht optimiert. Ausgaben generativer Modelle können sachlich falsch sein und gehören vor der Übernahme geprüft; das gilt für Reasoning-Modelle uneingeschränkt, weil eine ausführliche Herleitung eine falsche Antwort überzeugend wirken lässt.

Lizenz, Datenschutz und Verbraucherrechte: Die MIT-Lizenz erlaubt Nutzung, Modifikation und Weiterverbreitung einschließlich kommerzieller Verwendung unter Beibehaltung von Lizenztext und Copyright-Vermerk; maßgeblich ist der Lizenztext im Repository, nicht dessen Zusammenfassung. Sie trifft keine Aussage über Herkunft und Rechtmäßigkeit der Trainingsdaten und stellt nicht von regulatorischen Pflichten frei. Verarbeitest du personenbezogene Daten, gelten die Vorgaben der DSGVO; für den Zugriff auf Endgeräteinformationen § 25 TDDDG. Die KI-Verordnung (EU) 2024/1689 begründet abgestufte Pflichten je nach Einsatzzweck. Kaufst du Hardware im Fernabsatz, steht dir nach § 312g BGB ein vierzehntägiges Widerrufsrecht zu; seit dem 19. Juni 2026 müssen Unternehmen dafür nach § 356a BGB eine elektronische Widerrufsfunktion bereitstellen. Für Mängel gelten §§ 437 und 438 BGB mit zweijähriger Verjährungsfrist, § 477 BGB kehrt in den ersten zwölf Monaten die Beweislast zugunsten der Käuferseite um. Für Preisangaben gilt § 11 PAngV mit dem 30-Tage-Tiefstpreis; §§ 5, 5a und 5b UWG untersagen irreführende Angaben. Einzelne Links in diesem Beitrag können Affiliate-Links der Programme von Amazon und Awin sein; bei einem Kauf kann eine Provision anfallen, ohne dass sich der Preis für dich ändert. Die redaktionelle Einordnung bleibt davon unberührt. Alle genannten Markennamen sind eingetragene Warenzeichen der jeweiligen Inhaber.

👉 Mini-PC auf Amazon ansehen

👉 Desktop-GPU auf Amazon ansehen

* Produktlinks sind Affiliate-Links. Bei einem Kauf über diese Links erhalten wir eine kleine Provision – für dich entstehen keine Mehrkosten.