LLM-Quantisierung 2026: Welches Format zu deiner Hardware passt
Die Frage wird meist falsch gestellt. Sie lautet nicht „welches Format ist das beste“, sondern „welches Format passt zu der Hardware, die bei mir steht“.
Denn die drei verbreiteten Formate sind nicht drei Qualitätsstufen desselben Prinzips — sie sind für unterschiedliche Betriebssituationen gebaut. Wer das verwechselt, kauft entweder Hardware für ein Format oder quält ein Format auf der falschen Hardware.
Auf diesem Blog wird nicht selbst gemessen; die Zahlen unten sind Rechenwerte aus der Parameterarithmetik oder als Herstellerangabe gekennzeichnet.
Die VRAM-Rechnung, die du im Kopf haben solltest
Der Grundwert: Byte pro Parameter
FP16 belegt zwei Byte pro Parameter, 8 Bit ein Byte, 4 Bit ein halbes. Daraus folgt direkt:
| Modellgröße | FP16 | 8 Bit | 4 Bit (rechnerisch) |
|---|---|---|---|
| 7 Milliarden Parameter | ca. 14 GB | ca. 7 GB | ca. 3,5 GB |
| 14 Milliarden Parameter | ca. 28 GB | ca. 14 GB | ca. 7 GB |
| 32 Milliarden Parameter | ca. 64 GB | ca. 32 GB | ca. 16 GB |
Warum die Praxiswerte darüber liegen
Die K-Quants von GGUF sind keine exakten 4-Bit-Formate. Einzelne Tensoren — Attention-Layer, Embeddings — bleiben bewusst höher quantisiert, weil sie überproportional zum Ergebnis beitragen.
Der Durchschnitt liegt deshalb messbar über dem Nennwert. Die genauen Bit-pro-Gewicht-Werte der einzelnen Stufen stehen in der Projektdokumentation und ändern sich mit den Versionen — verlass dich auf die tatsächliche Dateigröße, nicht auf den Namen der Quantisierungsstufe.
Der Posten, der regelmäßig vergessen wird
Der KV-Cache wächst linear mit der Kontextlänge und wird von der Gewichtsquantisierung nicht erfasst. Bei langen Kontexten liegt er schnell im Bereich mehrerer Gigabyte.
Wer sein Modell VRAM-genau plant und den Kontext vergisst, bekommt beim ersten langen Dokument einen Out-of-Memory-Abbruch — nicht beim Start, sondern genau dann, wenn es darauf ankommt.
Kalkuliere pauschal zwei bis vier Gigabyte Reserve und prüf den konkreten Bedarf für dein Modell separat; er hängt an Layer-Zahl, Attention-Architektur und daran, ob der Cache selbst quantisiert wird.
Qualitätsverlust messen statt schätzen
„Kaum Unterschied“ ist keine Aussage. Zwei Kennzahlen sind gebräuchlich:
Perplexity misst, wie überrascht das Modell von einem Referenztext ist — niedriger ist besser. Der Vergleich lohnt nur gegen dasselbe Modell in höherer Präzision auf demselben Text.
KL-Divergenz vergleicht direkt die Wahrscheinlichkeitsverteilungen von quantisiertem und unquantisiertem Modell. Sie gilt als das aussagekräftigere Maß, weil sie auch dann anschlägt, wenn die Perplexity zufällig ähnlich bleibt — ein Modell kann im Mittel gleich überrascht sein und trotzdem an entscheidenden Stellen anders entscheiden.
Die gängigen Werkzeuge bringen beide Messungen mit.
Die Faustregeln aus der Praxis
- Bis hinunter zu 4 Bit bleibt der Qualitätsverlust bei größeren Modellen moderat, darunter wird es steil.
- Ein größeres Modell in niedriger Quantisierung schlägt in vielen Fällen ein kleineres in hoher — bis zu dem Punkt, an dem 2- oder 3-Bit-Stufen anfangen, Fakten zu verdrehen.
- Kleine Modelle vertragen Quantisierung schlechter als große. Bei wenigen Milliarden Parametern ist weniger Redundanz vorhanden, die den Verlust abfangen könnte.
Der Punkt, der vom Einsatzzweck abhängt
Quantisierung trifft nicht jeden Modelltyp gleich.
Bei einem Chat-Modell fällt eine leicht schwächere Formulierung auf und stört selten. Bei einem Klassifikator oder einem Modell, das eine Entscheidung ausgibt, schlägt derselbe Verlust direkt auf die Entscheidungsgrenze durch — aus einem knapp erkannten Fall wird ein knapp durchgewinkter.
Wenn dein Modell eine Ja/Nein-Antwort produziert, ist 8 Bit die vernünftige Untergrenze, solange der Speicher es hergibt.
Die drei Formate und ihre Betriebssituation
| Format | Gebaut für | Stärke | Wo es nicht passt |
|---|---|---|---|
| GGUF | Gemischten Betrieb: CPU, GPU oder beides | Partial Offloading — einzelne Layer laufen auf der GPU, der Rest auf der CPU. Läuft auf CUDA, Metal, ROCm, Vulkan und reiner CPU | Bei Modellen, die vollständig in den Videospeicher passen, ist es nicht das schnellste Format |
| AWQ | CUDA-GPU, Modell passt vollständig hinein | Schützt gezielt die Gewichte, die laut Aktivierungsmustern am meisten beitragen — bei gleicher Bitrate oft die bessere Qualität | Kein Auslagern auf die CPU; ohne passende GPU nicht nutzbar |
| GPTQ | Dieselbe Situation wie AWQ, älterer Ansatz | Breite Werkzeugunterstützung, viele fertige Modelle verfügbar | Verliert gegenüber AWQ bei gleicher Bitrate häufig an Qualität |
Die Entscheidung in drei Fragen
- Passt das Modell vollständig in deinen Videospeicher? Wenn nein — GGUF, wegen des Partial Offloading. Es gibt dazu keine praktikable Alternative.
- Hast du überhaupt eine CUDA-GPU? Bei Apple Silicon, AMD-Karten ohne ROCm-Setup oder reinem CPU-Betrieb fällt die Frage weg — dann ist es GGUF.
- Beides ja? Dann sind AWQ und GPTQ dort schneller, weil sie für genau diesen Fall gebaut wurden. Zwischen beiden ist AWQ der neuere und bei gleicher Bitrate meist bessere Ansatz.
Der praktische Befund daraus: Für die meisten Homelab-Setups ist GGUF die richtige Wahl — nicht weil es technisch überlegen wäre, sondern weil dort selten genug Videospeicher für den Volleinsatz zur Verfügung steht.
Welche Hardware-Klasse was leistet, ordnet unser Vergleich Mini-PC gegen Desktop-GPU ein; was ein kompletter Aufbau kostet, rechnet der Vergleich bauen oder kaufen durch.
Häufige Fehler vermeiden
| Fehler | Warum er dich trifft |
|---|---|
| Die Formate als Qualitätsstufen verstehen | Sie sind für unterschiedliche Betriebssituationen gebaut, nicht für unterschiedliche Ansprüche |
| Nur die Gewichte einplanen | Der KV-Cache wächst mit dem Kontext und wird von der Gewichtsquantisierung nicht erfasst |
| Den Nennwert der Quantisierungsstufe für die Dateigröße halten | K-Quants halten einzelne Tensoren höher — der Durchschnitt liegt über dem Namen |
| AWQ oder GPTQ wählen, obwohl das Modell nicht reinpasst | Beide können nicht auf die CPU auslagern |
| „Kaum Unterschied“ als Qualitätsaussage akzeptieren | Perplexity und KL-Divergenz sind messbar und in den Werkzeugen enthalten |
| Perplexity allein vergleichen | Sie kann zufällig ähnlich bleiben, während sich Entscheidungen verschieben |
| Kleine Modelle stark quantisieren | Weniger Redundanz bedeutet weniger Puffer für den Verlust |
| Klassifikatoren auf 4 Bit herunterrechnen | Der Verlust schlägt direkt auf die Entscheidungsgrenze durch |
| Ohne eigene Testfälle wechseln | Nach jeder Änderung der Stufe gehören dieselben Aufgaben erneut durchlaufen |
| Speicher knapp dimensionieren | Der Abbruch kommt nicht beim Start, sondern beim ersten langen Dokument |
Praktische Handlungsempfehlungen August 2026
- Erst die Hardware-Frage klären: Passt das Modell in den Videospeicher, und gibt es überhaupt eine CUDA-GPU? Daraus folgt das Format.
- Mit der Dateigröße rechnen, nicht mit dem Stufennamen.
- Zwei bis vier Gigabyte Reserve für den KV-Cache einplanen und den Speicher bei vollem Kontext messen, nicht im Leerlauf.
- Bei 8 Bit anfangen, wenn der Speicher reicht — und erst heruntergehen, wenn die eigenen Testfälle stabil bleiben.
- Ein Dutzend eigener Aufgaben vorbereiten, deren richtige Antwort du kennst, und nach jedem Stufenwechsel erneut durchlaufen.
- Bei Modellen mit Entscheidungsausgabe nicht unter 8 Bit gehen.
- Im Zweifel das größere Modell in niedrigerer Stufe wählen — aber nicht unter 4 Bit.
- Beim GPU-Kauf den 30-Tage-Tiefstpreis nach § 11 PAngV gegenprüfen, solange die Speicherknappheit die Preise verzerrt.
Fazit
Die Formatwahl ist eine Hardware-Entscheidung, keine Qualitätsfrage. Passt das Modell nicht vollständig in den Videospeicher oder fehlt die CUDA-GPU, bleibt GGUF — wegen des Partial Offloading gibt es dazu keine praktikable Alternative. Passt es hinein, sind AWQ und GPTQ dort schneller, und AWQ ist der neuere Ansatz.
Bei der Speicherplanung ist der KV-Cache der Posten, der die Rechnung kippt: Er wächst mit dem Kontext und profitiert nicht von der Gewichtsquantisierung. Wer knapp plant, merkt das beim ersten langen Dokument.
Und beim Qualitätsverlust lohnt Messen statt Schätzen. Die KL-Divergenz ist dabei das ehrlichere Maß — sie schlägt auch dann an, wenn die Perplexity zufällig gleich bleibt und sich trotzdem Entscheidungen verschieben.
Quellen und weiterführende Informationen
- llama.cpp (github.com) — Dokumentation zu GGUF, den Quantisierungsstufen und den Werkzeugen für Perplexity- und KL-Divergenz-Messungen.
- Hugging Face (huggingface.co) — Modellkarten mit Angaben zu Formaten, Bitraten und Dateigrößen sowie Dokumentation zu AWQ und GPTQ.
- vLLM (docs.vllm.ai) — Unterstützte Quantisierungsformate und Speicherreservierung beim GPU-Betrieb.
- Veröffentlichungen zu AWQ und GPTQ — die zugrundeliegenden Verfahren und ihre Evaluierung.
- heise online / c’t (heise.de) — Fachberichterstattung und unabhängige Messungen zu lokaler Inferenz.
- Preisvergleichsportale — aktuelle Preise und Preisverläufe für Grafikkarten.
Haftungsausschluss
Allgemeiner Hinweis: Dieser Artikel auf aimageddon.de dient der allgemeinen Information und ersetzt keine technische Beratung. Auf diesem Blog werden keine Modelle selbst gemessen — die genannten Speicherwerte sind Rechenwerte aus der Parameterarithmetik, alle übrigen Angaben stammen aus Projektdokumentation und Fachpresse. Quantisierungsstufen, ihre tatsächlichen Bit-pro-Gewicht-Werte und die unterstützten Formate ändern sich mit den Versionen der jeweiligen Projekte; maßgeblich ist die Dokumentation in der von dir eingesetzten Version, nicht die Bezeichnung einer Stufe. Prüf den realen Speicherbedarf immer am konkreten Modell und bei der Kontextlänge, die du tatsächlich nutzt.
Zu Qualität und Einsatz: Quantisierung ist ein Kompromiss: Sie senkt den Speicherbedarf und verändert dabei das Verhalten des Modells. Wie stark sich das auswirkt, hängt von Modellgröße, Architektur, Quantisierungsverfahren und Einsatzzweck ab und lässt sich nicht pauschal beziffern. Ausgaben generativer Modelle können sachlich falsch sein und gehören vor der Übernahme geprüft — das gilt für quantisierte Modelle in besonderem Maß. Wird ein Modell für Entscheidungen eingesetzt, die Folgen haben, ist die Quantisierungsstufe Teil der Qualitätssicherung und nach jeder Änderung erneut zu validieren. Verarbeitest du personenbezogene Daten, gelten die Vorgaben der DSGVO; für den Zugriff auf Endgeräteinformationen § 25 TDDDG. Modelllizenzen unterscheiden sich erheblich — maßgeblich ist die Lizenzdatei des jeweiligen Projekts, auch bei quantisierten Ableitungen.
Verbraucherrechte und Affiliate: Beim Kauf von Hardware im Fernabsatz steht dir nach § 312g BGB ein vierzehntägiges Widerrufsrecht zu; seit dem 19. Juni 2026 müssen Unternehmen dafür nach § 356a BGB eine elektronische Widerrufsfunktion bereitstellen. § 312k BGB verpflichtet Anbieter laufender Verträge zu einer leicht auffindbaren Kündigungsschaltfläche. Bei Mängeln greifen §§ 437 und 438 BGB innerhalb der zweijährigen Verjährungsfrist, § 477 BGB kehrt in den ersten zwölf Monaten die Beweislast zugunsten der Käuferseite um; unionsrechtliche Grundlage ist die Verbrauchsgüterkauf-Richtlinie (EU) 2019/771. Für Preisangaben gilt § 11 PAngV mit dem 30-Tage-Tiefstpreis; §§ 5, 5a und 5b UWG untersagen irreführende Angaben. Einzelne Links in diesem Beitrag können Affiliate-Links der Programme von Amazon und Awin sein; bei einem Kauf kann eine Provision anfallen, ohne dass sich der Preis für dich ändert. Die redaktionelle Einordnung bleibt davon unberührt. Alle genannten Markennamen sind eingetragene Warenzeichen der jeweiligen Inhaber.
👉 Desktop-GPU auf Amazon ansehen
* Produktlinks sind Affiliate-Links. Bei einem Kauf über diese Links erhalten wir eine kleine Provision – für dich entstehen keine Mehrkosten.
Affiliate-Hinweis: Dieser Beitrag enthält Affiliate-Links (mit * oder als Amazon-Partnerlink gekennzeichnet). Bei einem Kauf über diese Links erhalten wir eine kleine Provision – für dich entstehen dabei keine zusätzlichen Kosten. Wir empfehlen nur Produkte, die wir für sinnvoll halten.
