VRAM-Rechentabelle: Q4_K_M, Q5_K_M und Q8_0 für vier Modelle durchgerechnet

VRAM-Rechentabelle: Q4_K_M, Q5_K_M und Q8_0 für vier Modelle durchgerechnet

Welche Quantisierungsstufe du nehmen solltest und warum der Verlust nicht linear verläuft, haben wir in Quantisierung: Wie große LLM-Modelle auf kleine Karten passen erklärt. Dieser Artikel ist das Nachschlagewerk dazu: echte Dateigrößen von vier verbreiteten Modellen, der Speicherbedarf des Kontexts und die Summe, die du mit deinem freien Grafikspeicher vergleichst.

Alle Dateigrößen stammen von den GGUF-Seiten des Quantisierers bartowski auf Hugging Face, die Architekturwerte aus den config.json-Dateien der Modelle. Den Kontextbedarf haben wir daraus berechnet.

Dateigrößen: Was die Gewichte allein belegen

Zum Vergleich die Zwischenstufe Q6_K: 6,60 GB (8B), 12,12 GB (14B), 26,88 GB (32B) und 57,89 GB (70B). Der Abstand von Q4_K_M zu Q8_0 beträgt bei allen vier Modellen ziemlich genau 75 Prozent mehr Speicher.

Der Kontext: was zusätzlich dazukommt

Während eines Chats hält das Modell für jedes Token einen Zwischenspeicher vor, den KV-Cache. Seine Größe hängt von der Architektur ab, nicht von der Quantisierung der Gewichte. Die Formel: 2 × Zahl der Schichten × KV-Köpfe × Kopfdimension × 2 Byte (bei 16-Bit-Cache) pro Token.

Alle vier Modelle nutzen 8 KV-Köpfe mit einer Kopfdimension von 128. Sie unterscheiden sich in der Zahl der Schichten: 32 (Llama 3.1 8B), 40 (Qwen3 14B), 64 (Qwen3 32B) und 80 (Llama 3.3 70B). Daraus ergibt sich:

Der Cache wächst linear: Doppelter Kontext heißt doppelter Speicher. Bei 32.768 Token braucht der Cache von Qwen3 32B fast halb so viel Platz wie die Gewichte in Q4_K_M. Laufzeitumgebungen wie llama.cpp können den Cache selbst quantisieren, etwa auf 8 Bit; damit halbieren sich die Werte ungefähr, mit möglichen Einbußen bei der Genauigkeit.

Die Summe: Gewichte plus Kontext

Addiert ergibt sich der Mindestbedarf. Die Laufzeitumgebung braucht zusätzlich Puffer für Berechnungen, deren Größe je nach Programm und Einstellung schwankt; plane deshalb eine Reserve ein.

Was das praktisch heißt: Eine Karte mit 12 GB reicht für Qwen3 14B in Q4_K_M bei 8.192 Token nur knapp, Q5_K_M wird eng. Mit 24 GB passt Qwen3 32B in Q4_K_M und mittlerem Kontext, aber nicht mehr mit 32.768 Token. Llama 3.3 70B passt selbst in Q4_K_M auf keine einzelne Consumer-Karte; dafür brauchst du mehrere GPUs, einen Rechner mit gemeinsamem Speicher oder eine Auslagerung auf CPU und Arbeitsspeicher – mit deutlich langsamerer Ausgabe.

So rechnest du für ein anderes Modell

1. Dateigröße ablesen. Auf der GGUF-Seite des Modells steht für jede Stufe die tatsächliche Größe. Verlass dich darauf, nicht auf den Namen der Stufe.

2. Architekturwerte holen. In der config.json des Originalmodells stehen num_hidden_layers, num_key_value_heads und head_dim.

3. Kontext rechnen. 2 × Schichten × KV-Köpfe × Kopfdimension × 2 Byte × Token. Je weniger KV-Köpfe ein Modell im Verhältnis zu seinen Attention-Köpfen hat (Grouped-Query-Attention), desto kleiner fällt der Cache aus.

4. Freien Speicher prüfen. Miss, wie viel Grafikspeicher frei ist, während die Programme laufen, die du parallel nutzt, und lass eine Reserve.

Häufige Fehler bei der VRAM-Rechnung

Praktische Handlungsempfehlungen Oktober 2026

Leg deine übliche Kontextlänge fest, bevor du eine Stufe auswählst.

Rechne Gewichte plus Cache mit den Werten aus der Tabelle oder mit der Formel für dein Modell.

Wähle die größte Stufe, die mit Reserve passt, und prüfe danach mit deinen Aufgaben, ob sie einen Unterschied macht.

Reicht der Platz knapp nicht, reduziere zuerst den Kontext oder quantisiere den Cache, bevor du zur nächstkleineren Stufe greifst.

Lies vor der Nutzung die Lizenz des Modells. Die Llama-Modelle stehen unter der Llama Community License, Qwen3 unter Apache 2.0.

Fazit

Q8_0 braucht bei allen vier Modellen rund 75 Prozent mehr Platz als Q4_K_M, und der Kontext kommt obendrauf: bei 8.192 Token zwischen 1 und 2,5 GiB, bei 32.768 Token zwischen 4 und 10 GiB. Wer nur die Dateigröße mit dem VRAM vergleicht, rechnet sich die Karte zu groß.

Faustregel aus den Tabellen: 12 GB reichen für 8B in jeder Stufe mit mittlerem Kontext und für 14B in Q4_K_M mit mittlerem Kontext, 24 GB für 32B in Q4_K_M mit mittlerem Kontext. 70B ist auf einer einzelnen Consumer-Karte nicht sinnvoll.

Quellen und weiterführende Informationen

• bartowski auf Hugging Face: GGUF-Dateien zu Meta-Llama-3.1-8B-Instruct, Qwen3-14B, Qwen3-32B und Llama-3.3-70B-Instruct – Dateigrößen je Quantisierungsstufe, abgerufen am 9. Oktober 2026
• Qwen auf Hugging Face: config.json zu Qwen3-14B und Qwen3-32B – 40 bzw. 64 Schichten, 8 KV-Köpfe, Kopfdimension 128
• unsloth auf Hugging Face: config.json zu Meta-Llama-3.1-8B-Instruct und Llama-3.3-70B-Instruct – 32 bzw. 80 Schichten, 8 KV-Köpfe, Kopfdimension 128
• Hugging Face Transformers: Dokumentation zu Qwen3 – dichte Modelle von 0,6B bis 32B, num_key_value_heads steuert Grouped-Query-Attention

Transparenzhinweis: Dateigrößen und Architekturwerte stammen von den genannten Hugging-Face-Seiten, Stand 9. Oktober 2026. Die Werte für den Kontext und die Summen haben wir daraus berechnet. Wir testen und messen nicht selbst.

Rechenhinweis: Dateigrößen sind in GB (10⁹ Byte) angegeben, der Cache in GiB (2³⁰ Byte); die Summen sind auf GB umgerechnet und gerundet. Der tatsächliche Bedarf hängt von Laufzeitumgebung, Cache-Einstellung, Batch-Größe und weiteren Parametern ab. Andere Quantisierer können leicht abweichende Dateigrößen haben.

Lizenzhinweis: Lies vor der Nutzung die Lizenzdatei des konkreten Modells. Prüfe insbesondere Nutzungsbeschränkungen, Attributionspflichten und mögliche Schwellen für kommerzielle Nutzung.

Affiliate-Hinweis: Enthält dieser Artikel Links zu Produkten oder Händlern, kann es sich um Affiliate-Links handeln: Bei einem Kauf darüber erhält aimageddon.de eine Provision, ohne dass sich dein Preis erhöht. Genannte Markennamen sind Warenzeichen der jeweiligen Inhaber und dienen der sachlichen Information; es handelt sich um keine bezahlte Empfehlung.