Llama 3 lokal betreiben 2026: Anfänger-Guide fürs Homelab

Lokale KI-Modelle 2026: Llama, Qwen oder DeepSeek — was läuft auf deiner Hardware?

Lesezeit: etwa 13 Minuten

Die Hardware steht, Ollama läuft — und jetzt kommt die Frage, an der die meisten Anleitungen zwei Jahre hinterherhinken: Welches Modell lädst du eigentlich?

Wer 2026 nach „lokales LLM“ sucht, landet in erstaunlich vielen Ratgebern noch bei Llama 3 und dem Befehl ollama run llama3. Das ist ungefähr so aktuell wie eine Kaufberatung für das iPhone 13. Seitdem ist eine ganze Menge passiert — und zwei Entwicklungen der letzten Monate haben die Landschaft für alle, die in Europa lokal arbeiten, komplett umgestellt.

Erstens: Meta hat die Seiten gewechselt. Am 8. April 2026 stellte das Unternehmen mit Muse Spark sein erstes Frontier-Modell aus den neu gegründeten Superintelligence Labs vor — und zum ersten Mal ohne offene Gewichte. Muse Spark läuft nur in Metas App, auf meta.ai und über eine API. Lokal ausführen kannst du es nicht. Auf Nachfrage von VentureBeat erklärte Meta, die bestehenden Llama-Modelle blieben verfügbar — ob die Familie überhaupt weiterentwickelt wird, ließ das Unternehmen offen. Für die Community um r/LocalLLaMA war das ein Schlag.

Zweitens, und das betrifft dich direkt: Llama 4 darfst du in der EU nicht nutzen. Die Llama 4 Community License schließt die Nutzung und Verteilung innerhalb der Europäischen Union aus. Llama 3.x bleibt erlaubt — Scout und Maverick nicht.

Dieser Ratgeber für aimageddon.de sortiert die Faktenlage Juli 2026: welches Modell auf deine Karte passt, welche Familie welche Stärken hat, was Quantisierung und Kontextlänge mit deinem VRAM anstellen — und worauf du bei den Lizenzen achten musst. Wenn du bei der Hardware noch unschlüssig bist, hilft dir die Kaufberatung fürs erste Homelab-KI-Setup; wie du Ollama und Open WebUI aufsetzt, steht im Betriebs-Ratgeber.

Was auf deine Karte passt

Der Umbruch 2026: Wer jetzt die offenen Modelle baut

Metas Rückzug — und was das für Llama bedeutet

Drei Jahre lang war Meta das Aushängeschild der Open-Weights-Bewegung. Das Llama-Ökosystem kam Anfang 2026 auf rund 1,2 Milliarden Downloads, etwa eine Million pro Tag. Mit Muse Spark ist damit vorerst Schluss: Das Modell ist proprietär, und Chief AI Officer Alexandr Wang spricht von der Absicht, künftige Versionen zu öffnen — ein Vorsatz, kein Versprechen.

Für dich heißt das nicht, dass Llama tot ist. Die bestehenden Modelle bleiben verfügbar, herunterladbar und nutzbar. Aber es heißt, dass du dich bei der Modellwahl nicht mehr auf Meta verlassen solltest — die spannende Entwicklung findet gerade woanders statt.

Die EU-Lizenzfalle bei Llama 4

Das ist der Punkt, den kaum ein deutschsprachiger Guide erwähnt, obwohl er hier am meisten zählt: Die Llama 4 Community License schließt die Nutzung innerhalb der EU aus. Wer in der EU sitzt, darf Llama 4 Scout und Maverick weder nutzen noch hosten. Für die Llama-3.x-Reihe gilt diese Einschränkung nicht — sie bleibt für europäische Anwender die freigegebene Option.

Das ist ärgerlich, denn Scout wäre technisch reizvoll: 109 Milliarden Parameter insgesamt, aber nur 17 Milliarden aktiv pro Token, ein Kontextfenster von zehn Millionen Token, und quantisiert passt er auf eine 24-GB-Karte. Nur eben nicht für dich.

Ich bin kein Anwalt, und wie weit die Klausel im privaten Umfeld trägt, ist eine Frage für Fachleute. Aber wer ein Homelab betreibt, das über Hobby hinausgeht — Freiberufler, kleine Firmen, alles mit Geschäftsbezug — sollte das gelesen haben, bevor er das Modell zieht. Die gute Nachricht: Es gibt bessere Alternativen, die dieses Problem nicht haben.

Der neue Standard kommt aus China

Die Machtverhältnisse haben sich verschoben. Während die USA rund 35 Prozent der Llama-Deployments stellen, machten Modelle chinesischer Labore Ende 2025 bereits etwa 41 Prozent der Downloads auf Hugging Face aus. Alibabas Qwen-Familie war 2025 die am schnellsten wachsende und hat Mistral Small in den Ollama-Downloads überholt. Zhipu AIs GLM-5 und Qwen 3.6 haben Llama 4 Maverick auf Wissens- und Coding-Benchmarks überholt.

Wer 2026 ein Modell für den lokalen Betrieb sucht, kommt an Qwen und DeepSeek nicht vorbei. Das ist keine politische Aussage, sondern eine Beobachtung des Marktes.

Die Familien im Überblick

Qwen — der neue Default

Qwen 3.5 9B ist für die 16-GB-Klasse die interessanteste Wahl: Es belegt bei Q4 nur etwa 5 GB, ist multimodal und schlägt Llama 3.1 8B auf den gängigen Benchmarks deutlich — bei gleichem Speicherbedarf. Qwen 3.6 kam im April 2026 mit einem 27B-Dense-Modell und einer 35B-MoE-Variante; die 27B läuft bei Q4 in rund 17 GB und ist für Code- und Agenten-Arbeit inzwischen der lokale Standard.

Der zweite Vorteil ist die Lizenz: Qwen steht unter Apache 2.0 — keine Sonderklauseln, keine EU-Ausschlüsse, keine Nutzerzahl-Grenzen. Dazu kommt die beste Mehrsprachigkeit im Feld mit nativem Tokenizer für asiatische Sprachen; für Deutsch ist die Qualität ebenfalls solide.

Llama — das Ökosystem, nicht die Speerspitze

Llama 3.3 70B bleibt der beste Generalist seiner Klasse: rund 87 Prozent MMLU, 128k Kontext, und es folgt Systemprompts mit einer Zuverlässigkeit, die viele Alternativen vermissen lassen. Für strukturierte Ausgaben — „gib mir das als JSON, ohne Geplauder“ — ist es weiterhin erste Wahl. Der Preis: rund 40 GB VRAM bei Q4, also zwei 24-GB-Karten oder eine 128-GB-Box.

Ein Hinweis, der Verwirrung erspart: Llama 3.3 gibt es ausschließlich als 70B. Meta beschreibt es selbst als text-only-70B-Modell. Wenn dir ein Guide „Llama 3.3 8B“ als Einsteigermodell empfiehlt, hat er sich das ausgedacht — die Community fragt bis heute vergeblich nach einer kleineren Variante. Wer ein 8B-Llama will, nimmt Llama 3.1 8B.

Das echte Argument für Llama ist nicht mehr die Spitzenleistung, sondern das Ökosystem: Die meisten Fine-Tunes auf Hugging Face bauen darauf auf, jedes Tool unterstützt es, jedes Tutorial nutzt es als Beispiel. Wer selbst fine-tunen will, hat hier die größte Auswahl.

DeepSeek — der Reasoning-Spezialist

DeepSeek-R1 war im Januar 2025 das erste frontier-taugliche Reasoning-Modell, das lokal lief — unter MIT-Lizenz, also so frei wie es überhaupt geht. Die R1-Distill-Varianten gibt es in Größen, die auf normale Karten passen; die 32B ist für 24 GB die Reasoning-Alternative zu Qwen. Bei Mathematik und mehrstufigem Denken hängt sie Generalisten ab, ist dafür langsamer und schmaler aufgestellt.

DeepSeek V4 erschien im April 2026 in zwei Größen: V4 Pro als 1,6-Billionen-MoE (jenseits jedes Homelabs) und V4 Flash mit 284 Milliarden Parametern als MoE — die praktische Option, wenn du eine 128-GB-Maschine hast.

Mistral — die europäische Karte

Mistral ist auf reinen Benchmarks nicht mehr vorn, hat aber ein Argument, das in Deutschland zählt: europäische Herkunft und Apache-2.0-Lizenz. Wer ein lokales Modell ausgerechnet deshalb betreibt, weil Daten und Abhängigkeiten im eigenen Rechtsraum bleiben sollen, findet hier die konsequenteste Antwort. Mistral Small 3.2 vom April 2026 ist der aktuelle Stand der handlichen Größe.

Die Kleinen: Phi und Gemma

Phi-4 Mini (Januar 2026, 3,8B) ist auf „textbook-quality“-Daten trainiert und für seine Größe erstaunlich schlau — der Schnelltest-Kandidat, wenn du keine Lust hast, ein großes Modell in den Speicher zu laden. Gemma 3 (Februar 2026) von Google bringt Bildverständnis in allen Größen mit. Beide sind die richtige Wahl für 8-GB-Karten und für Aufgaben, bei denen Tempo vor Tiefe geht.

Was du außerdem brauchst: ein Embedding-Modell

Wenn du deine eigenen Dokumente durchsuchbar machen willst (RAG), ist das Chat-Modell nur die halbe Miete. Du brauchst zusätzlich ein Embedding-Modell, das deine Dateien indexiert — nomic-embed-text ist dafür der etablierte Standard. Das wird in Einsteiger-Guides regelmäßig vergessen, und dann wundern sich Leute, warum die Dokumentensuche nichts findet.

MoE oder Dense: der Unterschied, der über Tempo entscheidet

Seit Llama 4 ist eine Architekturfrage in den Vordergrund gerückt, die du kennen solltest.

Dense-Modelle aktivieren für jedes Token sämtliche Parameter. MoE-Modelle (Mixture of Experts) haben viele spezialisierte Teilnetze und aktivieren pro Token nur einen Bruchteil davon. Llama 4 Scout hat 109 Milliarden Parameter, rechnet aber nur mit 17 Milliarden pro Token.

Der Effekt auf Homelab-Hardware ist drastisch: Ein 120B-MoE-Modell läuft auf derselben Maschine um ein Vielfaches schneller als ein dichtes 70B-Modell — obwohl es auf dem Papier deutlich größer ist. Der Haken: In den Speicher müssen trotzdem alle Parameter passen, nicht nur die aktiven. MoE spart Rechenzeit, nicht Platz.

Praktische Konsequenz: Schau bei großen Modellen auf die Architektur, nicht auf die Parameterzahl. Und trau keiner Anleitung, die „70B lokal“ verspricht, ohne zu sagen, wie schnell.

Quantisierung, Kontext und die Stellschrauben

Q4 ist fast immer die richtige Antwort

Quantisierung speichert die Zahlenwerte des Modells mit geringerer Präzision — 4 Bit statt 16 — und macht lokale KI damit überhaupt erst bezahlbar. Das gängige Format heißt GGUF.

Die Faustregel für den Speicherbedarf: Parameterzahl in Milliarden mal grob 0,6 bis 0,7 GB, plus ein bis zwei Gigabyte Kontextpuffer. Ein 13B-Modell in Q4 landet damit bei 9 bis 10 GB.

Die praktisch wichtigere Regel: Ein größeres Modell in Q4 schlägt fast immer ein kleineres in Q8. Nimm das größte Modell, das in Q4 komfortabel in deinen VRAM passt — und lass die Finger von unquantisierten Vollpräzisions-Varianten, solange du nicht fine-tunst.

Die Kontextlänge frisst deinen VRAM

Der unterschätzte Speicherfresser. Die Kontextlänge bestimmt, wie viel Text das Modell gleichzeitig „im Blick“ hat — und jeder Token kostet Speicher im KV-Cache. Wer bei knapper Hardware die Kontextlänge auf Maximum dreht, drückt sein Modell aus dem VRAM und wundert sich über den Tempo-Einbruch.

Fang mit den Standardwerten an. Erhöhe erst, wenn du merkst, dass das Modell den Anfang langer Unterhaltungen vergisst. Ein Modell mit einer Million Token Kontext ist beeindruckend — nutzbar ist dieser Kontext nur, wenn du den Speicher dafür hast.

Instruct statt Base

Zu fast jedem Modell gibt es zwei Varianten. Die Base-Version ist der rohe Textvervollständiger — nützlich als Grundlage fürs Fine-Tuning, im Chat aber eigenartig. Die Instruct-Version ist auf Anweisungen und Dialog trainiert und die, die du willst. In Ollama sind die Standard-Tags in der Regel bereits die Instruct-Varianten; wer direkt bei Hugging Face lädt, sollte auf das Kürzel achten.

Wenn es knapp wird: GPU-Layer verteilen

Passt ein Modell knapp nicht in den VRAM, musst du nicht gleich eine größere Karte kaufen. Über die Zahl der auf die GPU ausgelagerten Layer steuerst du, wie viel auf der Grafikkarte und wie viel auf der CPU rechnet. Ein bisschen Feintuning holt hier oft spürbar Geschwindigkeit heraus — und ist allemal billiger als neue Hardware.

Realistische Erwartungen

Die ehrliche Einordnung, die vielen Guides fehlt: Der Abstand zwischen lokal lauffähigen Modellen und den kommerziellen Spitzenmodellen liegt Stand 2026 bei etwa 18 bis 24 Monaten. Ein Llama 3.3 70B erreicht heute in etwa das, was GPT-4 2023 konnte — auf Hardware, die damals ein Rechenzentrum gebraucht hätte. Ein 7B-Modell von heute schlägt ein 13B-Modell von Anfang 2024.

Das ist beeindruckend und gleichzeitig eine klare Grenze. Ein lokales 9B-Modell ist ein kompetenter Assistent für Zusammenfassungen, Umformulierungen, Übersetzungen und alltägliche Coding-Hilfe. Es ist nicht das Werkzeug für eine komplexe juristische Analyse. Wer ein 9B-Modell an Frontier-Maßstäben misst, wird zwangsläufig enttäuscht — und das liegt an der Erwartung, nicht am Modell.

Häufige Fehler vermeiden

Praktische Handlungsempfehlungen Juli 2026

• Für 16 GB: Qwen 3.5 9B. Bester Kompromiss aus Qualität, Speicherbedarf und Lizenz. Wer maximale Fine-Tune-Auswahl braucht, nimmt Llama 3.1 8B.
• Für 24 GB: Qwen 3.6 27B. Der Sweet Spot 2026. Für Mathe und mehrstufiges Denken stattdessen DeepSeek-R1 32B.
• Für 48 GB und mehr: Llama 3.3 70B. Der zuverlässigste Generalist, wenn du den Speicher hast — und EU-lizenzrechtlich unproblematisch.
• Llama 4 in der EU meiden. Technisch reizvoll, lizenzrechtlich ausgeschlossen. Kein Grund zur Trauer: Qwen 3.6 ist ohnehin stärker.
• Immer Q4, immer Instruct. Zwei Entscheidungen, die du praktisch nie bereuen wirst.
• Kontextlänge klein anfangen. Erhöhen, wenn das Modell den Gesprächsanfang vergisst — nicht vorher.
• Mehrere Modelle vergleichen. Das eine schreibt besseren Code, das andere flüssigeres Deutsch. Ollama hält problemlos mehrere vor; welches zu dir passt, zeigt nur der direkte Test.
• Lizenz vor dem Download prüfen. Besonders, wenn dein Homelab über Hobby hinausgeht.

Fazit

Die Modellwahl ist 2026 einfacher und komplizierter zugleich geworden. Einfacher, weil die Antwort für die meisten Setups kurz ist: Qwen 3.5 9B auf 16 GB, Qwen 3.6 27B auf 24 GB, Llama 3.3 70B, wenn du den Speicher hast. Komplizierter, weil die Landschaft in Bewegung ist wie lange nicht.

Meta hat mit Muse Spark die Tür hinter sich zugezogen und die Zukunft von Llama offen gelassen. Llama 4 ist für europäische Anwender ohnehin keine Option. Und die interessantesten offenen Modelle kommen inzwischen aus chinesischen Laboren — unter Lizenzen, die freier sind als Metas.

Für dein Homelab ist das unterm Strich eine gute Nachricht: Du hast mehr echte Auswahl als je zuvor, und die Modelle, die du heute lädst, laufen auch dann noch, wenn ein Anbieter morgen die Tür zumacht. Genau dafür betreibt man das Ganze ja.

Quellen und weiterführende Informationen

• Meta: Muse Spark ohne offene Gewichte (venturebeat.com, the-decoder.com) – Ankündigung, Einordnung und offene Fragen zur Zukunft der Llama-Familie.
• Llama-Modellübersicht (developer.meta.com) – offizielle Angaben zu Größen, Varianten und Lizenzen der Llama-Reihe.
• Llama-Lizenzierung und EU-Nutzung (innfactory.ai) – Einordnung der Community License und der EU-Beschränkung bei Llama 4.
• Ollama-Modellbibliothek (ollama.com/library) – verbindliche Modellnamen, Tags und Größen für den lokalen Betrieb.
• Artificial Analysis Intelligence Index (artificialanalysis.ai) – unabhängige Benchmark-Vergleiche offener und geschlossener Modelle.

Haftungsausschluss

Allgemeine Information. Dieser Artikel dient der allgemeinen Orientierung und ersetzt keine individuelle technische Beratung. Der Markt für KI-Modelle bewegt sich außerordentlich schnell: Modellversionen, Benchmarks und Verfügbarkeiten ändern sich teils im Wochenrhythmus, und die hier genannten Werte entsprechen dem Recherchestand zum Veröffentlichungszeitpunkt. Prüfe Modellnamen und Größen vor dem Download in der offiziellen Modellbibliothek statt in Ratgebern — auch in diesem.

Lizenzen sind keine Rechtsberatung. Die Lizenzbedingungen von KI-Modellen unterscheiden sich erheblich und ändern sich mit neuen Versionen. Die Hinweise in diesem Artikel — insbesondere zur EU-Beschränkung der Llama 4 Community License — geben den öffentlich dokumentierten Stand wieder und stellen keine Rechtsberatung dar. Wer Modelle über den privaten Gebrauch hinaus einsetzt, sollte die jeweils aktuellen Bedingungen selbst lesen und im Zweifel fachkundigen Rat einholen.

Betrieb und Datenschutz. Lokal ausgeführte Modelle verarbeiten Anfragen auf deiner eigenen Hardware; viele Frontends und Zusatzwerkzeuge kommunizieren jedoch im Hintergrund mit externen Servern. Für einen datenschutzkonformen Betrieb bist du selbst verantwortlich, sobald personenbezogene Daten verarbeitet werden. Die erreichbare Geschwindigkeit und Ausgabequalität hängen stark von deiner Hardware ab; genannte Richtwerte können auf deinem System erheblich abweichen.

Deine Rechte und Affiliate. Beim Kauf von Hardware im Fernabsatz steht dir nach § 312g BGB ein 14-tägiges Widerrufsrecht zu; § 312k BGB verpflichtet Anbieter von Abos zu einem gut sichtbaren Kündigungsbutton. Bei Sachmängeln greifen §§ 437, 438 BGB mit zwei Jahren Frist, in den ersten zwölf Monaten mit Beweislastumkehr nach § 477 BGB. Nach § 11 PAngV müssen Händler bei Rabattwerbung den niedrigsten Preis der letzten 30 Tage ausweisen. Einige Links führen zum Amazon-Partnerprogramm oder zum Awin-Netzwerk; kaufst du darüber, erhalten wir eine Provision ohne Mehrkosten für dich. Alle Markennamen sind eingetragene Warenzeichen der jeweiligen Inhaber.