Mixture-of-Experts im Homelab: Warum die Parameterzahl täuscht

Mixture-of-Experts im Homelab: Warum die Parameterzahl täuscht

Eine Modellbezeichnung wie „35B-A3B“ enthält zwei Zahlen, und der Unterschied zwischen ihnen ist die ganze Geschichte. Die erste sagt, wie viel Speicher du brauchst. Die zweite, wie schnell es läuft.

Das ist der Punkt, an dem diese Architektur von allem abweicht, was man von dichten Modellen kennt — und der Grund, warum solche Modelle auf Hardware funktionieren, auf der ein gleich großes dichtes Modell unbenutzbar wäre.

Eine Vorbemerkung zur Faktenlage: Zu neu angekündigten Modellen kursieren regelmäßig Bezeichnungen und Leistungsangaben, die sich nicht aus unabhängigen Quellen belegen lassen. Wir nennen deshalb keine Modellnamen — die Systematik unten gilt für diese Architektur allgemein und altert nicht mit dem nächsten Release.

Wir messen auf aimageddon.de nicht selbst.

Die zwei Zahlen

Bei dieser Architektur besteht das Modell aus vielen Teilnetzen, von denen pro Verarbeitungsschritt nur wenige aktiv werden. Eine Auswahlschicht entscheidet, welche.

Daraus folgen zwei Größen, die man auseinanderhalten muss:

• Die Gesamtparameterzahl bestimmt den Speicherbedarf. Alle Teilnetze müssen geladen sein — auch die, die bei einer konkreten Anfrage nicht zum Zug kommen.
• Die Zahl der aktiven Parameter bestimmt die Rechenlast pro Token. Sie ist um ein Vielfaches kleiner.

Der häufigste Irrtum: anzunehmen, ein solches Modell brauche nur so viel Speicher wie seine aktiven Parameter. Es braucht den vollen Betrag.

Warum das die Hardwarefrage verschiebt

Bei dichten Modellen bestimmt dieselbe Zahl beides. Wer den Speicher hat, hat auch die Rechenlast — und wer nicht genug Rechenleistung hat, wartet.

Hier trennt sich das: Du brauchst viel Speicher, aber vergleichsweise wenig Rechenleistung.

Das macht Systeme interessant, die viel Speicher bei moderater Rechenleistung bieten — etwa Plattformen mit gemeinsamem Speicher oder Rechner mit reichlich Arbeitsspeicher. Dort laufen solche Modelle brauchbar, wo ein gleich großes dichtes Modell an der Rechenleistung scheitern würde.

Wo die Grenze trotzdem liegt

Der Speicher bleibt die harte Grenze. Ein Modell, dessen Gewichte nicht hineinpassen, läuft nicht — daran ändert die Architektur nichts.

Und die Bandbreite bleibt ein Faktor: Auch wenn wenige Teilnetze aktiv sind, müssen die Gewichte erreichbar sein. Auf Systemen mit langsamem Speicherzugriff bleibt die Geschwindigkeit hinter dem zurück, was die aktive Parameterzahl vermuten lässt.

Speicherbedarf rechnen

Die Rechnung ist dieselbe wie bei dichten Modellen — nur mit der Gesamtparameterzahl:

Parameterzahl mal Bytes je Gewicht, plus Zwischenspeicher für den Kontext, plus Aufschlag für die Laufzeitumgebung.

Der Zwischenspeicher wächst mit der Kontextlänge und wird regelmäßig vergessen. Bei langen Eingaben ist er kein Randposten.

Die Frage, die vor dem Herunterladen steht

Rechne den Bedarf für die Kontextlänge, die du tatsächlich nutzt — nicht für die, die das Modell theoretisch kann.

Und setz die Kontextlänge beim Start explizit. Sonst reserviert dir die Laufzeitumgebung Speicher für ein Fenster, das du nie ausfüllst.

Was Namenszusätze bedeuten

Modellbezeichnungen aus der Community enthalten oft Zusätze, die nicht standardisiert sind. Sie können auf eine Anpassung hinweisen, auf eine Versionsnummer des Anbieters oder auf gar nichts Definiertes.

Die verlässliche Auskunft steht in der Modellkarte, nicht im Dateinamen.

Besonders wichtig ist das bei Zusätzen, die auf eine Verhaltensanpassung hindeuten könnten — also darauf, dass Ablehnungsverhalten verändert wurde. Das ist keine Nebensache, sondern bestimmt den Betriebsrahmen: Was ein solches Modell ausgibt, verantwortest du.

Lies die Modellkarte, bevor du zweistellige Gigabyte herunterlädst.

Lizenz vor Einsatz

„Open Source“ wird in diesem Feld unsauber verwendet. Die Bandbreite reicht von echten freien Lizenzen bis zu Hauslizenzen mit Einschränkungen bei kommerzieller Nutzung, Weiterverbreitung oder Nutzungsregion.

Bei angepassten Modellen gelten außerdem zwei Lizenzen nebeneinander: die des Basismodells und die der Anpassung. Beide müssen passen.

Frei herunterladbar heißt nicht frei verwendbar — und bei einem Modell, das in einem Produkt landen soll, ist das der teuerste Punkt, den man übersieht.

Einrichtung

Drei Wege, je nach Zweck:

• Über eine fertige Laufzeitumgebung mit Modellverwaltung. Der schnellste Einstieg — installieren, Modell ziehen, testen. Achte auf den exakten Tag, er entscheidet über Variante und Quantisierung.
• Direkt über die Modelldatei. Mehr Kontrolle über Quantisierung, Threadzahl und Kontextlänge — und du siehst beim Start, wie viel Speicher tatsächlich belegt wird.
• Über eine auf Durchsatz ausgelegte Umgebung. Sinnvoll, wenn mehrere Anfragen parallel laufen sollen; für Einzelnutzung überdimensioniert und aufwendiger einzurichten.

Prüf vor dem Herunterladen, ob deine Umgebung die Architektur überhaupt unterstützt. Bei neueren Architekturen hinken Laufzeitumgebungen teils hinterher — und eine zu alte Version meldet entweder einen Fehler oder verhält sich stillschweigend falsch.

Leistungsangaben einordnen

Zu neuen Modellen kursieren Vergleichstabellen, die überwiegend von den Anbietern selbst stammen und sich auf selbst gewählte Vergleichsfelder beziehen.

Das entwertet sie nicht — aber es ist der Rahmen, in dem du sie lesen solltest.

Kommen die Zahlen aus sozialen Netzwerken oder aus einem einzelnen Blogbeitrag, ohne dass eine Modellkarte oder eine unabhängige Messung dahintersteht, sind sie kein Beleg. Sie sind ein Hinweis, dass es das Modell geben könnte.

Der Test, der für dich zählt

Sammle zwanzig bis fünfzig Aufgaben aus deinem tatsächlichen Alltag und lass sie durchlaufen.

Das kostet eine halbe Stunde und beantwortet die Frage für deinen Fall besser als jede Vergleichstabelle — zumal du damit auch Quantisierungsstufen gegeneinander prüfen kannst.

Häufige Fehler

Praktische Handlungsempfehlungen September 2026

• Speicherbedarf über die Gesamtparameterzahl rechnen, nicht über die aktiven.
• Zwischenspeicher für die real genutzte Kontextlänge einplanen.
• Modellkarte lesen — Lizenz, Architektur, Anpassungen, unterstützte Laufzeitumgebungen.
• Beide Lizenzen prüfen, bevor etwas produktiv geht.
• Versionsanforderungen der Laufzeitumgebung abgleichen, bevor du herunterlädst.
• Eigenes Aufgabenset durchlaufen lassen statt Vergleichstabellen zu lesen.
• Bei Leistungsangaben nach der Quelle fragen — Modellkarte oder unabhängige Messung.
• Vor Hardwarekäufen den Preisverlauf prüfen; Speicher ist derzeit teuer.

Fazit

Die beiden Zahlen in einer solchen Modellbezeichnung beantworten zwei verschiedene Fragen: Die Gesamtparameterzahl bestimmt, wie viel Speicher du brauchst — die aktive, wie schnell es läuft. Wer den Speicherbedarf über die zweite rechnet, unterschätzt ihn um ein Vielfaches.

Daraus folgt die eigentliche Besonderheit dieser Architektur: Sie senkt die Rechenlast, nicht den Speicherbedarf. Das macht Systeme interessant, die viel Speicher bei moderater Rechenleistung bieten — dort läuft ein solches Modell brauchbar, wo ein gleich großes dichtes an der Rechenleistung scheitern würde.

Und bei den Leistungsangaben lohnt Zurückhaltung: Was aus sozialen Netzwerken oder einem einzelnen Blogbeitrag stammt, ohne Modellkarte oder unabhängige Messung, ist kein Beleg — sondern ein Hinweis, dass es das Modell geben könnte.

Quellen und weiterführende Informationen

• Modellkarte im offiziellen Repository — maßgeblich für Architektur, Parameterzahlen, Kontextlänge, Anpassungen und Lizenz.
• Lizenzdateien von Basismodell und Anpassung — beide gelten nebeneinander und sind vor produktivem Einsatz zu prüfen.
• Dokumentation der eingesetzten Laufzeitumgebung — unterstützte Architekturen, Quantisierungsformate und Speicherverwaltung.
• Unabhängige Auswertungsplattformen für offene Modelle — zweite Perspektive neben Anbieterangaben.
• heise online / c’t (heise.de) — Berichterstattung zu lokaler Inferenz mit dokumentierten Testbedingungen.
• EUR-Lex (eur-lex.europa.eu) — DSGVO und KI-Verordnung (EU) 2024/1689.

Haftungsausschluss

Allgemeiner Hinweis: Dieser Artikel auf aimageddon.de dient der allgemeinen technischen Information. Wir betreiben kein eigenes Messlabor — die Speicherangaben sind Rechenwege aus Parameterzahl und Bitbreite, keine Messungen. Zu neu angekündigten Modellen kursieren regelmäßig Bezeichnungen und Leistungswerte, die sich nicht aus unabhängigen Quellen belegen lassen; Angaben aus sozialen Netzwerken oder einzelnen Blogbeiträgen ersetzen weder eine Modellkarte noch eine unabhängige Messung. Wir nennen deshalb keine Modellnamen und keine Leistungswerte — prüf beides im offiziellen Repository der Version, die du einsetzen willst.

Zu Modellen, Anpassungen und Lizenzen: „Open Source“ ist in diesem Feld kein geschützter Begriff; Lizenzen reichen von freien Bedingungen bis zu Einschränkungen bei kommerzieller Nutzung, Weiterverbreitung oder Nutzungsregion — bei angepassten Modellen gelten die Lizenz des Basismodells und die der Anpassung nebeneinander. Bezieh Modellgewichte ausschließlich aus nachvollziehbaren Quellen. Namenszusätze können auf Anpassungen hinweisen, die das Ablehnungsverhalten verändern; solche Modelle geben Inhalte aus, die das Basismodell zurückgewiesen hätte, und gehen nach vorliegenden Untersuchungen mit messbaren Qualitätseinbußen einher. Die Verantwortung für Nutzung und Ausgaben liegt vollständig beim Betreiber — straf-, urheber-, datenschutz- und persönlichkeitsrechtlich. Prüf die Modellkarte vor dem Herunterladen.

Datenschutz und Rechtsrahmen: Die lokale Ausführung entbindet nicht von rechtlichen Pflichten. Werden personenbezogene Daten verarbeitet, gelten die Vorgaben der DSGVO einschließlich Rechtsgrundlage, Zweckbindung und Betroffenenrechten; für den Zugriff auf Endgeräteinformationen gilt § 25 TDDDG, die Nachfolgeregelung des früheren TTDSG. Die KI-Verordnung (EU) 2024/1689 begründet abgestufte Pflichten je nach Einsatzzweck, darunter Kennzeichnungspflichten für künstlich erzeugte Inhalte. Ein lokal betriebener Endpunkt ohne Authentifizierung ist über das Netz angreifbar — binde ihn an die lokale Adresse oder sichere ihn ab. Beim Kauf von Hardware im Fernabsatz steht dir nach § 312g BGB ein vierzehntägiges Widerrufsrecht zu, seit dem 19. Juni 2026 ergänzt um die elektronische Widerrufsfunktion nach § 356a BGB; bei Mängeln greifen §§ 437 und 438 BGB, § 477 BGB kehrt in den ersten zwölf Monaten die Beweislast zugunsten der Käuferseite um. Einzelne Links in diesem Beitrag können Affiliate-Links sein; bei einem Kauf kann eine Provision anfallen, ohne dass sich der Preis für dich ändert. Alle genannten Markennamen sind eingetragene Warenzeichen der jeweiligen Inhaber.