DeepSeek V4 Flash lokal: Was auf einem DGX Spark und im Zweier-Verbund geht

DeepSeek V4 Flash lokal: Was auf einem DGX Spark und im Zweier-Verbund geht

Die interessanteste Entwicklung bei lokaler Inferenz ist nicht, dass Modelle größer werden — sondern dass Hardware nachrückt, auf der große Modelle überhaupt vollständig in den Speicher passen.

Genau das ist der Punkt, an dem DeepSeek V4 Flash auf Desktop-KI-Systemen interessant wird.

Eigene Messung: 19 Token pro Sekunde im Zweier-Verbund

Abweichend von unserem sonstigen Vorgehen steht hinter diesem Abschnitt eine eigene Messung. Das Modell läuft hier in einem Verbund aus zwei DGX Sparks und liefert dort rund 19 Token pro Sekunde.

Und der praktisch wichtigere Befund: Ein einzelner Spark reicht bereits aus, um das Modell zu betreiben — der Verbund ist eine Erweiterung, keine Voraussetzung.

Damit gehört DeepSeek V4 Flash derzeit zu den stärksten Modellen, die sich lokal sinnvoll betreiben lassen. Nicht wegen der Geschwindigkeit — dazu gleich mehr —, sondern weil diese Kombination aus Modellqualität und Betreibbarkeit auf Desktop-Hardware bislang selten war.

Alle übrigen Angaben in diesem Text sind nicht selbst gemessen und stammen aus Modellkarte, Projektdokumentation und Fachpresse; wo etwas nicht belegbar war, steht das da.

Warum 19 Token pro Sekunde die richtige Größenordnung sind

Die Bandbreite entscheidet, nicht die Rechenleistung

Wer die Rohleistung dieser Systeme sieht, erwartet zunächst mehr. Der begrenzende Faktor bei der Token-Ausgabe ist aber nicht die Rechenleistung, sondern die Speicherbandbreite.

Für jedes erzeugte Token müssen die relevanten Gewichte durch den Speicherbus. Die Faustformel lautet: Durchsatz entspricht grob der Speicherbandbreite geteilt durch die Datenmenge, die pro Token gelesen werden muss.

Desktop-KI-Systeme wie der Spark sind auf Kapazität optimiert, nicht auf Bandbreite. Sie bieten viel einheitlichen Speicher zu vergleichsweise moderaten Übertragungsraten — das Gegenteil einer High-End-Grafikkarte, die wenig Speicher mit sehr hoher Bandbreite kombiniert.

Daraus folgt die richtige Erwartung: Diese Hardware ermöglicht Modelle, die anderswo gar nicht laufen — sie macht sie nicht schnell.

Was das für die Nutzung bedeutet

Rund 19 Token pro Sekunde liegen etwa im Bereich flüssigen Lesetempos. Für Analyse, Zusammenfassung, Codeverständnis und alles, was man liest statt überfliegt, ist das brauchbar.

Für lange Agentenketten, bei denen dutzende Aufrufe hintereinanderlaufen, ist es zu langsam — dort summiert sich die Wartezeit über jeden Schritt.

Und ein Wert, der im Alltag mehr zählt als die Ausgaberate: die Zeit bis zum ersten Token. Bei langen Eingaben dominiert die Verarbeitung des Prompts, nicht die Generierung. Miss beides getrennt, wenn du die Hardware bewertest.

Mixture-of-Experts: weniger Rechenlast, gleicher Speicherhunger

Der häufigste Denkfehler bei MoE-Modellen: Die aktiven Parameter bestimmen die Rechenlast — nicht den Speicherbedarf.

Ein Modell, das pro Token nur einen Bruchteil seiner Experten aktiviert, rechnet entsprechend sparsam. Vorhalten muss der Speicher trotzdem alle Experten, denn welcher als nächstes gebraucht wird, entscheidet sich erst zur Laufzeit.

Genau deshalb ist Speicherkapazität bei diesen Modellen das entscheidende Kriterium — und genau deshalb ist ein System mit viel einheitlichem Speicher hier im Vorteil, obwohl es rechnerisch nicht das schnellste ist.

Was „Flash“ bedeuten kann

Der Zusatz ist kein standardisierter Begriff. Je nach Anbieter bezeichnet er eine kleinere Variante einer Modellfamilie, eine auf Durchsatz optimierte Ausführung oder eine Version mit reduziertem Kontextfenster.

Verlass dich nicht auf den Namen, sondern auf die Zahlen in der Modellkarte: Gesamtparameter, aktive Parameter pro Token, Kontextlänge, Dateigröße.

Speicherbedarf rechnen statt raten

Die Formel

Parameterzahl mal Byte pro Parameter — bei FP16 zwei Byte, bei 8 Bit eines, bei 4 Bit ein halbes. Das ergibt die reinen Gewichte.

Dazu kommen drei Posten, die regelmäßig vergessen werden:

• Der KV-Cache, der linear mit der Kontextlänge wächst und von der Gewichtsquantisierung nicht erfasst wird. Bei großen Kontextfenstern ist er der dominierende Posten.
• Aktivierungsspeicher während der Verarbeitung.
• Overhead der Laufzeitumgebung — je nach Framework erheblich.

Plane die Gewichte nie bis an die Speichergrenze. Wer knapp dimensioniert, bekommt den Abbruch nicht beim Start, sondern beim ersten langen Dokument.

Im Verbund kommt der Interconnect dazu

Beim Betrieb über zwei Geräte wird das Modell aufgeteilt, und Zwischenergebnisse laufen über die Verbindung zwischen ihnen. Diese Verbindung ist bei solchen Systemen bewusst schnell ausgelegt — sie bleibt aber langsamer als der geräteinterne Speicherzugriff.

Deshalb skaliert ein Zweier-Verbund nicht linear: Er verdoppelt die verfügbare Kapazität, nicht den Durchsatz.

Das ist auch der Grund, warum der Verbund vor allem dann sinnvoll ist, wenn ein Modell auf einem Gerät nicht mehr komfortabel läuft — nicht als Beschleuniger für Modelle, die ohnehin passen.

Quantisierung: wo der Nutzen aufhört

Bei großen Modellen auf begrenztem Speicher landet man schnell bei aggressiven Quantisierungsstufen. Der Qualitätsabfall ist dabei nicht linear.

Bis hinunter zu 4 Bit bleibt der Verlust bei großen Modellen moderat. Darunter — bei 2- und 3-Bit-Stufen — wird es steil, und zwar auf eine Art, die man nicht sofort merkt: Der Text bleibt flüssig, aber die Faktentreue leidet.

Die Faustregel: Ein größeres Modell in niedrigerer Stufe schlägt oft ein kleineres in höherer — bis zu dem Punkt, an dem die niedrige Stufe anfängt, Fakten zu verdrehen.

Wenn der Speicher reicht, ist mehr Präzision die bessere Wahl als mehr Parameter. Und wer die Stufe wechselt, lässt dieselben eigenen Testfälle erneut durchlaufen — die Messung dauert eine Stunde und beantwortet die Frage, die sonst monatelang offen bleibt.

Vor dem Download: die vier Prüfpunkte

Bei Modellen, die über Kanäle mit hoher Umschlagsgeschwindigkeit bekannt werden, lohnen vier Handgriffe:

• Modellkarte im offiziellen Repository des Anbieters — nicht eine Kopie unter ähnlichem Namen.
• Die Zahlen selbst: Gesamtparameter, aktive Parameter, Kontextlänge, Dateigröße. Sie müssen zueinander passen.
• Die Lizenzdatei — und zwar zuerst, nicht zuletzt. „Open Weights“ heißt in dieser Branche alles Mögliche, von uneingeschränkt kommerziell bis reine Forschungsnutzung.
• Datumskürzel im Namen sind Snapshots, keine Versionen. Zwei Stände derselben Familie können sich in Verhalten und Format unterscheiden, ohne dass die Bezeichnung das nahelegt.

Häufige Fehler vermeiden

Praktische Handlungsempfehlungen September 2026

• Speicherbedarf vor dem Download ausrechnen — Gewichte plus KV-Cache bei der Kontextlänge, die du wirklich nutzt.
• Mit einem Gerät anfangen. Der Verbund lohnt erst, wenn ein Modell allein nicht mehr komfortabel läuft.
• Zeit bis zum ersten Token und Ausgaberate getrennt messen, mit realistischen Prompt-Längen.
• Bei ausreichendem Speicher die höhere Quantisierungsstufe wählen — Präzision vor Parameterzahl.
• Eigene Testfälle vorbereiten und nach jedem Stufenwechsel erneut durchlaufen.
• Lizenzdatei vor dem produktiven Einsatz prüfen, nicht danach.
• Für Agenten-Workflows ein anderes Modell einplanen — hier zählt Latenz mehr als Qualität pro Antwort.
• Beim Hardwarekauf den 30-Tage-Tiefstpreis nach § 11 PAngV gegenprüfen.

Fazit

Der Befund aus dem eigenen Betrieb ist eindeutig: Das Modell läuft bereits auf einem einzelnen Gerät, und im Zweier-Verbund kommen hier rund 19 Token pro Sekunde heraus. Damit gehört DeepSeek V4 Flash zu den stärksten Modellen, die sich derzeit lokal sinnvoll betreiben lassen.

Die richtige Erwartung dazu liefert die Hardware-Architektur: Diese Systeme sind auf Kapazität optimiert, nicht auf Bandbreite. Sie ermöglichen Modelle, die anderswo gar nicht laufen — schnell machen sie sie nicht. Und ein Verbund verdoppelt die Kapazität, nicht das Tempo.

Für Analyse, Zusammenfassung und Codeverständnis ist diese Größenordnung brauchbar, weil sie etwa im Lesetempo liegt. Für lange Agentenketten ist sie es nicht — dort summiert sich die Wartezeit über jeden einzelnen Schritt.

Quellen und weiterführende Informationen

• Eigener Betrieb — Messung im Verbund aus zwei DGX Sparks; die genannte Token-Rate stammt aus diesem Setup und ist nicht auf andere Konfigurationen übertragbar.
• Modellkarte im offiziellen Repository des Anbieters — maßgeblich für Parameterzahlen, Kontextlänge, Formate und Lizenz.
• NVIDIA (nvidia.com) — technische Daten zu DGX Spark, Speicherausstattung und Kopplung zweier Systeme.
• llama.cpp und vLLM — Dokumentation zu Quantisierungsformaten, Speicherreservierung und verteiltem Betrieb.
• heise online / c’t (heise.de) — unabhängige Messungen und Einordnung zu lokaler Inferenz.
• EUR-Lex (eur-lex.europa.eu) — KI-Verordnung (EU) 2024/1689 sowie DSGVO.

Haftungsausschluss

Allgemeiner Hinweis: Dieser Artikel auf aimageddon.de dient der allgemeinen Information und ersetzt keine technische oder rechtliche Beratung. Die genannte Token-Rate stammt aus dem eigenen Betrieb in einem Verbund aus zwei DGX Sparks und ist ausdrücklich als solche gekennzeichnet. Sie gilt für dieses Setup, diese Modellvariante und diesen Softwarestand — Quantisierungsstufe, Kontextlänge, Laufzeitumgebung und Treiberversion beeinflussen das Ergebnis erheblich, sodass sich der Wert nicht auf andere Konfigurationen übertragen lässt. Alle übrigen Angaben stammen aus Modellkarte, Projektdokumentation und Fachpresse und geben den Recherchestand wieder; in diesem Feld ändern sich Modellstände, Formate und Werkzeugketten im Wochenrhythmus.

Zu Modellbezug und Einsatz: Bezieh Modellgewichte ausschließlich aus dem offiziellen Repository des Anbieters; Kopien unter ähnlichem Namen sind verbreitet und nicht überprüfbar. Datumskürzel in Modellnamen bezeichnen Snapshots und keine Versionsnummern — zwei Stände derselben Familie können sich in Verhalten, Format und Lizenz unterscheiden. Die Bezeichnung „Open Weights“ ist nicht einheitlich definiert und reicht von uneingeschränkt kommerzieller Nutzung bis zu reinen Forschungslizenzen; maßgeblich ist die Lizenzdatei im jeweiligen Repository. Ausgaben generativer Modelle können sachlich falsch sein und gehören vor der Übernahme geprüft; bei stark quantisierten Modellen gilt das verschärft, weil der Text flüssig bleibt, während die Faktentreue nachlässt. Verarbeitest du personenbezogene Daten, gelten die Vorgaben der DSGVO; für den Zugriff auf Endgeräteinformationen § 25 TDDDG. Die KI-Verordnung (EU) 2024/1689 begründet abgestufte Pflichten je nach Einsatzzweck.

Verbraucherrechte und Affiliate: Beim Kauf von Hardware im Fernabsatz steht dir nach § 312g BGB ein vierzehntägiges Widerrufsrecht zu; seit dem 19. Juni 2026 müssen Unternehmen dafür nach § 356a BGB eine elektronische Widerrufsfunktion bereitstellen. § 312k BGB verpflichtet Anbieter laufender Verträge zu einer leicht auffindbaren Kündigungsschaltfläche. Bei Mängeln greifen §§ 437 und 438 BGB innerhalb der zweijährigen Verjährungsfrist, § 477 BGB kehrt in den ersten zwölf Monaten die Beweislast zugunsten der Käuferseite um; unionsrechtliche Grundlage ist die Verbrauchsgüterkauf-Richtlinie (EU) 2019/771. Für Preisangaben gilt § 11 PAngV mit dem 30-Tage-Tiefstpreis; §§ 5, 5a und 5b UWG untersagen irreführende Angaben. Einzelne Links in diesem Beitrag können Affiliate-Links der Programme von Amazon und Awin sein; bei einem Kauf kann eine Provision anfallen, ohne dass sich der Preis für dich ändert. Die redaktionelle Einordnung bleibt davon unberührt. Alle genannten Markennamen sind eingetragene Warenzeichen der jeweiligen Inhaber.

👉 DGX Spark auf Amazon ansehen

* Produktlinks sind Affiliate-Links. Bei einem Kauf über diese Links erhalten wir eine kleine Provision – für dich entstehen keine Mehrkosten.