70B-Modell lokal oder per API: Die Kostenrechnung mit echten Preisen 2026
Ein 70B-Modell lokal zu betreiben, ist 2026 technisch kein Problem mehr. Ob es sich auch finanziell lohnt, ist eine andere Frage. Dieser Beitrag rechnet sie mit echten Hardware-, Strom- und API-Preisen durch, am Beispiel eines verbreiteten Rechners für große Modelle und der aktuellen Preise für Llama 3.3 70B bei Cloud-Anbietern.
Wie viel Speicher ein 70B-Modell je nach Quantisierung und Kontext braucht, haben wir in unserem Beitrag zur Quantisierung erklärt; Leerlauf und Strom pro Token im Detail stehen im Beitrag zu den Stromkosten lokaler KI. Hier geht es nur um die Frage: lokal oder extern?
Die lokale Seite: ein Rechner mit 128 GB
Ein 70B-Modell in der verbreiteten Q4_K_M-Quantisierung ist rund 40 GB groß. Auf eine einzelne Consumer-Grafikkarte passt es nicht. Ein häufig genutzter Weg sind Rechner mit AMD Ryzen AI Max+ 395 und 128 GB gemeinsam genutztem Speicher. Als Beispiel dient der Framework Desktop: Laut Notebookcheck kostet die Konfiguration mit 128 GB wegen gestiegener Speicherpreise 2.769 Euro, 440 Euro mehr als zuvor.
Die Geschwindigkeit ist der Haken. Für Llama 70B in Q4_K_M nennt eine Benchmark-Sammlung rund 5,1 erzeugte Token pro Sekunde; je nach Software-Backend schwanken die Werte etwas. Das reicht für einzelne Fragen, eine Antwort mit 1.000 Token dauert aber über drei Minuten. Das Einlesen von Eingaben läuft dort mit rund 82 Token pro Sekunde deutlich schneller.
Beim Strom ist das System sparsam: Phoronix hat im Leerlauf rund 12 Watt an der Steckdose gemessen, unter Last im Schnitt 100 bis 104 Watt und in der Spitze rund 180 Watt.
Die externe Seite: API-Preise für Llama 3.3 70B
Dasselbe Modell bieten zahlreiche Cloud-Anbieter per API an. Laut PricePerToken (Stand 18.10.2026) reichen die Preise pro Million Token von 0,10 US-Dollar Eingabe und 0,32 US-Dollar Ausgabe bei den günstigsten Anbietern bis über einen Dollar. Groq verlangt 0,59 Dollar für die Eingabe und 0,79 Dollar für die Ausgabe und liefert dabei laut CloudZero rund 394 Token pro Sekunde.
| Weg | Kosten | Was er nicht leistet |
|---|---|---|
| Framework Desktop 128 GB, lokal | 2.769 Euro Anschaffung, dazu Strom; rund 5 Token/s | Keine schnellen Antworten bei langen Ausgaben; Anschaffung fällt auch bei wenig Nutzung an. |
| Günstigster API-Anbieter | 0,10 $ Eingabe / 0,32 $ Ausgabe pro Million Token | Deine Daten verlassen das Haus; Konditionen können sich ändern. |
| Groq | 0,59 $ / 0,79 $ pro Million Token, rund 394 Token/s | Teurer als die günstigsten Anbieter; ebenfalls externe Verarbeitung. |
Die Rechnung: Was eine Million Token lokal kostet
Mit den genannten Werten lässt sich überschlagen, was die lokale Ausgabe allein an Strom kostet. Bei 5 Token pro Sekunde dauert eine Million erzeugter Token rund 55,6 Stunden. Setzt man eine Leistungsaufnahme von 150 Watt an, zwischen gemessenem Durchschnitt und Spitze, sind das rund 8,3 Kilowattstunden. Beim durchschnittlichen Haushaltsstrompreis von 37,0 Cent je Kilowattstunde laut BDEW-Strompreisanalyse (August 2026) kostet die Million Token lokal rund 3 Euro Strom, zwischen 100 und 180 Watt gerechnet etwa 2 bis 3,70 Euro.
Beim günstigsten API-Anbieter kostet dieselbe Million erzeugter Token 0,32 Dollar. Der lokale Strom allein ist damit rund zehnmal so teuer wie die gesamte API-Nutzung, noch bevor die Anschaffung eingerechnet ist. Hinzu kommt der Leerlauf: 12 Watt rund um die Uhr ergeben rund 105 Kilowattstunden oder knapp 39 Euro im Jahr.
Die Anschaffung macht den Abstand noch größer. Für 2.769 Euro erhältst du beim günstigsten Anbieter, selbst wenn man Dollar und Euro gleichsetzt, rund 8.650 Millionen erzeugte Token. Der lokale Rechner bräuchte für diese Menge bei 5 Token pro Sekunde rund 55 Jahre Dauerbetrieb. Selbst bei durchgehender Auslastung schafft er nur rund 158 Millionen Token im Jahr. Einen Break-even über die Kosten gibt es in diesem Szenario nicht.
Alle Zahlen sind Überschlagsrechnungen aus den genannten Quellen. Deine Werte hängen von Modell, Software, Kontextlänge und Strompreis ab; die Leistungsaufnahme beim 70B-Modell haben wir nicht selbst gemessen.
Wann lokal trotzdem sinnvoll ist
Der lokale Betrieb ist keine Sparmaßnahme, kann aber aus anderen Gründen richtig sein. Wichtigster Grund: Deine Daten verlassen das Haus nicht. Das zählt bei vertraulichen Dokumenten, Kundendaten oder Gesundheitsinformationen, bei denen du eine externe Verarbeitung nicht verantworten willst oder darfst. Prüfe dann aber den gesamten Ablauf: Welche Oberfläche verwendest du, welche Verbindungen baut sie auf, und wo liegen Eingaben und Dateien?
Weitere Gründe sind Unabhängigkeit von Preisänderungen und Abschaltungen externer Dienste, Offline-Betrieb und Experimente mit Modellen, die kein Anbieter hostet. Und wenn ein Rechner mit viel Speicher ohnehin für andere Aufgaben vorhanden ist, fällt die Anschaffung nicht mehr ins Gewicht; dann bleibt der Strom als einziger Kostenpunkt.
Lies in jedem Fall die Lizenzdatei der konkreten Modellversion. Frei herunterladbare Gewichte sind keine pauschale Nutzungserlaubnis. Wie du einen Homelab-Rechner insgesamt planst, zeigt unser Homelab-KI-Setup.
Häufige Fehler bei der Kostenrechnung
| Fehler | Was stattdessen gilt |
|---|---|
| Lokal als günstiger annehmen, weil keine Gebühr pro Token anfällt | Strom und Anschaffung kosten pro Million Token ein Vielfaches der günstigsten API-Preise. |
| Nur die Leistung der Grafikkarte für die Stromrechnung ansetzen | Rechne mit der Leistung des ganzen Rechners an der Steckdose. |
| Den Leerlauf vergessen | Auch ein sparsamer Rechner verbraucht im Dauerbetrieb Strom. |
| Aus dem erfolgreichen Start auf brauchbare Geschwindigkeit schließen | Bei rund 5 Token pro Sekunde dauern lange Antworten Minuten. |
| API-Preise eines teuren Anbieters als Maßstab nehmen | Die Preise für dasselbe Modell unterscheiden sich um mehr als das Dreifache. |
| Datenschutz als Grund nennen, aber eine Cloud-Oberfläche nutzen | Prüfe den gesamten Ablauf, nicht nur, wo das Modell läuft. |
| „Frei herunterladbar“ mit frei nutzbar gleichsetzen | Lies die Lizenzdatei der konkreten Modellversion. |
Praktische Handlungsempfehlungen Oktober 2026
Kläre zuerst, warum du lokal arbeiten willst. Geht es um Kosten, nimm die API. Geht es um Datenhoheit, Offline-Betrieb oder Unabhängigkeit, rechne lokal weiter.
Rechne mit deinen Zahlen. Strompreis aus deiner Abrechnung, Leistung an der Steckdose gemessen, Token pro Sekunde mit deinem Modell und deiner Software.
Teste vor dem Kauf extern. Probiere das 70B-Modell zuerst über eine API mit deinen Aufgaben. Reicht dir die Qualität nicht, löst auch lokale Hardware das Problem nicht.
Prüfe vorhandene Hardware. Ist ein geeigneter Rechner schon da, fällt die Anschaffung weg und der lokale Betrieb wird zur Frage des Stroms und der Geduld.
Vergleiche API-Anbieter. Die Preise für Llama 3.3 70B schwanken je nach Anbieter um mehr als das Dreifache; achte zusätzlich auf Datenschutzbedingungen und Serverstandort.
Fazit
Rein nach Kosten ist ein lokal betriebenes 70B-Modell 2026 nicht konkurrenzfähig: Schon der Strom pro Million erzeugter Token kostet ein Vielfaches des günstigsten API-Preises, und die Anschaffung eines 128-GB-Rechners amortisiert sich bei realistischen Geschwindigkeiten nicht.
Betreibe ein 70B-Modell lokal, wenn Datenhoheit, Offline-Betrieb oder Unabhängigkeit für dich zählen, oder wenn die Hardware ohnehin vorhanden ist. Willst du vor allem günstig an Antworten eines 70B-Modells kommen, nutze eine API und vergleiche die Anbieter.
Quellen und weiterführende Informationen
- Notebookcheck: Framework Desktop wird wegen DRAM-Krise teurer (13.1.2026, aktualisiert 5.10.2026)
- Phoronix: Power & Thermals des Framework Desktop (18.8.2025)
- PricePerToken: Llama 3.3 70B Instruct API-Preise (Stand 18.10.2026)
- BDEW-Strompreisanalyse August 2026 (Haushaltsstrom 37,0 ct/kWh bei 3.500 kWh)
Haftungsausschluss
Transparenzhinweis: Dieser Artikel ordnet öffentlich zugängliche Informationen ein, vor allem die oben genannten Quellen (Stand: Oktober 2026). Wir testen und messen nicht selbst. Wo es um Produkte geht, stützen sich die Aussagen auf Herstellerangaben, die Tests anderer Redaktionen und veröffentlichte Benchmarks. Die Rechenbeispiele sind Überschlagsrechnungen; die Leistungsaufnahme von 150 Watt ist eine Annahme zwischen gemessenem Durchschnitt und Spitze.
Kosten- und Lizenzhinweis: Kalkuliere Anschaffung, Leerlauf und Rechenlast mit deinen tatsächlichen Nutzungsdaten. Lies bei Open-Weights-Modellen die Lizenzdatei der gewählten Version und prüfe insbesondere Territorialklauseln, Umsatzschwellen und Attributionspflichten; hole bei rechtlichen Fragen fachlichen Rat ein.
Preisstand: Hardwarepreise, Stromtarife und API-Konditionen ändern sich, teils kurzfristig. API-Preise sind in US-Dollar angegeben. Prüfe alle Werte vor deiner Entscheidung erneut, auch die Datenschutzbedingungen externer Anbieter.
Affiliate-Hinweis: Enthält dieser Artikel Links zu Produkten oder Händlern, kann es sich um Affiliate-Links handeln: Bei einem Kauf darüber erhält aimageddon.de eine Provision, ohne dass sich dein Preis erhöht. Genannte Markennamen sind Warenzeichen der jeweiligen Inhaber und dienen der sachlichen Information; es handelt sich um keine bezahlte Empfehlung.
👉 PricePerToken auf Amazon ansehen
👉 CloudZero auf Amazon ansehen
👉 strix-halo-llm-perf auf Amazon ansehen
* Produktlinks sind Affiliate-Links. Bei einem Kauf über diese Links erhalten wir eine kleine Provision – für dich entstehen keine Mehrkosten.
Affiliate-Hinweis: Dieser Beitrag enthält Affiliate-Links (mit * oder als Amazon-Partnerlink gekennzeichnet). Bei einem Kauf über diese Links erhalten wir eine kleine Provision – für dich entstehen dabei keine zusätzlichen Kosten. Wir empfehlen nur Produkte, die wir für sinnvoll halten.
