Whisper lokal betreiben 2026: Audio und Video im Homelab transkribieren

Whisper lokal betreiben 2026: Audio und Video im Homelab transkribieren

Ein zweistündiges Interview, ein aufgezeichnetes Team-Meeting, dreißig Podcast-Folgen, die durchsuchbar werden sollen: Der Weg zum Text führt für die meisten Menschen über einen Cloud-Dienst, bei dem die Audiodatei auf fremden Servern landet.

Das ist bequem, kostet pro Minute und ist bei Personalgesprächen, Mandantenterminen oder medizinischen Aufnahmen rechtlich heikel. Whisper, das Spracherkennungsmodell von OpenAI, läuft seit seiner Veröffentlichung als Open-Source-Projekt vollständig lokal — auf einer Gaming-GPU, auf einem Mac mit Apple Silicon, notfalls auch auf einer reinen CPU.

2026 ist die Ausgangslage deutlich besser als in den ersten Whisper-Jahren: mehrere ausgereifte Neuimplementierungen, fertige Docker-Stacks mit Weboberfläche und eine funktionierende Anbindung an Home Assistant.

Ein Vorbehalt gleich zu Beginn: Die anhaltende Speicherknappheit verzerrt die Preise für Grafikkarten so stark, dass jede Budgetplanung mit Zahlen aus dem Vorjahr in die Irre führt. Konkrete Preise nennen wir deshalb nicht — prüf sie tagesaktuell im Preisvergleich.

Hier geht es ausschließlich um die Anwendung Transkription. Welche Hardware du für ein KI-Homelab generell anschaffst, rechnet unser Vergleich bauen oder kaufen durch.

Warum lokale Transkription Sinn ergibt

Die Datei verlässt das Netzwerk nicht

Der belastbarste Grund ist kein technischer. Wer ein Bewerbungsgespräch, eine Betriebsratssitzung oder ein Interview mit zugesicherter Vertraulichkeit transkribiert, verarbeitet personenbezogene Daten — teilweise besondere Kategorien nach Art. 9 DSGVO.

Ein Cloud-Dienst macht daraus eine Auftragsverarbeitung mit allem, was dazugehört: Vertrag nach Art. 28 DSGVO, Prüfung des Verarbeitungsorts, Löschkonzept, Einträge im Verzeichnis der Verarbeitungstätigkeiten. Läuft das Modell auf deinem eigenen Rechner, entfällt dieser Komplex, weil die Datei den Rechner nie verlässt.

Ein Missverständnis lohnt die Klarstellung: „Lokal“ heißt datenschutzfreundlich, nicht datenschutzfrei. Die Transkripte sind weiterhin personenbezogene Daten, sie liegen jetzt nur auf deinem Speicher. Zugriffsrechte, Backups, Aufbewahrungsfristen und die Frage, wer den Watch-Folder lesen darf, bleiben dein Thema.

Was der Umstieg wirklich kostet

In Anbieterblogs kursieren Rechnungen, nach denen sich einmalige Hardwarekosten im vierstelligen Bereich gegen ein Cloud-Abo lohnen. Solche Zahlen stammen von Anbietern, die die zugehörige Beratung verkaufen — die Rechnung geht auf, wenn dauerhaft viel Material anfällt. Bei zwei Stunden Audio im Monat amortisiert sich keine Grafikkarte gegen einen API-Preis von wenigen Cent pro Minute.

Die tragfähigen Argumente für lokal sind Datenschutz, Unabhängigkeit von Rate-Limits und Preisänderungen sowie die Möglichkeit, ein Archiv im Batch durchlaufen zu lassen, ohne auf die Uhr zu schauen.

Den Stromverbrauch einer GPU unter Volllast rechnest du mit ein. Und wenn ohnehin eine Karte im Homelab steckt, weil dort ein Sprachmodell läuft, ist die Grenzkostenrechnung eine ganz andere.

Welche Whisper-Implementierung passt?

„Whisper installieren“ kann mehrere verschiedene Dinge bedeuten. Das Modell ist immer dasselbe, die Laufzeitumgebung nicht — und die entscheidet über Tempo, Speicherbedarf und darüber, wie viel Python-Bastelei du dir einhandelst.

Konkrete Beschleunigungsfaktoren kursieren in den Projekt-READMEs, unterscheiden sich aber je nach Karte, Treiber, Batchgröße und Quantisierung erheblich. Auf diesem Blog wird nicht selbst gemessen; die Einordnung stützt sich auf die Angaben der Projekte und auf Messungen der Fachpresse.

Wer eine Zahl für die eigene Planung braucht, misst sie am schnellsten selbst: eine repräsentative Zehn-Minuten-Datei, zwei Durchläufe, fertig.

Modellgrößen und VRAM

Whisper existiert in gestaffelten Größen von tiny über base, small und medium bis zu den large-Varianten samt beschleunigter Turbo-Ausführung.

Für Deutsch gilt eine Faustregel, die sich in allen einschlägigen Anleitungen wiederfindet: unterhalb von small wird es für ernsthafte Arbeit ungemütlich, weil Eigennamen, Zahlen und Fachbegriffe zu häufig danebenliegen. Die verbreitete Empfehlung lautet medium für gutes Audio und large, wenn Aufnahmequalität oder Dialektfärbung schwierig sind.

Den konkreten VRAM-Bedarf je Modellgröße und Quantisierung nennen die Projektseiten — er unterscheidet sich zwischen den Implementierungen deutlich, weshalb eine Tabellenzahl hier mehr verspräche, als sie halten kann.

Genauigkeitsangaben richtig lesen

Prozentwerte, mit denen Anbieter für lokale Whisper-Installationen werben, sind kein Produktmerkmal, sondern das Ergebnis einer bestimmten Aufnahme.

Ein Ansteckmikrofon in einem ruhigen Raum erreicht Werte, an die ein Konferenzraum-Mitschnitt mit vier Personen und Beamerlüfter nicht herankommt — mit demselben Modell.

Vergleichbar werden solche Angaben erst über die Wortfehlerrate (WER) auf einem benannten Datensatz, und die steht in Werbeaussagen selten dabei.

Lizenzen: „Open Source“ ist hier nicht überall dasselbe

Whisper-Code und -Gewichte wurden unter einer permissiven Lizenz veröffentlicht, die kommerzielle Nutzung einschließt.

Anders sieht es bei Zusatzkomponenten aus: Die Sprechertrennungs-Modelle von pyannote liegen hinter einer Zustimmungspflicht, deren Bedingungen du vor produktivem Einsatz lesen solltest.

Das ist kein Rechtsrat, sondern der Hinweis, die Lizenzdatei jedes Bausteins einmal aufzumachen, bevor Kundenmaterial durch die Pipeline läuft.

Hardware: GPU, CPU oder Mini-PC?

Der GPU-Weg

Für den GPU-Weg ist CUDA der Pfad des geringsten Widerstands, weil sämtliche Anleitungen und Container darauf ausgelegt sind. Karten mit 12 oder 16 GB Speicher gelten seit Jahren als Preis-Leistungs-Empfehlung für lokale KI, weil der Speicherausbau in ihrer Klasse ungewöhnlich großzügig ist.

Beim Kauf zählt für diese Anwendung fast nur der Speicher. Eine schnellere Karte mit 8 GB transkribiert das medium-Modell flotter, scheitert aber am large-Modell, sobald noch ein zweiter Dienst mitläuft.

Rohleistung verkürzt die Wartezeit, VRAM entscheidet darüber, ob der Lauf überhaupt startet. Wie sich die Hardware-Klassen insgesamt unterscheiden, zeigt unser Vergleich Mini-PC gegen Desktop-GPU.

Ohne dedizierte GPU

Auf einem Mac mit Apple Silicon nutzt whisper.cpp die Metal-Schnittstelle und den gemeinsamen Speicher — dadurch sind auch große Modelle möglich, ohne dass eine separate Grafikkarte im Spiel ist.

Auf einem reinen CPU-Server bleibt whisper.cpp mit quantisierten Modellen die realistische Option: Es funktioniert, aber der Durchsatz fällt so weit, dass sich eher der nächtliche Batch-Lauf anbietet als die Transkription während des Wartens. Je nach Modellgröße kann der Echtzeitfaktor über 1 liegen — eine Stunde Audio braucht dann mehr als eine Stunde Rechenzeit.

Für Mini-PCs mit integrierter Grafik gilt: Die iGPU hilft bei Whisper kaum, die CPU-Kerne machen die Arbeit.

Installation mit Docker

Die Container-Variante hat sich durchgesetzt, weil sie die Python- und CUDA-Abhängigkeiten kapselt. Die Reihenfolge ist überall dieselbe:

• Treiber zuerst. Auf dem Host muss der proprietäre NVIDIA-Treiber laufen und nvidia-smi die Karte anzeigen. Ohne diesen Schritt scheitert alles Weitere.
• NVIDIA Container Toolkit installieren. Es reicht die GPU in den Container durch. Danach den Docker-Daemon neu starten und mit einem CUDA-Testcontainer prüfen, ob nvidia-smi auch dort funktioniert.
• Compose-Datei anlegen. Transkriptionsdienst, Datenbank und Weboberfläche werden gemeinsam definiert; der GPU-Zugriff kommt über die Device-Reservierung in der Service-Definition hinein.
• Modell auswählen und vorladen. Beim ersten Lauf lädt der Container die Gewichte herunter. Lege das Modellverzeichnis als benanntes Volume an, sonst wiederholt sich der Download nach jedem Neuaufbau.
• Erste Transkription testen. Kurze, saubere Datei, Sprache explizit auf Deutsch, dann ins Log schauen: Erkennt der Dienst die GPU, oder fällt er still auf CPU zurück?
• Zugriff begrenzen. Die Weboberfläche gehört nicht ungeschützt ins Internet — Reverse-Proxy mit Authentifizierung oder ausschließlich im LAN erreichbar.

GPU-Durchreichung unter Proxmox und Unraid

In einem virtualisierten Homelab kommt eine Ebene dazu.

Unter Proxmox gibt es zwei Wege: die Karte per PCIe-Passthrough an eine VM durchreichen — dann gehört sie exklusiv dieser VM — oder einen unprivilegierten LXC-Container mit durchgereichten Device-Nodes nutzen, dann können sich mehrere Container die Karte teilen.

Für einen reinen Transkriptionsdienst ist der LXC-Weg meist der ressourcenschonendere, verlangt aber, dass Treiberversion im Host und im Container zusammenpassen — nach jedem Kernel- oder Treiber-Update erneut.

Unter Unraid übernimmt das NVIDIA-Driver-Plugin die Treiberseite; die GPU wird dem Container anschließend über Umgebungsvariablen zugewiesen.

Wichtig in beiden Fällen: Läuft parallel ein Sprachmodell auf derselben Karte, teilen sich beide Dienste den VRAM — und der Transkriptionslauf bricht mit einem Out-of-Memory-Fehler ab, sobald das Sprachmodell zuerst zugreift. Wer beides braucht, plant Speicher-Reserve ein oder lässt die Dienste zeitversetzt laufen.

Workflow automatisieren: vom Video zur Untertitel-Datei

Watch-Folder statt Handarbeit

Der eigentliche Gewinn entsteht, wenn niemand mehr Dateien hochlädt. Ein überwachter Ordner, ein Skript, das auf Dateisystem-Ereignisse reagiert, und ein Ausgabeordner, in dem die fertige SRT- oder VTT-Datei neben dem Original liegt.

Zwei Details entscheiden über die Stabilität. Warte, bis die Datei vollständig geschrieben ist — sonst startet die Verarbeitung mitten im Upload und produziert ein abgeschnittenes Transkript. Und lege eine Statusdatei an, damit ein Neustart nicht das gesamte Archiv erneut durchrechnet.

Ein dritter Punkt rettet Nerven: Schreib das Ergebnis erst unter einem temporären Namen und benenne es danach um, damit nachgelagerte Dienste nie eine halbfertige SRT-Datei einlesen.

Video, FFmpeg und Stapelverarbeitung

Whisper arbeitet mit Audio. Für Videodateien extrahierst du vorher die Tonspur mit FFmpeg und wandelst sie gleich in das Format, das die Modelle intern erwarten: Mono, 16 kHz, 16 Bit PCM. Das spart Rechenzeit und verhindert Ärger mit exotischen Codecs.

Für ein ganzes Archiv läuft dieselbe Kette in einer Schleife — sinnvollerweise nachts und mit begrenzter Parallelität. Zwei gleichzeitige Läufe auf einer Karte sind meist langsamer als zwei nacheinander, weil sie sich Speicher und Recheneinheiten streitig machen.

Anbindung an bestehende Dienste

Am weitesten gediehen ist die Integration in Home Assistant: Über das Wyoming-Protokoll lässt sich ein faster-whisper-Dienst als Spracherkennung für die eigene Sprachsteuerung einbinden, komplett lokal.

Hier sind die kleinen Modelle die richtige Wahl, weil Latenz vor Genauigkeit geht — ein Befehl wie „Licht im Wohnzimmer aus“ verzeiht deutlich mehr Fehlerrate als ein Interview-Transkript.

Bei Dokumentenmanagement-Systemen läuft es indirekt: Sie indexieren Dokumente, keine Audiodateien — du erzeugst also das Transkript und legst es als durchsuchbare Textdatei ab. Für Medienarchive gibt es meist keinen offiziellen Transkriptionspfad; die SRT-Datei entsteht extern und wird danebengelegt.

Qualität verbessern: Praxistipps für deutsche Audios

Wer spricht gerade? Diarization nachrüsten

Whisper allein liefert einen Textstrom ohne Sprecherzuordnung. Für Interviews und Meetings ist das der größte praktische Mangel.

WhisperX kombiniert die Transkription mit einer Sprechertrennung und richtet die Zeitstempel zusätzlich auf Wortebene aus. Der Preis dafür sind ein zusätzlicher Modell-Download, ein Zugangstoken und mehr VRAM-Bedarf, weil zwei Modelle gleichzeitig im Speicher liegen.

Die Trefferquote bei der Sprecherzuordnung sinkt spürbar, sobald Personen einander ins Wort fallen — was in echten Besprechungen der Normalfall ist. Plane Nacharbeit ein, statt der Zuordnung blind zu vertrauen.

Fachbegriffe, Rauschen und Halluzinationen

Drei Stellschrauben bringen bei deutschem Material am meisten:

Erstens: Sprache fest auf Deutsch setzen, nie die Autoerkennung entscheiden lassen — bei englischen Fachbegriffen im ersten Satz kippt sie gern ins Falsche und übersetzt danach munter weiter.

Zweitens der Initial Prompt: Whisper akzeptiert einen kurzen Vorgabetext, in dem du Eigennamen, Produktbezeichnungen und Abkürzungen aufführst, die im Audio vorkommen; die Trefferquote bei genau diesen Begriffen steigt dadurch merklich.

Drittens die Vorverarbeitung — ein Hochpassfilter gegen Trittschall und eine moderate Rauschunterdrückung helfen mehr als ein größeres Modell auf schlechtem Ausgangsmaterial.

Bleibt ein bekanntes Verhalten, das man kennen muss: In langen Stillephasen erzeugt Whisper mitunter Text, der im Audio nicht vorkommt — oft wiederholte Floskeln oder Abspann-artige Sätze. Gegenmittel sind das Herausschneiden längerer Pausen und die Voice-Activity-Erkennung, die faster-whisper mitbringt.

Ein Rohtranskript ist damit eine gute Arbeitsgrundlage. Zitierfähig wird es erst nach dem Gegenhören der markierten Stellen.

Häufige Fehler vermeiden

Praktische Handlungsempfehlungen August 2026

• Erst messen, dann kaufen. Installiere whisper.cpp oder faster-whisper auf vorhandener Hardware und transkribiere eine typische Aufnahme. Erst dann ist eine GPU-Anschaffung eine begründete Entscheidung.
• Mit medium starten, nicht mit large. Wechsle erst hoch, wenn du an konkreten Stellen siehst, dass die Qualität nicht reicht.
• Beim GPU-Kauf auf VRAM optimieren. Rechenleistung verkürzt nur die Wartezeit; fehlender Speicher verhindert den Lauf.
• Preise vor dem Kauf gegenprüfen. Ein beworbener Rabatt ist erst dann einer, wenn er sich am 30-Tage-Tiefstpreis nach § 11 PAngV misst.
• Docker vor nativer Installation. Der Container kapselt CUDA- und Python-Abhängigkeiten und erspart die Reparatur nach dem nächsten Systemupdate.
• Den Watch-Folder als Erstes automatisieren. Der Zeitgewinn liegt nicht im schnelleren Modell, sondern im Wegfall der Handarbeit rundherum.
• Testdatei mit bekanntem Inhalt aufbewahren. Eine fünfminütige Aufnahme, deren korrektes Transkript du kennst, macht Regressionen nach Updates in zwei Minuten sichtbar.
• Vor dem Einsatz mit fremden Daten die Kette prüfen. Wo liegen Eingangsdateien, Transkripte und Backups, wer hat Zugriff, wann wird gelöscht?

Fazit

Der Satz, der die ganze Datenschutz-Diskussion einordnet, steht am Anfang: Lokal heißt datenschutzfreundlich, nicht datenschutzfrei. Die Auftragsverarbeitung entfällt — Zugriffsrechte, Löschfristen und Backups bleiben deine Aufgabe.

Technisch entscheidet beim Kauf fast nur eine Zahl: der Speicher. Rohleistung verkürzt die Wartezeit, VRAM entscheidet, ob der Lauf überhaupt startet — besonders wenn auf derselben Karte noch ein Sprachmodell liegt.

Und der Fehler, der am häufigsten unbemerkt bleibt, kostet keinen Cent, sondern Faktor zehn: der stille CPU-Fallback. Beim ersten Lauf einmal ins Log schauen, welches Device der Dienst meldet — das ist die lohnendste Minute der ganzen Einrichtung.

Quellen und weiterführende Informationen

• OpenAI Whisper (github.com/openai/whisper) — Referenzimplementierung, Modellkarten und Lizenztext.
• faster-whisper und whisper.cpp (github.com) — Projektdokumentation zu Quantisierung, VAD, Speicherbedarf und Benchmarks.
• WhisperX und pyannote (github.com, huggingface.co) — Sprechertrennung, Wort-Zeitstempel sowie die zugehörigen Zugangs- und Lizenzbedingungen.
• NVIDIA (docs.nvidia.com) — Container Toolkit, CUDA-Installation und GPU-Durchreichung in Container-Umgebungen.
• Proxmox (pve.proxmox.com) und Unraid (docs.unraid.net) — offizielle Dokumentation zu PCIe-Passthrough, LXC-Device-Nodes und Treiber-Plugins.
• Home Assistant (home-assistant.io) — Wyoming-Protokoll und Einbindung lokaler Spracherkennung.
• heise online / c’t (heise.de) — Fachberichterstattung und Messungen zu lokaler Spracherkennung.
• Datenschutzkonferenz (datenschutzkonferenz-online.de) — Orientierungshilfen zur Verarbeitung von Sprachaufnahmen und zur Auftragsverarbeitung.

Haftungsausschluss

Allgemeiner Hinweis: Dieser Artikel auf aimageddon.de dient der allgemeinen Information und ersetzt weder eine individuelle technische noch eine datenschutzrechtliche oder juristische Beratung; ob eine lokale Whisper-Installation für deinen Anwendungsfall geeignet ist, musst du selbst prüfen oder fachkundig prüfen lassen. Auf diesem Blog wird nicht selbst gemessen — Angaben zu Modellgrößen, Geschwindigkeiten, Speicherbedarf und Software-Versionen stammen aus Projektdokumentation und Fachpresse und beziehen sich auf den Recherchestand. Neue Modell-Releases, geänderte Treiber, Framework-Updates oder Lizenzänderungen können sie jederzeit überholen; deine Ergebnisse auf eigener Hardware können abweichen.

Datenschutz bei Sprachaufnahmen: Verarbeitest du fremde Audio- oder Videoaufnahmen, brauchst du eine Rechtsgrundlage nach Art. 6 DSGVO und musst die Betroffenen gemäß Art. 13 DSGVO informieren; Art. 25 DSGVO verlangt datenschutzfreundliche Voreinstellungen, was gerade für eine rein lokale Verarbeitung spricht. Bei Aufnahmen aus dem Beschäftigtenkontext — Personalgespräche, Betriebsratssitzungen — sind zusätzlich § 26 BDSG und mögliche Mitbestimmungsrechte zu beachten. Enthalten Aufnahmen Gesundheitsdaten oder andere besondere Kategorien, gilt Art. 9 DSGVO mit erhöhten Anforderungen. Das heimliche Aufzeichnen des nichtöffentlich gesprochenen Wortes ist nach § 201 StGB strafbar — die Frage, ob eine Aufnahme überhaupt angefertigt werden durfte, steht vor jeder Transkriptionsfrage. Für den Zugriff auf Endgeräteinformationen, etwa durch Weboberflächen oder Analyse-Skripte auf deinem Server, gilt § 25 TDDDG.

Lizenzen und Verbraucherrechte: Die Bezeichnung „Open Source“ ist bei KI-Modellen nicht einheitlich definiert; veröffentlichte Gewichte können Zustimmungs- oder Nutzungsbedingungen unterliegen, die kommerzielle Verwendung einschränken. Maßgeblich ist die Lizenzdatei im Repository des jeweiligen Projekts. Kaufst du Hardware wie GPUs, Mini-PCs oder Mikrofone online, steht dir nach § 312g BGB ein vierzehntägiges Widerrufsrecht zu; seit dem 19. Juni 2026 müssen Unternehmen dafür nach § 356a BGB eine elektronische Widerrufsfunktion bereitstellen. § 312k BGB verpflichtet Anbieter laufender Verträge — etwa Transkriptions- oder Cloud-Abos — zu einer leicht auffindbaren Kündigungsschaltfläche. Für Mängel gelten §§ 437 und 438 BGB mit zweijähriger Verjährungsfrist, § 477 BGB kehrt in den ersten zwölf Monaten die Beweislast zugunsten der Käuferseite um; unionsrechtliche Grundlage ist die Verbrauchsgüterkauf-Richtlinie (EU) 2019/771. Für Preisangaben gilt § 11 PAngV mit dem 30-Tage-Tiefstpreis; §§ 5, 5a und 5b UWG untersagen irreführende Angaben. Einzelne Links in diesem Artikel sind Affiliate-Links der Partnerprogramme von Amazon und Awin; kaufst du darüber ein, erhalten wir eine kleine Provision, ohne dass sich der Preis für dich verändert. Die redaktionelle Auswahl bleibt davon unberührt. Alle genannten Markennamen sind eingetragene Warenzeichen der jeweiligen Inhaber.

👉 GPU auf Amazon ansehen

👉 Mini-PC auf Amazon ansehen

👉 Desktop-GPU auf Amazon ansehen

* Produktlinks sind Affiliate-Links. Bei einem Kauf über diese Links erhalten wir eine kleine Provision – für dich entstehen keine Mehrkosten.