Lokales LLM oder Datenschutz-Proxy: wann private KI sich lohnt

Ein lokales LLM lohnt sich, wenn Ihre Daten das Haus unter keinen Umständen verlassen dürfen, wenn Sie dauerhaft viel Last haben oder ein Team, das Modelle betreiben kann. Für die meisten Kanzleien, Praxen und mittelständischen Unternehmen, die heute schon die OpenAI-API nutzen, ist das nicht der Fall. Dort reicht es oft, die API zu behalten und Namen, Anschriften und Kennnummern zu ersetzen, bevor die Anfrage hinausgeht.

Nonimo Gateway läuft auf Ihren eigenen Servern. Tarife ansehen und Kontakt aufnehmen.

Beide Wege fallen unter das Schlagwort private KI, und beide haben Grenzen. Dieser Leitfaden ordnet ein, was die Datenschutzkonferenz dazu sagt, was ein eigenes Modell wirklich verlangt und woran Sie erkennen, welcher Weg zu Ihnen passt.

Was die Aufsichtsbehörden unter „geschlossen“ verstehen

Die Datenschutzkonferenz von Bund und Ländern unterscheidet in ihrer Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ vom Mai 2024 zwischen geschlossenen und offenen Systemen. Bei geschlossenen Systemen findet die Verarbeitung in einer eingegrenzten, technisch abgeschlossenen Umgebung statt, nur ein eng begrenzter Kreis hat Zugriff, und die Kontrolle über Ein- und Ausgabedaten liegt bei den Anwendenden. Bei offenen Systemen verlassen die Eingabedaten den geschützten Bereich. Ihr Fazit: Technisch geschlossene Systeme sind aus datenschutzrechtlicher Sicht vorzugswürdig.

In der Orientierungshilfe zu RAG-Systemen vom Oktober 2025 wird die DSK konkreter. Weil ein RAG-System sein Wissen aus den eigenen Dokumenten holt, genügt ein Modell mit weniger eigenem Faktenwissen, die Auswahl wird größer, und das System kann unter Umständen on-premise betrieben werden. So lasse sich vermeiden, dass personenbezogene Daten an Online-Betreiber großer Sprachmodelle übertragen werden. Für kleine Sprachmodelle gelten nach der DSK aber dieselben datenschutzrechtlichen Herausforderungen wie für große.

Wichtig ist, was daraus nicht folgt. Vorzugswürdig heißt nicht vorgeschrieben, und geschlossen heißt nicht zwingend lokal. Eine Anfrage, aus der vorher alle Kennungen entfernt wurden, trägt deutlich weniger Personenbezug hinaus als eine unveränderte.

Lokales LLM oder API mit Proxy im Vergleich

Kriterium	Lokales LLM	API mit Datenschutz-Proxy
Wo die Inhalte verarbeitet werden	auf Ihren Servern	Ersetzung auf Ihrem Server, Verarbeitung beim Anbieter
Was beim Anbieter ankommt	nichts	der Text mit Platzhaltern statt Namen und Kennnummern
Hardware	Server mit Grafikprozessoren, ausgelegt auf Spitzenlast	ein gewöhnlicher Server oder eine virtuelle Maschine
Personal	Betrieb, Updates, Modellwechsel, Qualitätsprüfung	Betrieb eines schlanken Dienstes
Antwortqualität	abhängig vom Modell, das Sie betreiben können	die der großen Modelle
Sachverhalt ohne Namen	bleibt im Haus	geht hinaus, ohne Kennungen
Bestehender Code	muss auf den neuen Modellserver zeigen	Basisadresse ändern

Was ein lokales LLM wirklich verlangt

Feste Preise lassen sich seriös nicht nennen, weil sie von Modellgröße, Last und Verfügbarkeit abhängen. Die Posten aber sind immer dieselben:

1. Hardware. Größere Modelle brauchen Grafikprozessoren mit viel Speicher. Wer mehrere Beschäftigte gleichzeitig bedienen will, legt die Technik auf die Spitze aus, nicht auf den Durchschnitt.
2. Betrieb. Strom, Kühlung, Ausfallsicherheit, Datensicherung und Überwachung, dazu Sicherheitsupdates für Treiber und Laufzeitumgebung.
3. Modellpflege. Offene Modelle erscheinen in kurzen Abständen. Jemand muss entscheiden, wann gewechselt wird, und prüfen, ob die neue Version Ihre Aufgaben besser oder schlechter löst.
4. Qualitätsprüfung. Ein eigenes Modell verlangt eigene Tests mit Ihren Dokumenten, sonst merken Sie Verschlechterungen erst im Mandat.
5. Menschen. Der teuerste Posten ist oft nicht die Hardware, sondern die Zeit der Leute, die das alles können und dafür nicht an anderen Projekten arbeiten.

Hinzu kommt: Auch ein lokales Modell entbindet nicht von der DSGVO. Zugriffsrechte, Protokolle, Löschfristen und Auskunftsrechte regeln Sie nun vollständig selbst.

Wann sich ein eigenes Modell lohnt

• Die Daten dürfen Ihr Netz aus rechtlichen oder vertraglichen Gründen gar nicht verlassen, etwa bei Verschlusssachen oder bei Auftraggebern, die das vorschreiben.
• Der Personenbezug steckt im Sachverhalt selbst und lässt sich durch Ersetzen nicht lösen, etwa bei seltenen Diagnosen in einer kleinen Stadt.
• Sie haben eine hohe, gleichmäßige Last, bei der sich eigene Hardware rechnet.
• Sie haben ein Team, das Modelle betreiben und prüfen kann, oder bauen es ohnehin auf.
• Sie wollen ein Modell mit eigenen Daten nachtrainieren.

Wann die API mit Pseudonymisierung genügt

• Sie nutzen die OpenAI-API bereits, und die Ergebnisse stimmen.
• Der Personenbezug sitzt vor allem in Namen, Anschriften, Kontonummern und Kennnummern wie der Steuer-ID.
• Sie haben keine eigene Abteilung für Modellbetrieb und wollen auch keine aufbauen.
• Sie möchten heute anfangen und nicht nach einer Beschaffung.

Eine Einschränkung gilt hier ausdrücklich. Die DSK schreibt in Abschnitt 3.1 ihrer Orientierungshilfe, dass es regelmäßig nicht reicht, Namen und Anschriften zu entfernen, wenn sich der Personenbezug aus dem Zusammenhang herstellen lässt. Ein Proxy nimmt Ihnen das Ersetzen der Kennungen ab. Ob der verbleibende Sachverhalt die Person verrät, entscheiden Sie. Wie die Pseudonymisierung rechtlich einzuordnen ist, steht in unserem Leitfaden zu Pseudonymisierung nach DSGVO, und welche Angaben dabei besonders heikel sind, im Leitfaden zu besonderen Kategorien personenbezogener Daten.

Ein Beispiel aus einer Hausverwaltung

Eine Hausverwaltung in Leipzig mit 28 Beschäftigten betreut rund 1.900 Wohnungen. Sie hat ein Werkzeug gebaut, das Mieteranfragen sortiert und Antwortentwürfe schreibt. In einer typischen Anfrage stehen der Name des Mieters Jonas Wendt, seine Wohnung im zweiten Obergeschoss, seine IBAN für die Nebenkostenerstattung und eine Beschwerde über die Heizung.

Die Geschäftsführung hat beide Wege geprüft. Ein eigenes Modell hätte einen neuen Server, einen externen Dienstleister für den Betrieb und eine Testphase verlangt, in der die Antwortentwürfe neu bewertet werden. Der Proxy-Weg verlangte eine Installation auf dem vorhandenen Server und eine geänderte Basisadresse. Beim Anbieter kommt seitdem „[PERSON_1], Wohnung [ADRESSE_1], IBAN [IBAN_1]“ an, und die Antwort kommt mit den echten Angaben zurück. Die Beschwerde über die Heizung geht hinaus, verrät aber ohne Namen und Anschrift niemanden.

In einem medizinischen Versorgungszentrum, das Arztbriefe zusammenfassen lassen will, kann die Abwägung anders ausfallen, weil Gesundheitsdaten nach Art. 9 DSGVO besonders geschützt sind und eine Diagnose den Patienten im Zusammenhang erkennbar machen kann. Was dort vor jeder Eingabe herausmuss, zeigt unser Leitfaden zu Arztbriefen mit ChatGPT.

Nonimo Gateway für den Proxy-Weg

Nonimo Gateway ist ein privater Proxy für LLM-Aufrufe. Es läuft auf Ihren eigenen Servern, ersetzt personenbezogene Daten, bevor die Anfrage die OpenAI-API erreicht, und setzt die echten Werte in die Antwort zurück. Sie behalten Ihren OpenAI-Schlüssel und ändern nur base_url.

Tarife und Preise stehen auf der Seite von Nonimo Gateway.

Was ein Gateway sonst leistet und wann es privat sein sollte, erklärt was ein LLM Gateway ist. Wie verbreitete Werkzeuge Personendaten erkennen und ersetzen, zeigt unsere Übersicht über PII-Redaction-Software und der Vergleich mit Presidio. Welche Wege Daten aus Ihren Anwendungen sonst nehmen, steht unter Datenabfluss durch KI.

Erst die Kennungen, dann die Grundsatzfrage

Ein lokales LLM ist die richtige Antwort, wenn der Sachverhalt selbst das Haus nicht verlassen darf. Wenn das Problem die Namen und Nummern sind, lösen Sie es ohne neue Hardware, indem Sie sie ersetzen, bevor die Anfrage hinausgeht. Sehen Sie sich die Tarife von Nonimo Gateway an und nehmen Sie Kontakt auf.

Quellen

Alle Fundstellen am 20. Oktober 2026 in der Primärquelle geprüft.

• DSK, Orientierungshilfe „Künstliche Intelligenz und Datenschutz“, Version 1.0 vom 6. Mai 2024. Abschnitt 1.7 (geschlossene und offene Systeme, technisch geschlossene Systeme vorzugswürdig) und Abschnitt 3.1 (Entfernen von Namen und Anschriften reicht regelmäßig nicht).
• DSK, Orientierungshilfe zu datenschutzrechtlichen Besonderheiten generativer KI-Systeme mit RAG-Methode, Version 1.0, Stand Oktober 2025. Abschnitt 3.3 (größere Auswahl an Modellen, Betrieb on-premise, keine Übertragung an Online-Betreiber großer Sprachmodelle) und Abschnitt 3.5 (kleine Sprachmodelle mit denselben datenschutzrechtlichen Herausforderungen wie große).
• Verordnung (EU) 2016/679 (DSGVO). Art. 4 Nr. 5 (Pseudonymisierung), Art. 9 (besondere Kategorien personenbezogener Daten).