LLM Gateway: was es ist und wann Sie ein privates brauchen

20. Oktober 2026 · Geschrieben und gepflegt von Nonimo

Ein LLM-Gateway ist eine Zwischenschicht zwischen Ihren Anwendungen und den Schnittstellen der Sprachmodelle. Statt dass jede Anwendung mit eigenem Schlüssel direkt bei OpenAI oder einem anderen Anbieter anfragt, laufen alle Aufrufe über einen Punkt. Dort wird entschieden, welches Modell antwortet, wer wie viel verbrauchen darf und was protokolliert wird.

Nonimo Gateway läuft auf Ihren eigenen Servern. Tarife ansehen und Kontakt aufnehmen.

Für den Datenschutz hat dieser zentrale Punkt zwei Seiten. Er sieht jeden Prompt im Klartext, und wenn er protokolliert, entsteht eine neue Sammlung personenbezogener Daten, die vorher niemand angelegt hat. Ein privates Gateway läuft deshalb auf Ihren eigenen Servern und ersetzt Namen und Kennnummern, bevor die Anfrage das Haus verlässt.

Was ein LLM Gateway macht

Die meisten Gateways, ob sie sich LLM-Gateway, AI Gateway oder KI-Proxy nennen, bündeln dieselben Aufgaben. Die rechte Spalte zeigt, was jede davon für personenbezogene Daten bedeutet.

Aufgabe	Was das Gateway tut	Was das für personenbezogene Daten heißt
Routing	verteilt Anfragen auf Modelle und Anbieter, weicht bei Ausfällen aus	der Prompt kann bei einem anderen Anbieter landen als geplant
Schlüsselverwaltung	hält die API-Schlüssel zentral, Anwendungen bekommen interne Zugänge	gut: weniger Schlüssel in Quellcode und Konfigurationsdateien
Kosten und Limits	zählt Tokens je Team oder Anwendung, setzt Obergrenzen	unkritisch, solange nur Zahlen gezählt werden
Protokolle	speichert Anfragen und Antworten zur Fehlersuche und Auswertung	jeder Prompt mit Personenbezug liegt ein zweites Mal vor
Guardrails	prüft Ein- und Ausgaben, blockiert oder verändert sie	hier kann der Schutz personenbezogener Daten ansetzen

Ein Gateway ist also zuerst ein Werkzeug für Betrieb und Kostenkontrolle. Datenschutz ist keine Grundfunktion, sondern eine Frage der Einstellungen und der Erweiterungen. Wie verbreitete Produkte das lösen, zeigen unsere Vergleiche zu LiteLLM und Kong.

AI Gateway, LLM-Proxy, Router: ein Ding, drei Namen

Die Begriffe werden uneinheitlich benutzt. „LLM-Gateway“ betont, dass es um Sprachmodelle geht. „AI Gateway“ verwenden Hersteller, die auch Bild- oder Sprachdienste anbinden. „Proxy“ beschreibt die Technik: Die Anwendung schickt ihre Anfrage an eine Adresse im eigenen Netz, und von dort geht sie weiter.

Für Ihre Prüfung ist der Name zweitrangig. Wichtig sind drei Fragen: Wo läuft das Gateway, was speichert es, und verändert es die Anfrage, bevor sie hinausgeht?

Wenn das Gateway Prompts speichert

Protokolle sind der Teil, den Fachabteilungen am meisten schätzen und Datenschutzbeauftragte am wenigsten. Wer nachvollziehen will, warum ein Modell falsch geantwortet hat, braucht den Prompt. Wer aber jeden Prompt aufhebt, hebt auch jede Mandantenakte auf, die jemand in die Anwendung kopiert hat.

Nach Art. 5 Abs. 1 Buchst. c DSGVO müssen personenbezogene Daten auf das für die Zwecke der Verarbeitung notwendige Maß beschränkt sein. Ein Protokoll, das vollständige Prompts unbefristet speichert, besteht diese Prüfung selten. Art. 25 verlangt Datenschutz durch Technikgestaltung und durch datenschutzfreundliche Voreinstellungen und nennt dabei die Pseudonymisierung als Beispiel, Art. 32 Abs. 1 Buchst. a führt sie ebenfalls ausdrücklich als Maßnahme auf.

Wie verschieden Hersteller damit umgehen, zeigen drei Dokumentationen, die wir am 20. Oktober 2026 geprüft haben:

AWS schreibt in der Dokumentation der Bedrock Guardrails, dass das Feld input in den Amazon-CloudWatch-Protokollen immer die ursprüngliche, unveränderte Anfrage enthält, auch wenn der Filter maskiert hat.
LiteLLM bietet für Guardrails einen Modus logging_only, der nur die protokollierten Ein- und Ausgaben prüft und die Antwort an die Anwendung unverändert lässt.
Kong hat seinem Plugin AI Sanitizer mit Version 3.13 die Einstellung skip_logging_sanitized_items hinzugefügt, mit der sich steuern lässt, ob die bereinigten Einträge protokolliert werden.

Wird das Gateway als Clouddienst eines Dritten betrieben, kommt eine weitere Ebene hinzu: Der Betreiber verarbeitet Ihre Prompts im Auftrag, und Sie brauchen einen Vertrag nach Art. 28 DSGVO. Dasselbe gilt für den Modellanbieter selbst; was OpenAI dazu zusagt, steht in unserem Leitfaden zu ChatGPT und Datenschutz. Für Kanzleien, Steuerberatungen und Praxen kommt § 203 StGB hinzu, der das unbefugte Offenbaren fremder Geheimnisse durch Berufsgeheimnisträger unter Strafe stellt. Was das für die Pseudonymisierung bedeutet, erklärt unser Leitfaden zu Pseudonymisierung nach DSGVO.

Wann Sie ein privates Gateway brauchen

Nicht jede Organisation braucht eines. Wenn Ihre Anwendungen nur Produkttexte oder Quellcode ohne Personenbezug an ein Modell schicken, genügt ein gewöhnliches Gateway oder gar keines. Anders sieht es aus, wenn einer dieser Punkte zutrifft:

Ihre Anwendungen verarbeiten Mandanten-, Patienten-, Kunden- oder Beschäftigtendaten.
Sie unterliegen einer Verschwiegenheitspflicht, etwa als Kanzlei, Steuerberatung oder Praxis.
Sie möchten Protokolle, aber keine Kopie der Akten in einem fremden System.
Mehrere Teams bauen eigene KI-Funktionen, und Sie wollen eine Stelle, an der die Regeln gelten, die Ihre KI-Richtlinie festlegt.

Privat heißt hier zweierlei: Das Gateway läuft in Ihrer Umgebung, und es verändert die Anfrage, bevor sie hinausgeht. Ein Gateway auf dem eigenen Server, das Prompts unverändert weiterleitet, hält die Protokolle im Haus, aber nicht die Daten. Ob Sie stattdessen gleich das Modell selbst betreiben sollten, besprechen wir im Leitfaden lokales LLM oder Datenschutz-Proxy.

Ein Beispiel aus einer Steuerkanzlei

Eine Steuerkanzlei mit 35 Beschäftigten in Würzburg hat ein internes Werkzeug gebaut, das Schreiben des Finanzamts zusammenfasst und einen Antwortentwurf vorschlägt. Es ruft die OpenAI-API mit dem Schlüssel der Kanzlei auf. Ein typischer Prompt enthält den Namen der Mandantin Annette Rehm, ihre Anschrift in der Sanderstraße, ihre Steuer-ID und den Betrag einer Nachforderung.

Ohne Gateway liegt dieser Text an zwei Stellen: in der Anfrage an OpenAI und, je nach Einstellung, im Fehlerprotokoll des Werkzeugs. Mit einem gewöhnlichen Gateway kommt eine dritte Stelle dazu, das Gateway-Protokoll. Mit einem privaten Gateway, das ersetzt, sieht OpenAI etwa „[PERSON_1], [ADRESSE_1], Steuer-ID [STEUER_ID_1]“, die Antwort kommt mit den Platzhaltern zurück, und das Gateway setzt die echten Angaben ein, bevor der Entwurf beim Sachbearbeiter erscheint.

Der Sachverhalt selbst, also Art und Höhe der Nachforderung, geht weiterhin hinaus. Ob das für Ihr Mandat genügt, ist eine Abwägung, die Ihnen kein Werkzeug abnimmt.

Wo Nonimo Gateway passt

Nonimo Gateway ist ein privates LLM-Gateway mit genau dieser Aufgabe. Es läuft auf Ihren eigenen Servern und bildet die OpenAI-Schnittstelle nach, Sie ändern also nur die Basisadresse:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://llm-gateway.kanzlei.internal/v1",  # your Nonimo Gateway
    api_key=os.environ["OPENAI_API_KEY"],  # your own OpenAI key
)

Auf dem Hinweg ersetzt es personenbezogene Daten, auf dem Rückweg setzt es die echten Werte in die Antwort ein. Die Zuordnung bleibt auf Ihrem Server. Es kennt die Ausweise und Nummern der Länder, die wir bedienen, für Deutschland etwa die Steuer-ID. Wer LiteLLM betreibt, bindet es als Plugin ein, und Sie nutzen Ihren eigenen OpenAI-Schlüssel. Tarife und Preise stehen auf der Seite von Nonimo Gateway.

Wenn Sie wissen wollen, wo Daten sonst noch aus Ihren Anwendungen entweichen, lesen Sie weiter bei Datenabfluss durch KI. Und wenn Sie statt eines Gateways zunächst eine Bibliothek prüfen, hilft unser Vergleich mit Presidio.

Ein Gateway, das die Akte nicht kopiert

Ein LLM-Gateway bringt Ordnung in Schlüssel, Kosten und Modelle. Damit es nicht nebenbei zur größten Aktensammlung Ihres Hauses wird, sollte es auf Ihrem Server laufen und Personendaten ersetzen, bevor sie hinausgehen. Sehen Sie sich die Tarife von Nonimo Gateway an und nehmen Sie Kontakt auf.

Quellen

Alle Fundstellen am 20. Oktober 2026 auf den offiziellen Seiten geprüft.

Verordnung (EU) 2016/679 (DSGVO). Art. 5 Abs. 1 Buchst. c (Datenminimierung), Art. 25 Abs. 1 und 2 (Datenschutz durch Technikgestaltung und durch Voreinstellungen), Art. 28 (Auftragsverarbeiter), Art. 32 Abs. 1 Buchst. a (Pseudonymisierung und Verschlüsselung).
§ 203 StGB, Verletzung von Privatgeheimnissen, Gesetze im Internet. Absatz 1 Nr. 1: Ärzte und andere Heilberufe; Nr. 3: Rechtsanwälte, Notare, Wirtschaftsprüfer, Steuerberater.
AWS, Bedrock Guardrails, Filter für sensible Informationen. Das Feld input in den CloudWatch-Protokollen enthält immer die ursprüngliche Anfrage.
LiteLLM, Guardrails, Schnellstart. Modi pre_call, post_call, during_call und logging_only (prüft protokollierte Daten, ohne die Antwort zu ändern).
Kong, AI Sanitizer, Änderungsprotokoll. Version 3.13 vom 18. Dezember 2025: skip_logging_sanitized_items.

Diese Seite dient der Information. Die Produktangaben anderer Anbieter wurden am 20. Oktober 2026 auf deren offiziellen Seiten geprüft und können sich ändern.

Die Nonimo-App erledigt das auf Ihrem eigenen Rechner: Sie maskiert Mandantennamen und Ausweisnummern, bevor Ihr Text bei ChatGPT ankommt. Ohne Konto, und sie maskiert auch ohne Internetverbindung.

Häufige Fragen

Was ist ein LLM Gateway?

Ein LLM Gateway ist eine Zwischenschicht, über die alle Aufrufe Ihrer Anwendungen an Sprachmodell-APIs laufen. Es verteilt Anfragen auf Modelle, verwaltet die API-Schlüssel, zählt Kosten und schreibt Protokolle. Ihre Anwendungen sprechen nur noch mit dem Gateway, nicht mehr direkt mit dem Anbieter.

Ist ein AI Gateway dasselbe wie ein LLM Gateway?

In der Praxis meistens ja. Beide Begriffe bezeichnen einen Proxy vor KI-Schnittstellen. Manche Hersteller nennen ihr Produkt AI Gateway, weil es neben Sprachmodellen auch andere KI-Dienste anbindet, die Aufgabe bleibt dieselbe.

Speichert ein LLM Gateway personenbezogene Daten?

Wenn es Prompts und Antworten protokolliert, ja. Jeder Prompt, der einen Namen, eine Anschrift oder eine Steuer-ID enthält, liegt dann ein zweites Mal im Protokoll. Das ist eine eigene Verarbeitung, für die Datenminimierung, Speicherfristen und Zugriffsrechte gelten.

Schützt ein Gateway allein die Daten vor dem KI-Anbieter?

Nein. Ein Gateway, das Anfragen nur weiterleitet, schickt den Prompt so an den Anbieter, wie er hineinkam. Schutz entsteht erst, wenn das Gateway personenbezogene Daten vor dem Weiterleiten ersetzt oder die Anfrage blockiert.

Wann brauche ich ein privates LLM Gateway?

Sobald Ihre Anwendungen Mandanten-, Patienten- oder Beschäftigtendaten an eine LLM-API schicken. Dann sollten die Protokolle in Ihrem Haus bleiben, und die personenbezogenen Angaben sollten ersetzt sein, bevor die Anfrage Ihr Netz verlässt.

Muss ich für ein Gateway meinen Code umschreiben?

Meistens nicht. Gateways, die die OpenAI-Schnittstelle nachbilden, verlangen nur eine geänderte Basisadresse. Ihre Anwendung schickt dieselben Anfragen wie vorher, nur an eine andere Adresse.