AI gateway : ce que c'est et quand il vous en faut un privé

Un AI gateway, qu’on appelle aussi LLM gateway, est un point de passage unique entre vos applications et les API des modèles de langage. Au lieu que chaque outil interne appelle OpenAI avec sa propre clé, tous les appels transitent par lui. C’est là que se décide quel modèle répond, qui a le droit de consommer combien, et ce qui est gardé en mémoire.

Nonimo Gateway s’installe sur vos propres serveurs. Voir les offres et nous écrire.

Pour vos données personnelles, ce point central a deux visages. Il voit chaque prompt en clair et, s’il le journalise, il crée un nouveau fichier de données clients que personne n’a déclaré dans le registre. Un gateway privé tourne donc sur vos serveurs et remplace noms et numéros avant que la requête ne sorte de chez vous.

Ce que fait un AI gateway, fonction par fonction

Qu’ils se présentent comme AI gateway, LLM gateway ou proxy d’IA, la plupart de ces outils regroupent les mêmes fonctions. La colonne de droite dit ce que chacune implique pour les données personnelles qui passent par là.

Fonction	Ce que fait le gateway	Ce que cela change pour les données personnelles
Routage	répartit les appels entre modèles et fournisseurs, bascule en cas de panne	le prompt peut finir chez un autre fournisseur que prévu, avec un autre contrat
Gestion des clés	garde les clés d’API au même endroit, les applications reçoivent des accès internes	plutôt une bonne nouvelle : moins de clés qui traînent dans le code
Coûts et quotas	compte les jetons par équipe ou par application, plafonne	sans enjeu tant qu’il ne compte que des nombres
Journalisation	conserve requêtes et réponses pour le débogage et l’analyse	chaque prompt nominatif existe désormais en double
Garde-fous	inspecte les entrées et les sorties, bloque ou modifie	c’est ici que la protection des données peut se brancher

Les trois premières lignes relèvent de l’exploitation. Les deux dernières relèvent de votre délégué à la protection des données, même si elles sont souvent réglées par l’équipe technique un vendredi soir.

AI gateway, LLM gateway, proxy : un même emplacement

Le vocabulaire varie selon les éditeurs, mais l’emplacement est toujours le même : entre votre code et l’API du modèle. On distingue surtout deux familles. Les gateways hébergés, proposés par un éditeur ou un fournisseur de cloud, s’activent en quelques lignes et vous déchargent de l’exploitation, au prix d’un tiers de plus qui voit vos requêtes. Les gateways auto-hébergés tournent dans votre infrastructure, et les requêtes ne passent par personne d’autre avant le fournisseur du modèle.

Pour une entreprise française, cette différence se lit dans le contrat. Un gateway hébergé est un sous-traitant au sens de l’article 28 du RGPD, qui exige des garanties suffisantes et un contrat écrit. Il s’ajoute au fournisseur du modèle, que vous avez déjà dû encadrer. Un gateway installé chez vous et exploité par votre équipe ne crée pas de nouveau sous-traitant.

Le journal des prompts, angle mort du RGPD

La plupart des gateways journalisent par défaut, parce que c’est ce dont les développeurs ont besoin pour comprendre une réponse étrange. Le problème est que ce journal contient le texte complet des requêtes, donc les noms des clients, leurs adresses, parfois un NIR ou un diagnostic. Deux principes de l’article 5 du RGPD s’y appliquent directement : la minimisation, qui limite les données à ce qui est nécessaire, et la limitation de la conservation.

L’ANSSI, dans ses recommandations de sécurité pour un système d’IA générative, demande de journaliser les requêtes des utilisateurs (recommandation R29), mais en précisant de prendre garde à leur protection si elles contiennent des données sensibles, et renvoie aux exigences de la CNIL sur la durée de conservation. La recommandation de la CNIL sur la journalisation décrit des journaux de traçabilité : qui a accédé, quand, depuis quel poste. Rien n’y suppose de conserver le contenu intégral de chaque dossier.

Ce piège n’est pas théorique, et les éditeurs le documentent eux-mêmes :

• Chez AWS, la documentation des filtres d’informations sensibles de Bedrock Guardrails indique que le champ input des journaux CloudWatch contient toujours la requête d’origine, non modifiée, même quand le masquage est activé.
• LiteLLM propose un mode de garde-fou logging_only, décrit dans sa page de démarrage, qui ne masque les données qu’au moment de les journaliser.
• Kong a ajouté à son plugin AI Sanitizer, en version 3.13 du 18 décembre 2025, l’option skip_logging_sanitized_items, d’après son journal des modifications.

La question à poser à n’importe quel gateway, avant toute autre : que garde-t-il, où, et combien de temps ?

Quand un AI gateway privé devient nécessaire

Toutes les entreprises n’ont pas besoin d’un gateway. Une PME qui appelle un seul modèle depuis une seule application peut s’en passer. Le besoin apparaît avec la deuxième application, et la question du gateway privé avec le premier dossier client.

Un gateway privé s’impose quand au moins un de ces cas vous concerne :

1. Vos applications envoient des données de clients, de patients ou de salariés à une API de LLM, même de façon occasionnelle.
2. Vous êtes tenu au secret professionnel : avocats, experts-comptables, notaires, professionnels de santé. Un tiers de plus qui lit les requêtes est un tiers de plus à justifier.
3. Vous traitez des données de santé, que l’article 9 du RGPD range parmi les catégories particulières.
4. Votre registre des traitements doit dire où vont les prompts, et aujourd’hui personne ne sait répondre.
5. Plusieurs équipes branchent leurs propres outils et vous voulez une règle commune plutôt que cinq configurations.

Un exemple : un cabinet d’avocats de 18 personnes

Le cabinet Morel Vasseur, à Lyon, a trois outils internes : un résumé de pièces, un tri des courriels entrants et une aide à la rédaction de conclusions. Chacun appelle l’API d’OpenAI avec sa clé. Le prestataire qui les a développés ajoute un gateway open source pour centraliser les clés et suivre la facture, avec la journalisation activée.

Trois mois plus tard, la table des journaux contient plusieurs milliers de requêtes complètes : noms des parties, adresses, montants des pensions, extraits de jugements. Elle n’apparaît pas au registre, aucune durée de conservation n’est fixée, et le prestataire y a accès pour la maintenance. Rien n’a fui, mais le cabinet a constitué sans le vouloir le fichier le plus complet de ses dossiers.

La correction tient en trois gestes : désactiver la journalisation du contenu, ne garder que des compteurs, et remplacer les données personnelles avant l’envoi au modèle. Le troisième est le travail d’un proxy de confidentialité.

Où se place un proxy de confidentialité

Un proxy de confidentialité est un gateway spécialisé : il ne s’occupe ni de routage ni de quotas, il remplace les données personnelles à l’aller et remet les vraies valeurs au retour. Il peut se placer seul devant l’API, ou derrière le gateway que vous avez déjà.

Si vous exploitez LiteLLM, les options sont détaillées dans notre comparatif des garde-fous PII de LiteLLM. Si votre gateway est celui de Cloudflare ou de Kong, lisez ce que fait Cloudflare AI Gateway avec les données personnelles et l’équivalent pour Kong. Et si vous hésitez à héberger carrément votre propre modèle, notre guide LLM local ou proxy de confidentialité fait la part des choses.

Remplacer avant l’envoi est une pseudonymisation, pas une anonymisation : les données restent personnelles, et le contrat avec le fournisseur reste nécessaire. Notre guide sur ChatGPT, le RGPD et les données clients détaille ce qui reste à votre charge, et notre page sur les IA et le RGPD reprend ce qu’exige la CNIL, outil par outil.

Nonimo Gateway, le proxy qui reste chez vous

Nonimo Gateway est un proxy privé que vous installez sur vos propres serveurs. Il expose une API compatible OpenAI : vous changez base_url et votre code reste le même. Il remplace les données personnelles avant l’envoi, dont le NIR et les autres documents et numéros nationaux de chaque pays servi, puis remet les vraies valeurs dans la réponse. La correspondance reste sur votre serveur. Vous gardez votre propre clé OpenAI, et un plugin est disponible pour LiteLLM.

Les offres et les prix sont sur la page de Nonimo Gateway.

Un AI gateway met de l’ordre dans les clés, les coûts et les modèles. Pour qu’il ne devienne pas en passant le plus gros dossier client de votre structure, faites-le tourner chez vous et remplacez les données personnelles avant qu’elles ne sortent. Si une requête nominative est déjà partie, notre guide sur la violation de données et la CNIL vous aide à décider de la suite, et notre guide sur la fuite de données avec l’IA recense les autres sorties. Voyez les offres de Nonimo Gateway et écrivez-nous.

Sources

Sources vérifiées le 20 octobre 2026.

• CNIL, RGPD, chapitre 2, article 5 : la minimisation des données (paragraphe 1, point c) et la limitation de la conservation (point e) ; article 9 sur les catégories particulières, dont les données de santé.
• CNIL, RGPD, chapitre 4 : la protection des données dès la conception, avec la pseudonymisation et la minimisation (article 25), les garanties suffisantes exigées du sous-traitant (article 28), la pseudonymisation et le chiffrement parmi les mesures de sécurité (article 32, paragraphe 1, point a).
• ANSSI, Recommandations de sécurité pour un système d’IA générative, version 1.0 du 29 avril 2024 : la recommandation R29 sur la journalisation des requêtes, la vigilance quand elles contiennent des données sensibles et le renvoi aux exigences de la CNIL sur la durée de conservation.
• CNIL, recommandation relative aux mesures de journalisation, délibération n° 2021-122 du 14 octobre 2021 : le contenu d’un journal de traçabilité et sa durée de conservation, de six mois à un an dans le cas général.
• AWS, Bedrock Guardrails, filtres d’informations sensibles : le champ input des journaux CloudWatch contient toujours la requête d’origine.
• LiteLLM, garde-fous, démarrage rapide : les modes pre_call, post_call, during_call et logging_only.
• Kong, AI Sanitizer, journal des modifications : l’option skip_logging_sanitized_items en version 3.13 du 18 décembre 2025.

---

Cette page est fournie à titre d’information. Les caractéristiques des produits d’autres éditeurs ont été vérifiées sur leurs pages officielles le 20 octobre 2026 et peuvent évoluer.