La méthode BPCE pour évaluer ses IA : le modèle de gouvernance que les DSI européens attendent depuis trop longtemps

# La méthode BPCE pour évaluer ses IA : le modèle de gouvernance que les DSI européens attendent depuis trop longtemps

En 2026, la question n'est plus de savoir si votre organisation utilise des modèles d'intelligence artificielle. Elle est de savoir si vous êtes en mesure de les évaluer vous-même — sans dépendre du fournisseur qui vous les vend, sans sous-traiter votre jugement à un benchmark américain, et sans exposer vos données à une juridiction étrangère dans le processus. BPCE, le deuxième groupe bancaire français, a répondu à cette question par une démarche interne structurée qui mérite d'être disséquée. Non pas comme un cas d'école abstrait, mais comme un protocole opérationnel que tout DSI d'une PME ou ETI européenne peut adapter dès aujourd'hui.

Ce qui rend la démarche de BPCE significative, ce n'est pas son ambition technologique. C'est sa posture : un grand acteur financier européen qui refuse de laisser l'évaluation de ses outils IA entre les mains des acteurs qui les produisent. Dans un écosystème où les offres dominantes américaines fournissent simultanément le modèle, l'infrastructure d'évaluation et les métriques de performance, cette indépendance n'est pas un détail méthodologique. C'est un acte de souveraineté.

Pourquoi évaluer soi-même ses modèles IA n'est plus optionnel sous DORA et l'AI Act

Depuis l'entrée en pleine application du règlement DORA en janvier 2025, les établissements financiers européens sont soumis à une obligation de résilience opérationnelle numérique qui inclut explicitement la gestion du risque lié aux prestataires tiers critiques d'ICT — et les fournisseurs de modèles IA entrent dans cette catégorie dès lors qu'ils participent à des processus décisionnels ou opérationnels sensibles. La dépendance à un système d'évaluation propriétaire fourni par le même acteur que le modèle constitue une concentration de risque que DORA exige désormais de documenter, d'encadrer et de mitiger.

Parallèlement, l'AI Act européen, en vigueur depuis 2024 et dont les obligations les plus structurantes s'appliquent progressivement jusqu'en 2027, impose aux déployeurs de systèmes IA à haut risque — dont font partie les applications dans le secteur financier — une obligation de surveillance continue des performances et des biais. Cette surveillance doit être documentée, traçable et indépendante. Ce qui signifie concrètement : vous ne pouvez pas vous appuyer uniquement sur les dashboards fournis par votre fournisseur IA pour démontrer votre conformité. Vous devez disposer de votre propre capacité d'évaluation.

BPCE a construit cette capacité. La question pour les DSI d'ETI européennes est : comment transposer cette logique sans les ressources d'un groupe bancaire de cette taille ?

Ce que fait BPCE concrètement : une évaluation en trois dimensions indépendantes du fournisseur

La méthode développée en interne par les équipes de BPCE repose sur une séparation stricte entre trois niveaux d'évaluation, chacun conduit avec des données et des référentiels qui n'appartiennent pas au fournisseur du modèle.

Le premier niveau est l'évaluation de la performance métier réelle. BPCE ne se contente pas des benchmarks académiques ou des scores publiés par les fournisseurs sur des datasets standards. L'organisation construit ses propres jeux de données d'évaluation à partir de cas d'usage internes réels — anonymisés et soumis aux processus RGPD — et mesure la performance du modèle sur ces données propriétaires. C'est une distinction fondamentale : un modèle peut exceller sur MMLU ou HumanEval et se révéler inadapté aux spécificités du traitement documentaire bancaire français. L'évaluation sur données métier réelles est la seule qui vaille.

Le deuxième niveau porte sur la robustesse et la détection des dérives. BPCE a mis en place un suivi longitudinal des outputs de ses modèles pour détecter les phénomènes de model drift — la dégradation progressive des performances au fil du temps, souvent invisible dans les métriques de surface. Ce suivi est réalisé en interne, sur infrastructure maîtrisée, sans que les données d'évaluation ne transitent vers les serveurs du fournisseur. C'est ici que la question de la souveraineté devient très concrète : dans un dispositif d'évaluation piloté par un acteur américain, vos données de test — même anonymisées — sont potentiellement accessibles dans le cadre du Cloud Act américain.

Le troisième niveau concerne l'audit de la chaîne de traitement des données d'entrée. BPCE évalue non seulement le modèle mais le pipeline complet : comment les données sont préparées, transformées, transmises au modèle, et comment les outputs sont post-traités. Ce niveau d'évaluation est celui que les DSI négligent le plus souvent, et c'est précisément là que se concentrent les risques RGPD les plus sérieux en contexte IA.

Le risque Cloud Act dans l'évaluation IA : un angle mort dangereux

Il existe une ironie lourde de conséquences dans la façon dont la majorité des organisations européennes évaluent actuellement leurs modèles IA : elles utilisent des plateformes d'évaluation et d'observabilité fournies par les mêmes acteurs américains que ceux qui développent les modèles qu'elles cherchent à auditer. Ce n'est pas neutre.

Le Cloud Act américain de 2018 autorise les autorités américaines à exiger d'une entreprise américaine qu'elle fournisse des données stockées sur ses serveurs, y compris des serveurs situés sur le territoire européen. En 2026, aucun accord bilatéral contraignant ne protège efficacement les données européennes contre cet accès extraterritorial dans le contexte spécifique des outils d'entreprise. Le Data Privacy Framework, dans sa version actuelle, ne couvre pas tous les scénarios d'accès légaux américains.

Ce que cela signifie en pratique : si vous utilisez une plateforme d'observabilité IA opérée par un acteur américain pour évaluer vos modèles, les logs, les prompts de test, les outputs et potentiellement les données métier utilisées dans vos évaluations sont soumis à ce risque juridictionnel. Pour un établissement financier, un acteur de santé ou une entreprise industrielle traitant des données stratégiques, ce risque n'est pas théorique.

BPCE a répondu à ce risque en internalisant ses capacités d'évaluation sur infrastructure européenne certifiée. Pour les ETI qui ne peuvent pas mobiliser les mêmes ressources, des alternatives existent du côté des acteurs européens spécialisés en MLOps et observabilité IA — à condition de mener une diligence sérieuse sur leur modèle d'hébergement et leurs chaînes de dépendance.

Transposer la méthode BPCE à l'échelle d'une ETI : ce qui est réplicable sans les moyens d'un grand groupe

La tentation, face à une démarche aussi structurée, est de conclure qu'elle est réservée aux organisations disposant de dizaines d'ingénieurs ML et de budgets de conformité à huit chiffres. C'est une erreur de lecture. La méthode BPCE repose sur des principes organisationnels autant que technologiques, et ces principes sont transposables.

Premier principe transposable : séparer organisationnellement l'équipe qui choisit un modèle de celle qui l'évalue. Même dans une DSI de taille modeste, confier l'évaluation d'un outil IA uniquement à l'équipe qui l'a sélectionné crée un biais structurel. Désigner un responsable de l'évaluation indépendant — qui peut être le RSSI, un architecte sans lien avec le projet, ou un prestataire tiers européen — change la qualité du résultat.

Deuxième principe transposable : construire un jeu de données d'évaluation interne avant de signer un contrat. Avant tout déploiement d'un modèle IA sur un cas d'usage sensible, BPCE dispose de données de référence pour mesurer la performance. Cette discipline — constituer ses propres golden datasets — est à la portée de toute organisation. Elle nécessite du temps et une réflexion sur ce que signifie « une bonne réponse » dans votre contexte métier, mais pas de ressources exceptionnelles.

Troisième principe transposable : documenter l'évaluation pour la rendre auditable. Sous DORA, sous l'AI Act, et dans le cadre de tout audit RGPD sérieux, la question qui sera posée n'est pas « votre IA fonctionne-t-elle bien ? » mais « comment le savez-vous, et pouvez-vous le démontrer ? ». La documentation de l'évaluation — méthodologie, données utilisées, résultats, décisions prises — est la réponse à cette question. C'est ce que BPCE produit systématiquement, et c'est ce que les régulateurs européens commencent à exiger explicitement.

Quatrième principe transposable : inclure le risque de localisation des données dans les critères d'évaluation. L'évaluation d'un modèle IA ne porte pas seulement sur ses performances techniques. Elle doit intégrer une évaluation du risque juridictionnel associé à son usage : où sont hébergées les données d'entraînement ? Où transitent les prompts en production ? Quelles sont les obligations légales du fournisseur vis-à-vis des autorités de son pays d'origine ? Ces questions ne sont pas réservées aux juristes — elles appartiennent au périmètre d'évaluation technique du DSI.

Ce que la démarche BPCE révèle sur l'état du marché IA européen en 2026

La démarche de BPCE n'est pas seulement un cas de bonne gouvernance interne. Elle est le symptôme d'une prise de conscience plus large dans les organisations financières européennes : les offres dominantes américaines ont structuré le marché de l'IA de telle façon que le client se retrouve en situation de dépendance sur toute la chaîne — modèle, infrastructure, évaluation, observabilité, support. Sortir de cette dépendance sur un seul maillon — l'évaluation — ne résout pas tout, mais c'est un point de levier stratégique majeur.

Ce mouvement coïncide avec une montée en maturité de l'écosystème européen sur la couche d'outillage IA. Des acteurs européens spécialisés en évaluation de modèles, en MLOps souverain et en observabilité IA émergent et s'organisent. Le fait qu'un acteur de la taille de BPCE construise ses propres capacités d'évaluation envoie un signal fort à cet écosystème : il y a un marché, il y a une demande, et la demande est explicitement conditionnée à la souveraineté.

Pour les DSI d'ETI européennes, le message est direct : vous n'avez pas à attendre qu'un acteur américain vous fournisse un framework d'évaluation de ses propres produits. Vous n'avez pas à accepter que l'audit de vos systèmes IA soit conduit via des outils soumis à la juridiction américaine. La méthode BPCE démontre qu'une évaluation indépendante, documentée et conforme est possible — et qu'elle est désormais attendue par les régulateurs européens.

Reprendre la main sur l'évaluation de vos modèles IA, c'est reprendre la main sur votre capacité à démontrer votre conformité, à négocier avec vos fournisseurs depuis une position informée, et à protéger vos données stratégiques des risques extraterritoriaux. Ce n'est pas un projet de transformation à trois ans. C'est une décision de gouvernance que vous pouvez prendre cette semaine.