DSI NumériquePartage d'expériencesConformité : pourquoi les petits modèles d'IA peuvent être plus pertinents que...

Conformité : pourquoi les petits modèles d’IA peuvent être plus pertinents que les grands

La recherche récente montre que les modèles de petite taille dominent le rapport entre performance et ressources sur les tâches bornées, tout en restant en retrait sur le raisonnement complexe. Or le travail de conformité relève presque entièrement de la première catégorie. Le critère décisif n’est donc pas la puissance du modèle, mais la possibilité de rejouer son résultat des années plus tard.

Un auditeur examinait, l’an dernier, un rapport de contrôle produit avec l’aide d’une intelligence artificielle. Il a posé la question que posent tous les auditeurs depuis que le métier existe : sur quelle base cette conclusion a-t-elle été établie ? L’équipe a répondu sérieusement. Elle a décrit la démarche, le paramétrage, les données d’entrée. L’auditeur a écouté, puis il a reformulé autrement : refaites tourner l’analyse devant moi, avec le même modèle, et montrez-moi le même résultat. Ce fut impossible. Le modèle avait été mis à jour entre-temps par son fournisseur, pour d’excellentes raisons qui n’avaient rien à voir avec cette entreprise. Le rapport existait toujours. Le moyen de le vérifier avait disparu.

Ce que fait réellement une équipe conformité

Depuis trois ans, une équation domine les discussions : la qualité d’un système d’intelligence artificielle se mesure à la puissance du modèle qui l’alimente. Pour beaucoup d’usages, l’équation tient parfaitement. Appliquée à la conformité, elle produit un contresens. Regardons le travail réel, celui qui occupe les journées. Rapprocher une exigence d’un contrôle existant. Classer une preuve. Extraire une obligation d’un texte réglementaire. Comparer une réponse à une politique interne. Reconnaître qu’une question posée par un client a déjà reçu une réponse validée six mois plus tôt, dans un autre questionnaire. Ce sont des tâches bornées, répétitives, dont le résultat doit être identique d’une exécution à l’autre. Ce n’est pas de la création. C’est de l’instruction, au sens où un juge instruit un dossier.

Ce que dit la recherche, y compris quand elle dérange

Les travaux récents qui comparent les modèles par type de tâche sont assez clairs. Les modèles de petite taille dominent largement le rapport entre performance et ressources consommées, avec un débit par processeur graphique quarante à quatre-vingt-dix fois supérieur à celui des très grands modèles. Sur les tâches de classement, la performance sature très tôt : un modèle de taille modeste atteint 91,7 % d’exactitude sur un jeu de référence, et l’agrandir n’apporte pratiquement plus rien. Ces mêmes travaux disent l’inverse quand il le faut, et l’honnêteté commande de le rapporter. Sur le raisonnement complexe, les petits modèles restent en retrait de dix à trente-cinq pour cent par rapport aux plus grands. Si votre besoin consiste à explorer un problème ouvert, à formuler une hypothèse nouvelle, à écrire un texte original, prenez le modèle le plus puissant que vous pouvez vous offrir. Je n’ai aucune envie de défendre l’inverse.

Mais la conformité ne demande presque jamais à une machine de penser. Elle lui demande d’appliquer, de retrouver, de rapprocher, et surtout de pouvoir le prouver. Cette confusion sur la nature du besoin a une conséquence économique immédiate. On dimensionne des dispositifs pour une capacité de raisonnement dont on ne se sert jamais, on en paie le prix à chaque question traitée, et l’on s’étonne ensuite que le retour sur investissement tarde. Le plus souvent, ce n’est pas la technologie qui a déçu. C’est qu’on a acheté un instrument de recherche pour faire un travail de greffier.

Le critère dont personne ne parle

Ce que la scène de l’auditeur met en évidence n’est ni la puissance, ni le coût. C’est la reproductibilité. Un modèle exécuté chez vous peut être figé, versionné, conservé avec le dossier qu’il a servi à produire. Vous pouvez rejouer dans trois ans l’analyse produite aujourd’hui, avec exactement le même modèle, et obtenir exactement le même résultat. C’est la définition même d’une piste d’audit : non pas la trace de ce qui a été décidé, mais la possibilité de refaire le chemin. Cette propriété a un coût, et il serait malhonnête de le passer sous silence : figer un modèle, c’est renoncer aux améliorations que son éditeur y apportera l’année suivante. On accepte de travailler avec l’outil de l’an dernier pour pouvoir défendre le dossier de l’an dernier. Dans la plupart des métiers, l’arbitrage serait absurde. Dans un métier dont la production consiste en preuves opposables, il va de soi.

Un modèle appelé à distance ne le permet pas. Il évolue au rythme de son éditeur, et c’est parfaitement légitime pour ses autres usages. Simplement, entre deux exercices de contrôle, la machine qui a produit votre conclusion n’existe peut-être plus. Vous conservez le résultat, vous avez perdu le chemin. On m’objectera que l’on conserve les journaux, les versions successives des réponses, les traces d’exécution, et que cela suffit à documenter la décision. C’est vrai pour la traçabilité au sens strict, et beaucoup d’organisations le font sérieusement. Mais tracer n’est pas rejouer. Un journal indique ce qui s’est passé ; il ne démontre pas que la même question, posée aujourd’hui, produirait la même réponse. Or c’est cette seconde propriété que réclame un contrôleur lorsqu’il conteste une conclusion, et c’est précisément celle qui manque.

Il existe un second effet, moins discuté. Un modèle que l’on héberge se mesure. On connaît son coût par question traitée, sa consommation, son temps de réponse, et l’on peut décider d’en changer. Un modèle appelé à distance se subit : son tarif évolue, ses conditions d’usage évoluent, sa disponibilité dépend d’un contrat que l’on n’a pas négocié seul. Pour une fonction dont le métier consiste précisément à documenter les dépendances de l’entreprise, s’installer dans une dépendance non documentée ne manque pas d’ironie. Une organisation régulée ne peut pas fonder durablement ses preuves sur un composant qu’elle ne maîtrise ni dans le temps, ni dans l’espace. Ce n’est pas une position idéologique sur la technologie. C’est une contrainte d’auditabilité, et elle finira par s’imposer par la voie la plus désagréable qui soit, celle d’un contrôle qui se passe mal. Il existe une question unique pour trancher ce débat en réunion, et elle n’exige aucune compétence technique. Posez-la à votre fournisseur, posez-la à vos équipes, posez-la vous-même avant de signer.

Pouvez-vous rejouer devant moi l’analyse de l’an dernier, avec le modèle exact qui l’a produite ?

1656580398211.jpeg

Arnaud Trotignon, Président de Smart Global Governance France

Articles récents

Cela pourrait aussi vous interesser
Innovations

VoIP : comment l’IA transforme les communications professionnelles

Par Grégory ROGÉ chez SNOM FranceCes dernières années, la...

Données de santé : comment sécuriser les prompts envoyés aux IA génératives ?

Les soignants utilisent déjà l'IA générative, souvent hors de...

Cybersécurité : l’IA défensive face à l’accélération des attaques

Les cyberattaquants confient désormais à l’IA une part croissante...

LABEL4.AI aux côtés de la Présidence de la République pour une intelligence artificielle de confiance

LABEL4.AI, deeptech française spécialisée dans l’identification et la traçabilité...

FERMOD choisit EUREKA SOLUTIONS pour remplacer son ERP après vingt ans

L’éditeur EUREKA SOLUTIONS annonce le déploiement de son ERP...

Stordata renforce ses activités avec l’acquisition de FDP Solutions

L’ESN Stordata annonce l’acquisition de FDP Solutions, société spécialisée dans...

Téléphonie d’entreprise : l’IA au service de l’automatisation des appels

En quelques années, l’intelligence artificielle a quitté le terrain...

Tenable veut donner un contexte exploitable et vérifiable aux agents de sécurité IA

Le programme OPEN for AI relie les données d’exposition...

Contrôle d’accès : comment moderniser sans remplacer systématiquement les équipements

Par Steven Commander, Directeur Consultants et Régulations chez HID Prenons...

Cybersécurité : Vers une préservation du chiffrement de bout en bout

L'Alliance Française des Industries du Numérique (AFNUM)  annonce la sortie...

Cybersécurité : rzilient fait évoluer son offre d’infogérance

rzilient  franchit une nouvelle étape dans le développement de...

Katun étend la compatibilité de ses multifonctions Arivia à EKM Insight

Katun annonce que sa gamme d’imprimantes multifonctions Arivia est...