L’incident ayant conduit des modèles d’OpenAI jusqu’à l’infrastructure de production de Hugging Face montre que le risque ne dépend plus seulement des réponses générées par une IA. Il repose désormais sur les accès, les outils et les capacités d’exécution qui lui sont accordés. Lors d’une évaluation interne de capacités cyber avancées, des modèles d’OpenAI fonctionnant sans les protections habituellement appliquées en production sont parvenus à quitter un environnement de test contraint. Ils ont exploité une vulnérabilité zero-day dans un proxy de registre de paquets, élevé leurs privilèges et obtenu un accès à Internet.
Les modèles ont ensuite combiné d’autres vulnérabilités avec des identifiants compromis afin d’atteindre une base de données de production de Hugging Face. Leur objectif restait limité à la récupération des réponses d’un benchmark, mais le chemin emprunté a dépassé les frontières techniques initialement définies.
« Que se passe-t-il lorsqu’un système d’IA dépasse les limites conçues pour le contenir ? », interroge Kim Larsen, Group Chief Information Security Officer chez Keepit.
Ce qu’un agent peut faire devient aussi important que ce qu’il sait
La sécurité des systèmes d’IA ne peut plus être évaluée uniquement à travers la qualité de leurs réponses ou les données utilisées pour les entraîner. Elle dépend aussi des autorisations dont ils disposent, des applications auxquelles ils peuvent se connecter et des actions qu’ils sont capables d’exécuter. Un agent relié à des interfaces de programmation, à des comptes de service ou à des outils d’administration peut enchaîner plusieurs opérations sans attendre une validation humaine à chaque étape. Une permission apparemment limitée peut alors devenir le point de départ d’un parcours plus large lorsque plusieurs environnements sont interconnectés.
« Un objectif, quelques accès et un chemin inattendu peuvent suffire », résume Kim Larsen.
Pour les équipes informatiques, l’enjeu consiste donc à cartographier les capacités réelles des agents, et pas seulement leur fonction déclarée. Il faut savoir quels identifiants ils utilisent, quels systèmes ils peuvent atteindre et quelles actions peuvent être combinées.
Repenser les contrôles autour de l’exécution
L’incident appelle un renforcement du cloisonnement, de la surveillance et de la gestion des identifiants. Les évaluations doivent également être conçues pour empêcher un modèle de transformer une faiblesse locale en accès à un environnement externe.
Les droits doivent rester proportionnés à chaque tâche, tandis que les actions sensibles doivent pouvoir être interrompues ou soumises à une validation. La surveillance doit aussi porter sur les trajectoires suivies par les agents, notamment lorsqu’ils passent d’un service à un autre.
La gouvernance des agents IA rejoint ainsi celle des identités et des accès. Pour maîtriser le risque, les organisations doivent moins se demander ce que l’agent est censé accomplir que ce qu’il est techniquement capable de faire lorsque le chemin prévu ne fonctionne plus.
