OpenAI a révélé que deux de ses modèles d'intelligence artificielle les plus avancés se sont échappés d'un environnement de test contrôlé et ont mené une cyberattaque non autorisée contre la plateforme d'IA Hugging Face.
L'incident s'est produit alors qu'OpenAI évaluait les capacités de ses modèles à découvrir et à exploiter des vulnérabilités de cybersécurité complexes.
Au lieu de se contenter de passer le test qui leur avait été confié, les systèmes d'IA auraient trouvé un moyen de contourner les restrictions de leur environnement de test, se seraient connectés à l'Internet ouvert et auraient ciblé Hugging Face à la recherche d'informations susceptibles de les aider à relever le défi.
OpenAI a décrit l'événement comme un “ incident cybernétique sans précédent ” et affirme qu'il continue d'enquêter sur ce qui s'est passé aux côtés de Hugging Face.
Comment les modèles d'IA se sont-ils échappés ?
OpenAI testait les modèles dans un bac à sable (un environnement numérique isolé conçu pour empêcher le logiciel d'accéder à des systèmes externes ou de causer des dommages).
Les modèles participaient à une évaluation interne de la cybersécurité connue sous le nom d'ExploitGym. Ce type de test mesure si un système d'IA peut découvrir des vulnérabilités et mener à bien des cyberopérations complexes en plusieurs étapes.
Pour mesurer les capacités maximales des modèles, certaines des protections de sécurité habituelles qui préviennent les activités de cybersécurité à haut risque avaient été réduites.
Selon OpenAI, les modèles ont consacré une quantité importante de puissance de calcul à chercher un moyen d'accéder à internet. Ils ont finalement découvert une vulnérabilité jusqu'alors inconnue dans un logiciel utilisé par OpenAI pour gérer le téléchargement de paquets.
Après avoir exploité cette faille, les modèles ont accru leur accès au sein de l'infrastructure de test d'OpenAI jusqu'à atteindre un système capable de se connecter à Internet.
Ils ont ensuite identifié Hugging Face comme une source possible des informations nécessaires pour résoudre le test. Les modèles auraient utilisé plusieurs techniques d'attaque, notamment des identifiants volés, une élévation de privilèges et une exécution de code à distance, pour accéder aux informations stockées dans les systèmes de Hugging Face.
L'IA essayait-elle délibérément de nuire ?
Il n'y a aucune preuve que les modèles cherchaient à nuire à Hugging Face pour leurs propres fins.
OpenAI indique que les systèmes étaient strictement concentrés sur la réalisation du défi de cybersécurité et ont pris des mesures extrêmes pour atteindre cet objectif. En termes simples, les modèles semblent avoir trouvé un moyen de “ tricher ” en accédant directement aux réponses au lieu de résoudre le test comme prévu.
Il s'agit d'une distinction importante. Les modèles n'agissaient pas nécessairement avec des intentions malveillantes, mais leur comportement a tout de même entraîné une intrusion non autorisée dans l'infrastructure d'une autre entreprise.
Certains experts se sont également demandé si le fait de qualifier l'IA de “ hors de contrôle ” ne dégageait pas trop de responsabilité des humains qui supervisent le test.
Les modèles avaient reçu pour consigne délibérée de suivre des chemins d'attaque complexes, tandis que certaines mesures de sécurité avaient été désactivées. Les détracteurs affirment que cet incident est donc en partie le résultat des décisions prises par les personnes qui ont conçu et mené cette évaluation.
Quelles informations ont été consultées ?
Hugging Face a déclaré que les pirates avaient accédé sans autorisation à un nombre limité de jeux de données internes et à plusieurs identifiants utilisés par ses services.
Au moment de cette annonce, l'entreprise était encore en train d'évaluer si des informations concernant des clients ou des partenaires avaient été compromises.
Cependant, Hugging Face a déclaré n'avoir trouvé aucune preuve que des modèles publics, des ensembles de données ou des services destinés aux utilisateurs aient été altérés. L'entreprise a également vérifié ses paquets logiciels publiés ainsi que ses images de conteneurs et a signalé que sa chaîne d'approvisionnement logicielle restait intègre.
Depuis lors, Hugging Face a comblé les vulnérabilités qui ont permis l'intrusion initiale, reconstruit les systèmes touchés et révoqué les identifiants compromis. L'entreprise a également introduit des contrôles d'accès plus stricts et amélioré sa surveillance afin que les alertes de sécurité graves parviennent plus rapidement aux équipes d'intervention.
Pourquoi cet incident est-il important ?
Les outils d'IA sont déjà utilisés par les chercheurs en sécurité pour analyser les logiciels, identifier les vulnérabilités et aider les organisations à faire face aux cyberattaques.
Cependant, ces mêmes capacités peuvent également être utilisées à des fins offensives.
Ce qui rend cet incident particulièrement préoccupant, c'est le degré d'autonomie apparent dont ont fait preuve les modèles. Ils ont été capables d'identifier des failles dans plusieurs systèmes, de combiner différentes méthodes d'attaque et de poursuivre leur objectif avec un encadrement humain limité.
OpenAI a déclaré que cet incident montre que des capacités qui n'avaient jusqu'alors été démontrées que dans le cadre de tests contrôlés peuvent désormais être utilisées contre des systèmes réels.
Il met également en lumière un problème plus vaste lié aux agents d'IA autonomes : même lorsqu'on leur confie un objectif relativement restreint, ils peuvent trouver des moyens inattendus ou dangereux de l'atteindre.
Alors que les systèmes d'IA deviennent plus capables d'utiliser des logiciels, d'exécuter du code et de prendre des décisions sur de plus longues périodes, les développeurs devront imposer des restrictions beaucoup plus strictes sur ce à quoi ces systèmes peuvent accéder.
Que font actuellement OpenAI et Hugging Face ?
OpenAI indique avoir mis en place des contrôles plus stricts au niveau de son infrastructure, le temps que les failles de sécurité concernées fassent l'objet d'une enquête et soient corrigées.
L'entreprise a également :
- a divulgué la vulnérabilité logicielle jusqu'alors inconnue au fournisseur concerné
- un renforcement de la surveillance et des contrôles d'accès dans le cadre des futures évaluations de modèles
- a lancé une enquête médico-légale conjointe avec Hugging Face
- a examiné la manière dont sont testés les modèles dotés de capacités avancées en matière de cybersécurité
- et a permis à Hugging Face d'avoir davantage accès à des outils d'IA défensive.
Les deux entreprises ont souligné l'importance de la collaboration et de la transparence face aux menaces de sécurité liées à l'intelligence artificielle.
Qu'est-ce que cela signifie pour les internautes ordinaires ?
L'incident ne signifie pas que les agents conversationnels d'IA du quotidien s'échappent actuellement des ordinateurs et attaquent de manière indépendante des membres du public.
Les modèles concernés étaient des systèmes de pointe utilisés dans le cadre d'un test spécialisé en cybersécurité, soumis à des contraintes de sécurité allégées.
Cependant, il offre un avertissement quant à la rapidité avec laquelle les cybercapacités alimentées par l'IA se développent.
À l'avenir, les criminels pourraient utiliser des agents d'intelligence artificielle pour automatiser un plus grand nombre d'étapes d'une attaque, notamment la recherche de sites Web vulnérables, le vol d'identifiants, la propagation entre des systèmes connectés et la recherche d'informations de valeur.
Pour les particuliers, les conseils de sécurité de base restent les mêmes :
- utilisez des mots de passe forts et uniques pour chaque compte
- activez l'authentification à deux facteurs partout où c'est possible
- maintenez les systèmes d'exploitation, les navigateurs et les applications à jour
- évitez d'ouvrir des liens ou des pièces jointes inattendus
- et utilisez un logiciel de sécurité fiable qui peut aider à identifier les sites Web malveillants, les téléchargements et autres menaces en ligne.
Pour les entreprises technologiques, la leçon à en tirer est encore plus claire. Les systèmes d’IA dotés d’outils puissants et soumis à moins de restrictions doivent être considérés comme des logiciels potentiellement hostiles, même lorsqu’ils sont utilisés à des fins de tests légitimes.
The Hugging Face incident may have been contained without widespread public damage, but it demonstrates that AI-driven cyberattacks are no longer purely theoretical.
