L’IA : vers de nouvelles menaces sécuritaires dans l’espace cyber ?

L’IA : vers de nouvelles menaces sécuritaires dans l’espace cyber ?

par le Général Patrick Perrot, expert IA et Enjeux de Sécurité

La fin de l’année 2022 a donné le sentiment de la naissance d’une nouvelle discipline d’intelligence artificielle, l’IA générative. Cette IA générative qui s’appuie sur des larges modèles de langage est en réalité le fruit d’un processus d’évolution de l’IA qui n’en est pas encore, d’ailleurs, à sa phase terminale. L’IA générative est en effet une extension du domaine de l’intelligence artificielle en ce qu’elle prolonge les systèmes actuels à des actions d’interprétation plus évoluées et à une capacité à proposer des solutions inédites. Elle regroupe les méthodes fondées sur les larges modèles de langage en exploitant les réseaux de neurones récurrents de type « transformers » apparus en 2017 mais aussi les réseaux génératifs adverses qui ont été développés dès 2014. Elle peut être qualifiée comme une forme d’intelligence artificielle capable de proposer des solutions « créatives » inspirées de données existantes et en réponse à des requêtes. Elle peut être uni ou multimodale et ne dispose pas encore de capacité de mémorisation mais cela ne saurait tarder. Depuis son avènement, l’IA générative est appelée à se développer dans le champ de la sécurité dans des domaines ayant trait à de la fouille de données de masse entraînant l’émergence de nouvelles menaces en cybercriminalité. Pour autant, il convient de ne pas considérer l’IA générative comme la seule composante d’intelligence artificielle en matière d’attaques cyber. L’objet de cet article est de dresser un panorama des exploitations possibles de l’IA à des fins criminelles. Envisager les menaces actuelles comme émergentes représente souvent la meilleure opportunité de se protéger.

L'IA comme vecteur de transformation de la menace criminelle

Par son insertion au sein de l’espace cybernétique, l’intelligence artificielle a significativement modifié la forme de la menace criminelle tant au niveau de l’accessibilité aux outils, qu’à la typologie des cibles ou encore aux caractéristiques même du criminel.

L’intelligence artificielle est aujourd’hui disponible via des applications « open source » mais aussi accessible « as a service » pour reprendre un vocable anglais. En effet, alors que l’accessibilité à des plateformes de logiciels, voire de programmes libres a permis de faire progresser les applications en IA en ouvrant l’opportunité de bénéficier de codes complexes à de nombreux développeurs, cette accessibilité a aussi ouvert de nouvelles perspectives aux criminels qui désormais peuvent réaliser des attaques cyber à partir de méthodes d’IA.

Outre cette accessibilité, les cibles ont elles aussi changé de forme puisque le délinquant peut désormais comme le signifie « as a service » choisir sa victime en exploitant des outils adaptés. L’IA permet en effet de spécialiser les attaques et d’effectuer un véritable profilage a priori des cibles. Désormais, il est possible d’effectuer des attaques différenciés au regard de la taille d’une entreprise, d’une organisation ou d’un simple individu. Il est ainsi possible de concentrer une attaque sur des grands groupes industriels comme sur des hôpitaux, sur des organismes étatiques comme sur des mairies. Multipliant les attaques sur des cibles de basse intensité, donc de moindre protection et géographiquement dispersées, le délinquant minimise les risques tout en conservant un gain important par l’accroissement de la surface d’attaque.

La forme même du criminel a également évolué en ouvrant des possibilités, réservées il y a quelques années au champ de la criminalité organisée, à de simples délinquants de droit commun. Il est désormais possible de porter atteinte à la réputation d’un individu à partir de systèmes disponibles et très sophistiqués sur le web comme de réaliser des faux ordres de virement ou des arnaques à la romance. Il n’est plus nécessaire ni d’appartenir à un groupe criminel, ni d’être un spécialiste de l’IA pour réaliser des attaques de haut niveau.

Il est difficile d’attribuer à l’IA la genèse de toutes ces évolutions mais elle agit comme un catalyseur et les progrès de l’IA générative accélèrent et accroissent encore le champ des possibles. En effet, elle présente l’intérêt de pouvoir créer du contenu aussi vraisemblable qu’une véritable information, ce qui, dans une période où l’information est diffusée à grande vitesse, peut être source de confusion dans bien des domaines.

Particulièrement efficace et performante lorsqu’elle est bien utilisée, l’IA présente pour les criminels de belles opportunités pour commettre des actions malveillantes mais aussi pour exploiter des failles pas toujours très robustes aux attaques. Illustrons ces propos par quelques exemples précis d’attaques sur l’IA ou par l’IA.

Attaque par empoisonnement des données

L’empoisonnement des données durant la phase d’apprentissage des systèmes d’IA a pour objectif d’altérer la performance en influant sur le nombre de faux positifs comme de faux négatifs par injection de données corrompues. A titre d’illustration, l’introduction d’images étiquetées comme “produits non stupéfiants” dans des bases de données judiciaires pourraient ne plus permettre d’ identifier les produits véritablement recherchés, le système s’entrainant sur de mauvais labels. Il est également possible dans la détection de spam, d’injecter des e-mails inoffensifs étiquetés comme tel pour compromettre le système de classification et rendre le système moins efficace pour identifier le spam réel. L’altération des données d’entraînement peut aussi empêcher d’identifier une transaction bancaire frauduleuse en générant une erreur de classification. Et les domaines d’impact sont nombreux.

Attaque par exfiltration des modèles

Les attaques par exfiltration de modèles consistent à récupérer l’architecture des systèmes d’IA, les hyperparamètres comme les paramètres pour dupliquer un système et ainsi mieux cibler des attaques. Ce “vol” d’IA peut bien entendu s’effectuer en mode “boite blanche” où, ayant accès au système, l’attaquant peut aisément en comprendre le fonctionnement pour en réaliser une copie. Mais, c’est aussi possible en mode “boîte noire” en soumettant une succession de requêtes au système et, par analyse des réponses, en estimer le fonctionnement. Les taux de succès de cette forme de piratage peuvent aller jusqu’à 95%. Une fois répliqué, le modèle d’IA peut être totalement dévoyé. Il est alors par exemple possible d’inclure dans le système des portes dérobées et y placer des déclencheurs ou « trigger » pour provoquer un comportement spécifique du système.

Attaques adverses

Autre technique utilisée pour altérer totalement la sortie des systèmes est celle des attaques adverses. Cette forme d’attaque consiste à optimiser un bruit de façon à générer une perturbation indétectable à l’oeil tout en altérant totalement la réponse d’un système et donc sa capacité d’interprétation. C’est ainsi que, dans le domaine de la reconnaissance d’images, il est possible, en modifiant quelques pixels, de confondre un chien avec une voiture, un avion avec un gorille. En matière de développement des véhicules autonomes, les attaques adverses constituent une véritable menace considérant qu’un panneau « STOP » peut ne pas être reconnu par la simple apposition d’un autocollant de faible taille bien placé. Ce type d’attaques peut tromper un système automatique pour faire passer un criminel recherché pour une personne non recherché alors qu’un examen visuel suffirait à confondre l’individu.

Attaques de type deepfake

Les hypertrucages ou « deepfakes » sont apparus suite au travaux de Ian Godfellow dès 2014 et ont rapidement fait preuve de leur capacité à être exploites à des fins malveillantes notamment en matière de pornographie Il sont à l’origine de la création de faux corpus à des fins d’imitation des véritables données. Dès lors, il est possible, par des jeux de données artificielles, de fausser la distribution des données réelles en déséquilibrant les catégories sur lesquelles se fondent les résultats. Mais les hypertrucages peuvent aussi être exploités pour réaliser des impostures dans le monde réel. C’est le cas par exemple de l’infraction connue sous le nom de faux ordre de virement ou d’«arnaque au Président». Cette infraction reposait sur l’étude de l’ingénierie sociale d’une entreprise pour ensuite tenter de se faire passer pour le chef d’une entreprise en appelant un secrétariat ou service comptable et solliciter un virement conséquent. Dans ce type d’infraction de masse, le taux de réussite devrait croître considérablement. Il est en effet d’associer la voix et l’image truquées pour générer une fausse vidéo parfaitement crédible et ainsi rendre l’arnaque encore plus crédible. Il est également possible de réaliser des deepfakes en direct et plus seulement a posteriori ce qui accroît encore la vraisemblance. Ces méthodes peuvent donc être à l’origine de nombreuses infractions en lien avec l’identité comme plus globalement avec l’information : arnaque aux présidents, atteinte à la réputation, faux profils pédophiles, désinformation, altération de preuves…

Attaques des LLM (Large Langage Model)

Les LLM sont largement utilisés par nombre de citoyens et constituent dès lors de belles opportunités de surface d’attaques pour les criminels. En effet, ces modèles peuvent générer du texte, de l’image, de la vidéo comme du code informatique mais disposent de niveaux protection souvent très faibles et aisés à détourner. Il existe différentes possibilités d’attaques des plus simples au plus sophistiquées. La génération de simple prompts par exemple peut dévoyer un LLM à des fins de manipulation d’information et obtenir des informations “interdites”. Il est relativement aisé de casser certaines barrières de protection par des prompts qui, plutôt que de poser des questions directes, passent par un jeu d’acteur ou disposent en leur sein de quelques fautes d’orthographes aléatoires. Mais, ces méthodes commencent tout de même à perdre en efficacité tout au moins chez les fournisseurs les plus importants et aguerris. Malheureusement, il est encore possible de détourner les LLM les plus diffusés par des techniques de “fine tuning” ou d’adaptation ciblée. Cette méthode d’adaptation consiste à ajuster les paramètres du pré-modèle pour le spécialiser sur une tâche spécifique. Dans le cadre criminel, il est possible d’ajuster des modèles comme Chat-GPT, MISTRAL ou FALCON vers des tâches interdites. Cela demande au préalable de disposer d’une base de donnée malveillante pour accomplir cette spécialisation.

Attaques par exploitation des LLM

Les LLM peuvent être détournés mais peuvent aussi être exploités pour générer des courriels de phishing très personnalisés, toujours dans le but de voler des données sensibles ou de compromettre les informations d’identification qu’une personne utilise pour se connecter à un site web ou à un service. Les cybercriminels, même avec des compétences très limitées peuvent exploiter des systèmes comme WormGPT pour créer ce type d’infraction à un niveau particulièrement sophistiquées et souvent indétectables. WormGPT automatise la création de faux courriels très réalistes en fonction du destinataire augmentant ainsi considérablement les chances de réussite de l’attaque.

Ainsi, l’IA bouleverse le champ de la criminalité au sein de l’espace cyber. Ce bouleversement nécessite de faire travailler ensemble des experts en IA et des experts cyber car ils relèvent de deux communautés scientifiques différenciées et leurs approches diffèrent. Evaluer la menace que représente l’IA dans l’espace cyber pour les forces de sécurité intérieure a pour ambition de pouvoir, non seulement détecter de nouvelles formes d’attaques cyber mais aussi de les anticiper. La feuille de route à mettre en place oblige à un accroissement des travaux collaboratifs et une co production la recherche et l’industrie. Il est également nécessaire de développer en interne des systèmes d’IA, capables de riposter à ces attaques, de mettre en place les infrastructures de calcul et de stockage permettant ces développements, d’accroître la formation du personnel en matière d’intelligence artificielle afin de prévenir les effets de boîtes noires, de travailler sur les aspects juridiques afin de donner la capacité aux forces de sécurité intérieure de faire face à l’évolution technologique de la criminalité.