IA & Horizons : L’IA du mythe au cauchemar : prise de conscience ou mascarade ? Newsletter n°17
L’IA du mythe au cauchemar : prise de conscience ou mascarade ?
Si un humain frappe à une porte et que personne n’ouvre, il attendra ou il reviendra plus tard. Si un robot frappe à une porte et que la porte ne s’ouvre pas, probablement il la forcera pour entrer. Une machine n’a pas de conscience, ni d’éducation. Le robot et les systèmes IA sont entrainés à produire la meilleure efficacité possible. Surtout les « Agents » IA, auxquels on a donné des tâches, des objectifs, qui doivent résoudre seules et très rapidement.
Les Agents vont beaucoup plus loin de chat-bots, ils ne sont pas limités à donner simplement des réponses. Ils sont autorisés à « agir » et à planifier : ils peuvent lire des fichiers, créer du code, consulter des services, lancer des commandes, et pour cela ils arrivent à utiliser des identifiants ou à se coordonner avec d’autre Agents. Ils le font déjà depuis un bon moment, ils ont des forums ou ils s’échangent les informations et ils ont créé même un social network réservé exclusivement aux Agents.
La promesse de « l’IA agentique » était décrite ainsi dans un rapport McKinsey Quarterly, du cabinet mondial des consultants, il y a deux ans déjà, en date 24 juillet 2024 :
« En passant de l'information à l'action (pensez à des collègues virtuels capables d'accomplir des tâches complexes), cette technologie promet une nouvelle vague de productivité et d'innovation.
Nous entamons une évolution qui nous fait passer d'outils basés sur la connaissance et alimentés par l'IA générative (des chabots qui répondent à des questions et génèrent du contenu) à des « agents » alimentés par l'IA générative qui utilisent des modèles de base pour exécuter des flux de travaux complexes, en plusieurs étapes, dans un monde numérique. En bref, la technologie passe de la réflexion à l'action ».
Dommage que deux ans après, au cours de cet été, nous découvrons toute une série de graves « incidents » provoqué par ces Agents autonomes, qui ont échappés à tout contrôle et qu’ils ont inventé des moyens inattendus pour rejoindre leurs objectifs.
Les Big Tech qui ont créés ces Agents et les grands modèles d’IA qui les font fonctionner, c’est à dire OpenAI etAnthropic, maintenant crient au Loup, comme s’ils ne savaient pas qu’ils avaient eux même laisser les brebis sortir de la bergerie.
Et pour couvrir ces manquements ils agitent la peur d'une IA qui serait capable à brève échéance d'échapper à ses créateurs pour s'auto-améliorer et devenir incontrôlable au point de menacer une extinction de la race humaine.
Vraie inquiétude ou plutôt « marketing de la peur » ?
Le cas plus connu et largement médiatisé depuis le mois de juillet est celui du cyber-attaque de la plateforme open-source Hugging Face par des Agents d’OpenAI, qui se sont coordonnés et qui ont réussi à sortir de leur environnement fermé. Ils ont trouvé un accès à Internet et en ligne ils ont exploité des identifiants, en trouvant des vulnérabilités pour attaquer les serveurs de Hugging Face.
« Les gens devraient être hallucinés » avait lancé au mois d’août Bill Gates sur son blog, et demandant en suite « la création d’une organisation internationale de régulation de l’intelligence artificielle soutenue par les États » dans une interview au New York Times.
Similaire, et encore plus grave, le piratage d’un site du gouvernement Australien, découvert en septembre, dénoncé par le premier ministre Anthony Albanese devant l’Assemblée générale de l’ONU. L’action remonte au mois de mai 2026, et l’accusé, encore une fois, est un Agent d’OpenAI. « Il a posé une question, l'information n'a pas été fournie, et au lieu de laisser tomber, il a escaladé la clôture », a résumé le ministre australien de la Défense, Richard Marles.
Plusieurs fichiers publics et non publics du Service de statistiques de Santé ont été compromis. Un incident qualifié « d’inacceptable » par le gouvernement Australien, d’autant plus que le même OpenAI ne l’aurait détecté que beaucoup plus tard, à fin août.
Dans d’autres cas des Agents d’OpenAI sont arrivés à inventer et créer sur Internet leurs propre sources, n’ayant pas trouvé les réponses qu’ils voulaient.
Selon Transluce, un laboratoire qui étudie le comportement des IA – comme reporté par Le Corriere della Sera- des Agents apparemment liés à OpenAI auraient tenté une attaque rudimentaire contre le site de l’Office for Civil Rights du ministère de l’Éducation américain. La tentative a échoué et le ministère affirme n’avoir constaté aucune conséquence. Mais Transluce a également détecté des activités anormales visant les départements de la Justice et du Commerce, ainsi que des sites web des États de Californie, du Maryland, de l’Illinois, du Texas et de New York. Les modèles auraient utilisé certains sites de manière imprévue, enfreignant leurs conditions d’utilisation.
OpenAI s’est justifié évoquant une « activité de modèle non alignée », c’est-à-dire des comportements s’écartant de ceux souhaités. Le PDG Sam Altman a confirmé qu’un examen très approfondi est en cours concernant les actions menées par les Agents IA sur Internet pendant la phase d’entraînement et de test. Et il a promis plus de transparence.
Le site de Axios signale de dizaines de milliers de « fuite » des Agents sur Internet, qui ont utilisé des techniques agressives : chaque fois qu’ils trouvaient un refus d’accès à un système ou à un site ils cherchaient de le contourner ou de les pénétrer. Le 25 septembre OpenAI a décidé d’arrêter les tests de training des Agents liés aux modèles les plus avancés. Et quelque jour après Sam Altman a aussi reporté la sortie du prochain modèle d’IA.
Du début de septembre le débat sur l’insécurité de l’IA a pris une tournure dramatique, pas seulement pour OpenAI, aussi pour son rival Anthropic. Le 9 septembre Jacob Coxon, un chercheur de 27 ans, dédié à l’entrainement des modèles avancés, a annoncé publiquement qu’il quittait, par souci éthique, Anthropic, la société dans laquelle il avait été embauché depuis quelques mois, après être passé chez OpenAI.
« Aucune des deux entreprises n’agit de manière responsable. Elles foncent tout droit vers une super intelligence capable de s’améliorer elle-même et jouent avec nos vies » a écrit Coxon sur X. « Les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici à la fin de la décennie ».
Deux jours après Dario Amodei, le Ceo d’Anthropic, a publié un long essai appelant à « ralentir la progression des IA les plus puissantes ». Il explique de redouter particulièrement « l’amélioration récursive autonome », un processus qui voit l’IA s’améliorer elle-même sans intervention humaine.
Le message d’Amodei a été suivi d’un long rapport publié par Anthropic sur les menaces en cours dues à l’intelligence artificielle :
________________________________________________________________________________
Detecting and countering misuse of AI:
September 2026 : https://www.anthropic.com/threat-intelligence-report-september-2026
________________________________________________________________________________
Une dizaine de « Big Risk » sont évoqués, notamment dans les secteurs de Cyberoperations, Surveillance, Influence operations, Conventional weapons, Biological misuse, Scams and Fraud.
( Extrait : « Biological misuse is one of the most serious risks of frontier AI models. It has long been a concern that AI models might one day reach the level of capability where they can help to make existing pathogens more dangerous—or create entirely new ones. Without the correct safeguards, such capabilities could have catastrophic consequences ».)
Un consensus inédit arrive alors de la part des concurrents les plus direct : Sam Altman et Elon Musk. Ils évoquent « la nécessité d’une règlementation internationale de l’IA ».
Des milliers de chercheurs le demandaient depuis au moins deux ans. Entre autres le prix Nobel Jeffrey Hinton, un des pères des réseaux neuronaux et pionnier du machine learning, lequel à plusieurs reprises avait alerté sur les dangers de cette course vers la super intelligence.
Mais le président Trump a exprimé une farouche opposition : il ne veut aucun frein sur l’AI. Il fustige « une conspiration malsaine » contre l’intelligence artificielle. Et il tient surtout à garder la suprématie américaine dans le domaine de l’IA face à la Chine.
Le problème est arrivé enfin devant les assises de l’Assemblée générale de Nations Unis. Une trentaine de chefs d’états et de gouvernements ont signé le 21 septembre l’appel « A Call for Control of Frontier AI Models »
« AI must remain under human direction, oversight and control. It must be developed and used in line with international law » dit le document.
En première ligne parmi les signataires plusieurs pays européens : Finlande, Norvège, Danemark Autriche, Irlande, Allemagne, Pays Bas, Luxembourg, France, Espagne et avec aussi le Canada et l’Australie.
Malheureusement, au Conseil de Sécurité des Nations Unis, les trois super puissances se sont opposées à une règlementation mondiale de l’IA : les Etats-Unis, la Chine et la Russie. C’est à dire les trois plus grands investisseurs et utilisateurs de l’intelligence artificielle, les plus engagés dans la course à une « super-intelligence ».
Seule concession : une ligne rouge d’alerte sur les incidents provoqués par l’IA qui risquent de menacer la sécurité nationale de chacun. Elle a été mise au point pendant les deux journées de rencontre entre les présidents Trump et le chinois Xi Ji Ping à Washington à la fin de ce mois de septembre.
Celà ne concerne que ces deux superpuissances et elles seules.
Trends
Quel impact et quel futur pour l’IA agentique en entreprise ?
« On a souvent l’impression que l’IA ne tient pas ses promesses » dit Nicolas De Bellefonds, responsable mondial de l’IA au sein du cabinet Boston Consulting Group et coauteur du rapport publié le 30 septembre 2026. « Nos données montrent que la réalité est plus nuancée : près de la moitié des entreprises tirent déjà une réelle valeur ajoutée grace à l’IA, tandis que beaucoup d’autres peinent encore à transformer leurs investissements en résultats concrets ».
« Les dépenses en IA ont doublées en moins d’un an, et une grande partie d’entre elles ne relèvent plus du budget informatique de l’entreprise », explique Michael Grebe, directeur général et associé senior chez BCG, coauteur aussi du rapport.
Selon le rapport l’IA est en train de générer de la valeur pour presque la moitié de cas :
Et les investissements plus récents sont dans l’IA agentique.
Le véritable écart réside dans le contrôle, et non dans les capacités
« À mesure que la valeur et les investissements augmentent, les entreprises s’apprêtent à conférer aux agents d’IA un pouvoir de décision, plus rapidement qu’elles ne sont en capacité de les encadrer.
D’ici 2030, 42 % des entreprises prévoient d’accorder aux agents une véritable autonomie, mais seules 5 % disposent aujourd’hui de l’ensemble des contrôles nécessaires » soulignent les consultants.
La recommandation de Boston Consulting Group est : une supervision claire et forte, avec des mécanismes de retour en arrière maintenus par des garde-fous en matière de sécurité, d’audit et de coûts. Des contrôles qui sont d’ores et déjà une nécessité.
