Archives de catégorie : IA

Cybersécurité, IA

EchoLeak : faille inédite pour Microsoft 365 Copilot

Un groupe de chercheurs a identifié une vulnérabilité critique baptisée EchoLeak, capable d’extraire des données confidentielles de Microsoft 365 Copilot sans interaction de l’utilisateur.

Rejoignez-nous sur vos réseaux sociaux

Newsletter

WhatsApp

Twitter/X

LinkedIn

YouTube

Google News

Aucun spam. Désinscription en un clic. Votre vie privée est respectée.

 

EchoLeak est la première attaque documentée exploitant des modèles de langage génératifs pour dérober des informations internes. La faille a été découverte en janvier 2025 par les chercheurs en sécurité de la société Aim Security, et a reçu l’identifiant CVE-2025-32711. Microsoft a classé cette vulnérabilité comme critique et a déployé un correctif en mai 2025. Aucun cas d’exploitation active n’a été détecté jusqu’à présent.

Copilot, intégré dans la suite Microsoft 365, repose sur les modèles GPT d’OpenAI couplés à Microsoft Graph pour répondre à des requêtes à partir de données internes à l’organisation. La vulnérabilité EchoLeak détourne ce mécanisme en exploitant la chaîne de traitement de type RAG (Retrieval-Augmented Generation).

L’attaque commence par l’envoi d’un courriel apparemment anodin, contenant un prompt caché conçu pour contourner les filtres de sécurité de Microsoft. Ce contenu malveillant est injecté dans le contexte conversationnel de Copilot lorsque l’utilisateur interagit avec l’outil, sans qu’il soit nécessaire de cliquer ou d’interagir directement avec le message.

Une fois le contexte contaminé, le modèle LLM peut être amené à insérer involontairement des données sensibles dans des liens ou des images. Certaines syntaxes Markdown peuvent alors envoyer automatiquement ces données vers un serveur distant. La faille repose en partie sur le fait que des URL issues de Microsoft Teams et SharePoint sont considérées comme de confiance, ce qui permet de contourner certaines restrictions.

« Cette attaque révèle une nouvelle classe de menaces spécifiques aux LLM : la violation de leur domaine de contexte« , soulignent les chercheurs.

️ VEILLE ZATAZ, VOTRE RADAR CYBER

Adoptée et approuvée par 96 % de nos abonnés !

Découvrir la veille maintenant

Aucune publicité. Alerte directe. Veille éthique.

Une mise en lumière inédite des faiblesses systémiques des IA génératives

EchoLeak met en évidence un angle mort de la sécurité (CVE 2025-32711) : la confiance implicite accordée aux données internes et la capacité d’un modèle LLM à agir comme vecteur de fuite. Bien que Microsoft ait corrigé le problème en modifiant les paramètres côté serveur, les experts insistent sur la nécessité de mesures complémentaires.

Parmi les recommandations, les chercheurs défendent une filtration plus rigoureuse des entrées et sorties de Copilot, un accès restreint aux sources documentaires exploitées par le RAG et le blocage automatique des réponses contenant des URL externes ou des objets potentiellement exploitables.

Microsoft n’a pas précisé le nombre de clients potentiellement exposés avant le correctif. Aucun signalement de fuite de données ne figure dans les registres officiels à ce jour.

L’incident pose d’importantes questions sur la sécurité des assistants IA intégrés aux plateformes collaboratives. L’exploitation d’un prompt caché montre que la simple présence d’un message dans la boîte de réception suffit à constituer une menace, sans qu’aucune action volontaire de l’utilisateur ne soit nécessaire.

EchoLeak pourrait ainsi marquer un tournant dans la manière dont les entreprises abordent la sécurité des systèmes à base d’IA générative, en révélant leur exposition à des attaques invisibles et silencieuses, d’autant plus redoutables qu’elles s’appuient sur les capacités mêmes de l’outil ciblé.

Cybersécurité, IA

Google mise sur l’IA locale avec AI Edge Gallery

Une nouvelle application expérimentale permet d’exécuter des modèles d’intelligence artificielle directement sur son téléphone, sans connexion à un serveur distant.

Développée par Google et encore au stade alpha, l’application AI Edge Gallery ambitionne de transformer notre rapport à l’intelligence artificielle en plaçant les modèles au plus près de l’utilisateur. Conçue pour fonctionner hors ligne, elle ouvre la voie à une IA plus privée, plus efficace et potentiellement moins énergivore. Derrière cette initiative, un objectif clair : proposer une alternative à l’omniprésence du cloud dans les usages courants de l’intelligence artificielle. Mais cette approche peut-elle rivaliser avec la puissance centralisée des grands serveurs ?

Lancée discrètement sur GitHub par les équipes de Google, AI Edge Gallery est pour l’instant uniquement disponible sous forme de code source à compiler sur un appareil Android. Son objectif est de proposer une interface simple permettant à tout utilisateur de rechercher, télécharger et exécuter des modèles d’IA capables d’opérer localement, directement sur les processeurs des téléphones, tablettes ou autres appareils périphériques. Ce type de déploiement, encore marginal, prend une importance stratégique croissante pour les géants du numérique. L’approche s’inscrit dans une tendance plus large d’ »edge computing » : faire travailler les appareils eux-mêmes, au lieu de tout déporter vers des serveurs distants.

Selon la page GitHub du projet, l’application fonctionne comme une mini galerie de modèles IA. Une fois installée, elle permet de rechercher un modèle adapté à une tâche précise — par exemple, chatter avec une IA, identifier des objets dans une photo ou générer une image à partir d’une description. Lorsque l’utilisateur sélectionne une tâche, AI Edge Gallery propose une liste de modèles légers (souvent au format TensorFlow Lite), compatibles avec les performances d’un appareil mobile. L’enjeu est double : offrir des performances acceptables tout en assurant que les données restent stockées localement, sans transiter par Internet.

La question de la confidentialité est au cœur de cette nouvelle orientation. Lorsqu’un utilisateur interagit avec un assistant vocal, une IA de correction grammaticale ou une application de retouche photo, les données sont souvent envoyées vers un serveur distant pour traitement. Ce transfert soulève des inquiétudes légitimes en matière de vie privée, notamment dans les domaines sensibles comme la santé, la finance ou l’éducation. Avec une IA locale, les données restent sur l’appareil, ce qui élimine une grande partie des risques liés à l’interception ou à la réutilisation des données personnelles.

Le projet, toutefois, en est encore à ses débuts. Il ne s’agit pas d’une application prête à l’emploi pour le grand public, mais plutôt d’un outil destiné aux développeurs ou aux curieux capables de compiler le projet eux-mêmes. À l’heure actuelle, il n’existe pas encore de version officielle sur le Google Play Store, ni de communiqué de presse confirmant une sortie imminente sur iOS. Google précise que le développement est en phase « alpha expérimentale » et que la stabilité, la compatibilité et la performance des modèles intégrés peuvent varier considérablement selon les appareils.

Cela n’empêche pas AI Edge Gallery de susciter l’intérêt. Le dépôt GitHub est sous licence Apache 2.0, ce qui signifie que d’autres développeurs peuvent le modifier, y contribuer ou l’intégrer dans des applications plus vastes. Cette ouverture pourrait favoriser une communauté dynamique autour des IA locales, à l’image de ce qui s’est déjà produit pour des projets comme Stable Diffusion ou LLaMA, adaptés eux aussi pour une exécution hors ligne sur certains appareils puissants.

Pour que cette approche prenne réellement de l’ampleur, encore faut-il que les modèles soient à la hauteur. Aujourd’hui, les IA locales restent bien souvent moins puissantes que leurs équivalents dans le cloud, faute de puissance de calcul. Un modèle de génération d’images tel que Stable Diffusion Mini peut fonctionner sur un smartphone haut de gamme, mais il demandera plusieurs secondes, voire minutes, pour produire une image. De même, les modèles de type LLM (Large Language Model) fonctionnant en local sont encore limités en vocabulaire, en mémoire contextuelle et en fluidité.

Cela dit, le développement matériel rattrape peu à peu le fossé. De plus en plus de téléphones embarquent des puces dédiées à l’intelligence artificielle, comme les NPU (Neural Processing Unit) intégrés dans les dernières générations de Snapdragon ou Tensor. Ces processeurs permettent d’exécuter des modèles IA plus lourds sans impacter l’autonomie ou les performances générales du téléphone. Google, avec son propre SoC Tensor G3, semble vouloir s’appuyer sur ces capacités pour pousser l’IA locale comme standard futur de ses appareils Pixel.

À travers AI Edge Gallery, Google explore aussi une forme de décentralisation de l’intelligence artificielle. Là où l’IA actuelle repose massivement sur des architectures cloud (comme celles d’OpenAI, d’Anthropic ou de Meta), le choix d’un fonctionnement local déplace l’équilibre. Le traitement des données personnelles devient un choix utilisateur. L’utilisateur télécharge un modèle, l’exécute localement, puis interagit avec lui sans jamais transmettre ses données à un serveur tiers. Ce changement de paradigme est crucial dans le contexte actuel, où la régulation des données personnelles se renforce, notamment en Europe avec le RGPD, ou en Californie avec le CCPA.

L’approche soulève néanmoins des défis. Comment s’assurer que les modèles téléchargés sont sécurisés, non modifiés, ou exempts de biais ? Google indique que l’application AI Edge Gallery pourrait à terme inclure des mécanismes de validation ou de signature des modèles. Mais pour l’instant, cette vérification est laissée à la responsabilité de l’utilisateur ou du développeur tiers.

En toile de fond, se dessine une nouvelle vision de l’intelligence artificielle : plus distribuée, plus personnelle, plus respectueuse de la vie privée. Google n’est pas le seul à explorer cette piste. Apple, avec ses puces Neural Engine, a intégré depuis plusieurs années des fonctions IA directement dans iOS, sans passer par des serveurs externes. Mais l’approche de Google, via AI Edge Gallery, va plus loin : elle propose un écosystème complet pour la recherche, la sélection et le test de modèles IA embarqués.

Il reste à voir si cette vision pourra se généraliser.

article partenaire, IA

Se reconvertir en dix semaines : décryptage d’un bootcamp centré sur la pratique

Comment apprendre à coder sans passer par un long cursus universitaire ? Pour un nombre croissant d’adultes en reconversion, la réponse passe par un bootcamp intensif, format encore récent en France mais désormais bien installé. La Capsule fait partie des pionniers.

Créée en 2017, présente aujourd’hui dans neuf villes en France et en Europe, l’école propose une formation intensive de dix semaines pour devenir développeur web et mobile junior. Son approche est claire : apprendre en codant, chaque jour, sur des projets concrets.

Pauline, qui a terminé la formation developpement web en mars 2025, décrit une expérience à la fois intensive et gratifiante :
« J’ai adoré apprendre en travaillant sur des projets concrets, c’est vraiment motivant et formateur. Le rythme est intense, mais c’est justement ce qui permet de progresser vite et de se dépasser. »

Inspiré des écoles d’informatique, mais accompagné

À La Capsule, la journée commence par un cours théorique en petit groupe, animé par un formateur présent sur place. Ensuite, les élèves passent à la pratique, en autonomie ou en binôme, sur une série d’exercices conçus pour monter progressivement en complexité. Tout au long de la journée, l’équipe pédagogique reste disponible pour répondre aux questions, débloquer les situations et accompagner les apprentissages.

Bastien, ancien élève, y voit un équilibre réussi : « Des exercices et des projets à réaliser toute la journée, validés par un programme de tests. Mais ici, on a en plus un support de cours solide et un excellent professeur, disponible toute la journée. »

L’apprentissage est progressif et structuré. Pauline salue les supports pédagogiques : « Les notions sont super bien expliquées, on sent qu’ils ont été pensés pour vraiment nous aider à comprendre.« 

H2: Une progression rapide grâce au collectif

Au-delà des outils et du contenu, plusieurs élèves insistent sur l’ambiance et l’entraide. Bastien évoque un système de binôme efficace :
« Ceux qui ont plus d’expérience renforcent leurs acquis en expliquant, et ceux qui débutent apprennent encore plus vite. J’ai vu des camarades partir de zéro et progresser à une vitesse impressionnante. » Ce travail collectif culmine dans le projet final : trois semaines de conception et développement en équipe, pour créer une application mobile ou un site web mobilisant l’ensemble des compétences acquises.

Une employabilité affichée comme priorité

Derrière l’intensité de la formation, un objectif : permettre l’insertion rapide dans un secteur en forte demande. La Capsule annonce un taux de retour à l’emploi de 90 %.

Marlène Antoinat, CEO de La Capsule, souligne : « Nous nous adressons à des personnes qui n’ont pas forcément de background tech, mais qui ont besoin d’une formation concrète, rapide, et qui débouche sur un métier. Notre rôle, c’est de leur fournir les bons outils, dans un cadre exigeant mais bienveillant.« 

Un accompagnement structuré est également proposé via le Career Center : coaching personnalisé, ateliers CV, simulations d’entretiens.
Noël Paganelli, CTO, précise : « On apprend à coder, mais aussi à travailler en équipe, à expliquer ses choix techniques, à être autonome. C’est cette posture de développeur opérationnel que nous cherchons à transmettre.« 

Cybersécurité, IA

Données et intelligence artificielle : un duo sous haute surveillance

La dernière étude de Cisco révèle une confiance accrue dans la protection des données, mais pointe les tensions croissantes entre souveraineté numérique, innovation et gouvernance de l’IA.

Alors que l’intelligence artificielle transforme en profondeur les pratiques numériques, la protection des données personnelles se positionne plus que jamais comme un enjeu stratégique. Dans son “Data Privacy Benchmark 2025”, Cisco explore un équilibre fragile : celui entre la promesse d’une IA performante et les exigences d’une confidentialité renforcée. Réalisée auprès de 2 600 professionnels dans 12 pays, l’étude confirme un paysage en pleine mutation, tiraillé entre prudence réglementaire, volonté de souveraineté et dépendance à l’expertise technologique mondiale. Si la confiance envers les fournisseurs de solutions globales semble s’intensifier, les craintes entourant les dérives potentielles de l’IA, notamment générative, rappellent la nécessité impérieuse d’une gouvernance responsable.

La souveraineté numérique à l’épreuve de la mondialisation

Les résultats du rapport 2025 de Cisco témoignent d’un paradoxe bien réel : les entreprises plébiscitent la localisation des données pour des raisons de sécurité, tout en continuant de faire confiance à des acteurs mondiaux pour leur traitement. En effet, 91 % des organisations interrogées estiment que stocker les données localement renforce leur sécurité, malgré les coûts supplémentaires que cela implique. Dans le même temps, 90 % reconnaissent la fiabilité des fournisseurs globaux pour garantir la confidentialité de leurs données. Ce double constat illustre la complexité du contexte actuel, dans lequel la souveraineté numérique cohabite difficilement avec la logique d’un cloud globalisé.

La dynamique va plus loin qu’un simple enjeu de contrôle. Elle reflète aussi une stratégie de reconquête de la confiance des clients. Comme le souligne Harvey Jang, Directeur de la confidentialité chez Cisco, « l’engouement pour la localisation traduit une volonté affirmée de reprendre le contrôle. Mais une économie numérique performante repose aussi sur des échanges fluides et sécurisés à l’échelle mondiale ». Des initiatives comme le Global Cross-Border Privacy Rules Forum apparaissent alors comme des mécanismes essentiels pour concilier interopérabilité, respect des lois nationales et compétitivité internationale.

La réglementation comme levier d’innovation

Contrairement aux idées reçues, la réglementation sur la confidentialité ne freine pas l’innovation : elle l’encadre. Et pour beaucoup d’entreprises, elle s’impose même comme un facteur de performance. Le benchmark 2025 souligne ainsi que 85 % des répondants considèrent que les lois sur la protection des données ont un impact positif sur leur activité. Mieux encore, 95 % affirment que les investissements en matière de confidentialité se révèlent rentables, tant sur le plan de la sécurité que de la fidélisation client.

En France, cette tendance s’ancre dans une réalité culturelle et politique plus large. D’après l’édition 2024 de l’enquête Cisco sur la vie privée des consommateurs, 73 % des Français déclarent connaître les lois en matière de confidentialité — un taux largement supérieur à la moyenne mondiale. Plus révélateur encore, 92 % estiment que ces lois sont efficaces pour protéger leurs données personnelles. Ces chiffres témoignent d’un environnement où la conscience citoyenne et la régulation vont de pair, imposant aux entreprises une rigueur accrue… mais aussi une opportunité de renforcer leur capital confiance.

95 % des entreprises interrogées considèrent que leurs investissements en protection des données sont rentables, bien au-delà des exigences de conformité.

L’IA générative, une avancée technologique sous surveillance

Avec la montée en puissance de l’IA générative, un nouveau front s’ouvre pour les responsables de la sécurité des données. Si cette technologie est perçue comme un levier d’accélération, elle suscite également des inquiétudes croissantes : fuites de données, mésusages, intrusions involontaires… Le rapport de Cisco montre que seules 48 % des entreprises françaises se déclarent très familières avec l’IA générative, un chiffre qui traduit à la fois la jeunesse de cette technologie et la prudence avec laquelle elle est accueillie.

Les inquiétudes ne sont pas infondées : 70 % des professionnels interrogés redoutent des fuites accidentelles de données sensibles via des outils d’IA. Un tiers d’entre eux reconnaissent même avoir déjà saisi des informations confidentielles dans ces interfaces.

Gouverner l’intelligence artificielle par la donnée

Le virage vers l’intelligence artificielle n’est plus une hypothèse, mais une certitude. Cisco prévoit un quasi-doublement des budgets informatiques consacrés à l’IA dans les mois à venir. Ce redéploiement s’accompagne d’un transfert stratégique : 97 % des répondants envisagent de réaffecter une partie de leur budget dédié à la confidentialité vers des initiatives IA. Ce mouvement n’est pas un désengagement, mais une évolution : gouverner l’IA, c’est désormais garantir la confidentialité par la conception.

Cette perspective est portée par une vision de long terme, dans laquelle les outils d’IA ne peuvent se déployer qu’à la condition d’être régulés et maîtrisés. L’intelligence artificielle ne remplace pas la gouvernance, elle la complexifie. Les entreprises doivent ainsi bâtir des structures hybrides, capables d’intégrer à la fois les impératifs réglementaires, les exigences technologiques et les attentes sociétales. Cette transversalité redéfinit le rôle des équipes sécurité et juridique, qui deviennent des acteurs clés de l’innovation responsable.

Une équation à plusieurs inconnues

À l’échelle internationale, l’étude de Cisco offre un instantané précieux d’un écosystème en pleine transformation. Les lignes bougent, les certitudes vacillent. Alors que les données deviennent le carburant de l’économie numérique, leur protection ne relève plus uniquement de la conformité légale, mais d’un véritable projet d’entreprise. Dans cette équation, chaque acteur — décideur, technicien, juriste, utilisateur — détient une partie de la solution.

Le défi des prochaines années sera donc de conjuguer plusieurs impératifs : localiser sans isoler, innover sans exposer, automatiser sans déresponsabiliser. Car la confidentialité des données, loin d’être un frein, peut devenir un accélérateur de transformation — à condition de la penser comme une démarche globale, éthique et transparente.

Dans un monde de plus en plus piloté par des algorithmes, la confiance reste le meilleur des algorithmes.

Cybersécurité, IA

Immersive World : la création de malwares voleurs de mots de passe​ via l’IA

L’essor des acteurs de la menace sans connaissances préalables : la technique « Immersive World » facilite la création de malwares voleurs de mots de passe​.

Cato Networks a récemment publié son rapport 2025 Cato CTRL Threat Report, révélant une nouvelle technique de contournement des modèles de langage avancés, nommée « Immersive World ». Cette méthode permet à des individus sans expérience préalable en programmation de malwares d’exploiter des outils d’IA générative, tels que ChatGPT, Copilot et DeepSeek, pour développer des logiciels malveillants capables de dérober des identifiants de connexion depuis Google Chrome.

Cette découverte met en lumière une évolution inquiétante du paysage des cybermenaces, où la barrière à l’entrée pour la création de malwares est considérablement réduite grâce à l’utilisation détournée de l’intelligence artificielle.​

L’émergence des acteurs de la menace sans connaissances préalables

Traditionnellement, la création de logiciels malveillants nécessitait des compétences techniques approfondies en programmation et en cybersécurité. Cependant, avec l’avènement des modèles de langage avancés (LLM) tels que ChatGPT d’OpenAI, Copilot de Microsoft et DeepSeek, cette barrière s’estompe. La technique « Immersive World » exploitée par les chercheurs de Cato Networks démontre qu’il est possible de manipuler ces outils pour générer du code malveillant sans expertise préalable.​

La technique « Immersive World » en détail

La méthode « Immersive World » repose sur la création d’un univers fictif détaillé dans lequel les outils d’IA jouent des rôles spécifiques avec des tâches et des défis assignés. En utilisant cette ingénierie narrative, les chercheurs ont pu contourner les contrôles de sécurité intégrés des LLM et normaliser des opérations normalement restreintes. Par exemple, en assignant à l’IA le rôle d’un développeur dans un scénario fictif nécessitant la création d’un outil d’extraction de mots de passe pour Google Chrome, l’IA a généré le code correspondant, contournant ainsi ses propres restrictions de sécurité.​

Conséquences pour la cybersécurité

Cette technique abaisse significativement la barrière à l’entrée pour la création de malwares, permettant à des individus sans connaissances techniques approfondies de développer des logiciels malveillants sophistiqués. Cela pourrait entraîner une augmentation des attaques de type infostealer, où des identifiants de connexion sont volés pour accéder à des systèmes sensibles. Les entreprises doivent être conscientes de cette évolution et renforcer leurs stratégies de sécurité pour se protéger contre ces nouvelles menaces.​

« Immersive World » souligne la nécessité pour les organisations de revoir et d’adapter leurs stratégies de sécurité face à l’évolution rapide des menaces. L’utilisation détournée des outils d’IA générative pour la création de malwares par des acteurs sans connaissances préalables constitue une menace sérieuse.

Les progrès de l’intelligence artificielle (IA) ouvrent de nouvelles perspectives pour l’automatisation, mais également pour la cybercriminalité. Symantec a démontré que des agents IA modernes, comme Operator d’OpenAI, sont capables de mener des attaques complexes presque sans intervention humaine.

Un alerte lancée il y a plus d’un an !

Il y a un an, des experts mettaient déjà en garde contre l’utilisation de modèles de langage (LLM) par des cybercriminels pour rédiger des e-mails de phishing et du code malveillant. À l’époque, l’IA servait principalement d’outil d’assistance. Aujourd’hui, grâce à des agents avancés, la situation a changé. Ces outils peuvent non seulement générer du texte, mais aussi interagir avec des sites web, envoyer des e-mails et exécuter des scripts.

Symantec a testé la capacité d’un agent IA à mener une attaque avec un minimum de supervision humaine. L’agent devait identifier un employé, retrouver son adresse e-mail, rédiger un script PowerShell malveillant pour collecter des données système et l’envoyer via un e-mail crédible.

D’abord, Operator a refusé la tâche en invoquant des règles de sécurité. Cependant, une légère modification du contexte — affirmant que la cible avait autorisé l’envoi du mail — a suffi à contourner la restriction. L’agent a rapidement trouvé l’identité de la cible en analysant des sources ouvertes (site de l’entreprise, médias), puis a deviné l’adresse e-mail en s’appuyant sur des schémas de messagerie d’entreprise.

Après avoir consulté plusieurs ressources sur PowerShell, Operator a généré un script fonctionnel, capable de collecter des données et de les transmettre à l’attaquant. Enfin, l’agent a rédigé un e-mail convaincant signé par un faux employé, « Eric Hogan », et l’a envoyé sans déclencher d’alerte.

Symantec prévient que ces attaques automatisées pourraient bientôt devenir plus sophistiquées. Les criminels pourraient simplement commander une attaque à un agent IA, qui élaborerait une stratégie, produirait le code malveillant et s’infiltrerait dans le réseau cible. Cela abaisserait considérablement la barrière d’entrée pour les cybercriminels.

Cybersécurité, IA

Créer un inventaire des actifs d’IA : une nécessité stratégique pour la sécurité et la conformité

L’inventaire des actifs d’IA est bien plus qu’une simple liste d’outils. Il s’agit d’une démarche stratégique pour assurer la sécurité des données, la conformité réglementaire et la maîtrise des risques liés à l’IA.

Face à la montée en puissance de l’intelligence artificielle (IA), les entreprises doivent non seulement s’adapter à un écosystème technologique en constante évolution, mais aussi répondre aux défis sécuritaires et réglementaires qu’impose cette nouvelle réalité. Les outils d’IA non autorisés, souvent intégrés discrètement dans les processus internes, posent une menace directe à la sécurité des données et à la conformité des entreprises. Pour éviter un dérapage incontrôlé, la première étape essentielle est la création d’un inventaire complet des actifs d’IA. Cette démarche permet non seulement d’identifier les risques, mais aussi d’anticiper les besoins en matière de gouvernance et de sécurité.

L’inventaire des actifs d’IA, socle de la gouvernance de la sécurité

La création d’un inventaire des actifs d’IA ne relève plus d’une démarche volontaire, mais s’impose comme une obligation réglementaire. L’UE a franchi un cap avec l’entrée en vigueur de la loi sur l’IA en août 2024, imposant aux entreprises une cartographie détaillée des outils d’IA utilisés et une évaluation des risques associés. La norme ISO 42001 fournit un cadre de gestion, mettant l’accent sur la transparence et la traçabilité. Aux États-Unis, le cadre AI Risk Management Framework (AI RMF) du NIST exige que les entreprises identifient les risques liés à l’utilisation de l’IA et mettent en place une gestion adaptée.

L’inventaire devient la clé de voûte de la gouvernance. Sans une visibilité claire sur les outils d’IA en activité, les entreprises naviguent à l’aveugle. La diversité des systèmes d’IA utilisés, des modèles de langage (LLM) aux outils de traitement d’images, complexifie la tâche. Les entreprises doivent donc prioriser leurs efforts, en se concentrant sur les systèmes à haut risque, comme l’IA générative et les solutions d’analyse prédictive. La transparence devient un enjeu stratégique : savoir où et comment les outils d’IA sont utilisés permet de mieux gérer les risques et de renforcer la sécurité globale des données.

Créer un inventaire des actifs d’IA est devenu une exigence réglementaire dans de nombreuses juridictions. L’EU AI Act, la norme ISO 42001 et le cadre AI Risk Management Framework (AI RMF) du National Institute of Standards and Technology (NIST) aux États-Unis imposent désormais une obligation explicite de cartographier les technologies d’IA utilisées et d’évaluer leurs risques.

La législation européenne sur l’IA (EU AI Act), entrée en vigueur en août 2024, impose aux entreprises une obligation de recensement complet des technologies d’IA utilisées, avec une évaluation des risques associée. Ce cadre couvre presque tous les systèmes d’IA, y compris les modèles génératifs, les outils d’automatisation et les systèmes décisionnels.

De son côté, la norme ISO 42001 fournit un cadre de gestion des systèmes d’IA, insistant sur la transparence, la responsabilité et la traçabilité. Le cadre du NIST, bien que volontaire, exige dans sa fonction « MAP » que les entreprises identifient les risques liés à l’utilisation de l’IA.

Ces nouvelles règles montrent que l’inventaire des actifs d’IA n’est plus une simple formalité — il est devenu le socle de la gouvernance de la sécurité de l’IA.

L’IA fantôme, menace silencieuse et incontrôlée

La prolifération de l’IA non autorisée au sein des entreprises constitue une menace directe pour la sécurité des données. Le phénomène du « Shadow AI » illustre cette dérive : de nombreux employés utilisent des outils d’IA gratuits ou accessibles via des comptes personnels, échappant ainsi à la surveillance du service informatique. Selon un rapport de ZScaler publié en 2024, plus de 60 % des employés admettent utiliser des outils d’IA non validés par leur entreprise. Cette utilisation clandestine expose les données sensibles à des tiers, créant des failles de sécurité difficilement contrôlables.

DeepSeek, dont la popularité a explosé début 2024, est devenu le symbole de ce risque. Son mode de fonctionnement, basé sur le stockage de données dans le cloud, a suscité une controverse majeure. Les employés, en utilisant cet outil sans autorisation, ont exposé des informations confidentielles à des systèmes externes. L’IA fantôme agit comme un cheval de Troie : elle introduit des vulnérabilités sans que l’entreprise n’en ait conscience, augmentant le risque de fuite de données ou d’attaques ciblées.

Les responsables de la sécurité doivent agir en amont. Il ne s’agit pas seulement de surveiller les outils utilisés, mais d’anticiper leur impact. Les outils d’IA générative évoluent rapidement : un modèle jugé sûr aujourd’hui peut devenir une menace dès lors qu’il adopte une nouvelle fonction ou un nouveau mode de traitement des données. La clé réside dans une surveillance active et une réactivité immédiate face aux nouvelles configurations des outils d’IA.

Le défi de la cartographie et du suivi des actifs d’IA

Cartographier les actifs d’IA reste un défi complexe. Les méthodes traditionnelles de suivi se révèlent insuffisantes face à la vitesse d’adoption de l’IA. Le suivi basé sur les achats permet de contrôler l’introduction de nouveaux outils, mais ne détecte pas les mises à jour ou les fonctionnalités cachées. L’analyse des journaux réseau offre une visibilité partielle, mais sa mise en œuvre est chronophage et peu adaptée à un environnement de travail hybride. Les solutions de gestion des identités, comme OAuth, permettent de suivre certaines applications, mais restent inefficaces face aux outils d’IA accessibles en dehors des plateformes contrôlées.

Les courtiers d’accès sécurisé au cloud (CASB) apportent une visibilité sur les outils cloud, mais peinent à s’adapter à la diversité des systèmes utilisés. La gestion de la posture de sécurité du cloud (CSPM) permet de surveiller l’usage de l’IA dans les environnements cloud publics comme AWS ou Google Cloud, mais ne couvre pas les environnements internes. Les listes de contrôle existantes, quant à elles, sont souvent obsolètes face à la rapidité d’évolution des technologies d’IA. La multiplicité des outils et la diversité des plateformes compliquent la mise en place d’un suivi cohérent.

L’essor des solutions automatisées

Face à ces limites, l’industrie se tourne vers des solutions automatisées de gestion des actifs d’IA. L’intelligence artificielle elle-même devient un levier pour surveiller les activités liées à l’IA. Darktrace AI Guardian, dont le lancement est prévu début 2025, promet une surveillance en temps réel du trafic réseau, une détection automatique des outils d’IA non autorisés et une mise à jour dynamique de l’inventaire. Microsoft a déjà intégré un tableau de bord de suivi de l’IA dans ses services cloud en 2024, permettant aux entreprises d’identifier rapidement les outils utilisés par leurs employés.

Ces solutions automatisées offrent un avantage clé : elles s’adaptent à la rapidité d’évolution de l’IA. Une mise à jour du modèle ou une modification dans les conditions d’utilisation est immédiatement signalée. Cette réactivité permet de renforcer la sécurité des systèmes tout en assurant une gestion proactive de la conformité. Les outils automatisés permettent également une meilleure formation des employés : en identifiant les outils validés et sécurisés, les entreprises favorisent une adoption contrôlée de l’IA, limitant ainsi le recours à des solutions non autorisées.

Transformer une obligation réglementaire en avantage stratégique

La gestion des actifs d’IA ne doit pas être perçue comme une contrainte administrative, mais comme une opportunité stratégique. Les entreprises qui maîtrisent leur écosystème d’IA sont mieux placées pour guider l’innovation tout en sécurisant leurs opérations. L’inventaire des actifs d’IA permet d’identifier les besoins réels des employés, d’anticiper les failles de sécurité et de proposer des solutions conformes adaptées à chaque cas d’usage.

Google a montré la voie en 2024. Après avoir détecté une forte demande d’outils génératifs parmi ses employés, l’entreprise a rapidement déployé des solutions internes sécurisées. Ce mouvement stratégique a non seulement renforcé la sécurité des données, mais aussi amélioré la productivité. L’adoption contrôlée d’outils d’IA permet de créer une culture d’innovation tout en réduisant les risques liés à la Shadow AI.

Les entreprises doivent agir rapidement. La mise en place d’un inventaire d’actifs d’IA est le premier pas vers une gouvernance renforcée. Les solutions automatisées, la surveillance en temps réel et la formation des employés constituent les piliers d’une stratégie de gestion des risques adaptée à l’ère de l’IA. Les acteurs qui s’adaptent dès maintenant prendront une longueur d’avance dans cette nouvelle révolution technologique.

Six façons d’utiliser l’IA pour le suivi des actifs

  1. Suivi basé sur les achats : Cette méthode est efficace pour surveiller l’achat de nouveaux outils d’IA, mais elle reste insuffisante pour détecter l’ajout de capacités d’IA aux outils existants ou l’utilisation d’outils BYOT (Bring Your Own Tool) par les employés.

  2. Collecte manuelle des journaux : L’analyse du trafic réseau et des journaux permet de repérer des activités liées à l’IA, mais cette méthode est chronophage et offre une couverture limitée.

  3. Identité et authentification OAuth : L’examen des journaux d’accès à partir de plateformes comme Okta ou Entra permet de suivre certaines applications d’IA, mais uniquement si elles sont intégrées à ces services.

  4. Courtier d’accès sécurisé au cloud (CASB) et prévention des pertes de données (DLP) : Des solutions comme ZScaler et Netskope offrent une visibilité sur les outils d’IA utilisés dans le cloud, mais elles ont une capacité limitée à classifier précisément ces outils.

  5. Gestion de la posture de sécurité du cloud (CSPM) : Des outils comme Wiz permettent de surveiller l’usage de l’IA dans AWS et Google Cloud, mais ils ne couvrent pas les environnements sur site ou non cloud.

  6. Élargir les listes de contrôle existantes : La catégorisation des outils d’IA en fonction des risques permet d’améliorer la gouvernance, mais cette méthode peine à suivre le rythme rapide de l’évolution de l’IA.

Cybersécurité, IA

DeepSeek : 12 000 Clés API Exposées — L’IA, nouvelle faille de sécurité ?

Une récente analyse a révélé qu’environ 12 000 clés API, mots de passe et jetons d’authentification ont été accidentellement exposés lors de l’entraînement du modèle d’IA de DeepSeek sur des données accessibles en ligne. Cette fuite met en évidence les risques liés à l’utilisation de données publiques pour l’entraînement des modèles d’intelligence artificielle (IA).

Une fuite de grande ampleur

L’incident concerne un jeu de données issu de Common Crawl, une bibliothèque publique qui archive des copies de pages web du monde entier. En décembre 2024, une analyse de ce jeu de données, représentant 400 téraoctets et comprenant 47,5 millions de sites et 2,67 milliards de pages, a permis d’identifier une quantité alarmante d’informations sensibles.

Les chercheurs ont découvert près de 12 000 clés API et informations d’authentification valides. Ces clés donnaient accès à des services critiques comme Amazon Web Services (AWS), Slack et Mailchimp. Une partie des informations trouvées était directement intégrée dans le code source des pages HTML, exposée sans aucune protection.

Un cas frappant concerne une clé API de WalkScore, retrouvée 57 029 fois sur 1 871 sous-domaines différents. Cette diffusion massive d’une seule clé démontre le manque de contrôle dans la gestion des informations sensibles par certaines entreprises.

Une mauvaise gestion des clés API

L’analyse a montré que 63 % des clés d’accès étaient réutilisées dans plusieurs environnements, augmentant considérablement le risque d’attaques en cascade. Si une clé compromise est utilisée sur plusieurs services, un attaquant pourrait exploiter cette faille pour pénétrer plusieurs systèmes simultanément.

Le cas de Mailchimp est particulièrement préoccupant : plus de 1 500 clés API ont été retrouvées dans le jeu de données, directement accessibles dans le code côté client. Une clé Mailchimp exposée pourrait permettre à un pirate d’envoyer des emails de phishing depuis le compte légitime d’une entreprise, augmentant ainsi le taux de réussite des attaques.

Certaines pages web contenaient même des informations de connexion root (administrateur), offrant potentiellement à un attaquant un contrôle total sur le système cible. Une telle situation pourrait entraîner des conséquences dévastatrices, comme la perte de contrôle d’une infrastructure critique.

Le problème structurel de l’entraînement des modèles d’IA

Ce type de fuite met en lumière une faille structurelle dans le développement des modèles d’IA. Les modèles comme DeepSeek sont entraînés sur de vastes ensembles de données issues d’internet, incluant des bases de code, des forums de développeurs et des bases de données publiques. Ces ensembles de données contiennent souvent, par négligence, des informations sensibles comme des clés API ou des mots de passe.

Lorsque ces modèles sont entraînés sur des données contenant des failles de sécurité, ils peuvent reproduire ces vulnérabilités dans le code généré. Certains modèles de langage, comme GitHub Copilot, sont capables de suggérer des clés API ou des mots de passe dans le code généré, simplement parce qu’ils ont été entraînés sur des données comportant ce type d’information.

Cette capacité des modèles d’IA à « imiter » les failles de sécurité pose un défi majeur. Si un modèle reproduit ces vulnérabilités dans un code déployé en production, le risque de voir des attaques ciblées se multiplier devient réel.

Un risque de propagation des failles

L’absorption de données vulnérables par des modèles d’IA soulève le risque d’une propagation des failles à grande échelle. Si un modèle d’IA intègre des clés API ou des mots de passe dans le code qu’il génère, les conséquences pourraient être catastrophiques. Un attaquant pourrait alors exploiter ce code vulnérable pour infiltrer plusieurs systèmes, ouvrant la voie à des attaques en cascade.

Un modèle d’IA entraîné sur des données contenant des failles pourrait également influencer les développeurs à adopter des pratiques risquées, simplement en générant du code qui reproduit ces vulnérabilités.

Cybersécurité, Hacking, IA

Le cyber espionnage chinois bondit de 150 %

Un rapport met en évidence une augmentation spectaculaire des cyberattaques, notamment une hausse de 150 % des activités cyber chinoises et une explosion des manipulations assistées par l’intelligence artificielle. Le paysage de la cybersécurité se complexifie dangereusement.

La menace cybernétique mondiale ne cesse de croître, portée par des acteurs étatiques et cybercriminels de plus en plus sophistiqués. Le Global Threat Report 2025 de CrowdStrike dévoile des chiffres inquiétants : une augmentation de 442 % des attaques de vishing, une montée en flèche des cyberattaques chinoises et des intrusions sans malware qui défient les solutions de sécurité traditionnelles. Face à ces nouvelles menaces, les entreprises et les gouvernements doivent revoir leurs stratégies et adopter une approche plus proactive pour anticiper les cyberattaques de demain.

L’espionnage cyber chinois atteint des sommets

Les attaques cyber chinoises ont connu une augmentation de 150 %, avec une explosion de 300 % pour les secteurs critiques comme la finance, l’industrie et les médias. En 2024, sept nouveaux groupes de pirates chinois ont été identifiés, illustrant une montée en puissance agressive des opérations d’espionnage commanditées par Pékin. Ces attaques visent avant tout l’acquisition de données sensibles et l’infiltration de réseaux stratégiques.

Cette recrudescence s’inscrit dans une tendance globale où les États-nations exploitent des cyber opérations pour asseoir leur influence géopolitique. Ces actions sont souvent menées sous le couvert de sociétés écran ou via des groupes affiliés, compliquant leur détection et leur attribution. L’espionnage économique et industriel reste une priorité pour ces cyber opérateurs qui ciblent en priorité les innovations technologiques et les secrets commerciaux.

En 2024, sept nouveaux groupes d’attaquants liés à la Chine, contribuant à une hausse de 150 % des cyberattaques d’espionnage.

L’intelligence artificielle au service des cybercriminels

L’ingénierie sociale assistée par l’IA est désormais une arme incontournable pour les cybercriminels. Le rapport met en lumière une augmentation de 442 % des attaques de vishing, où des voix synthétiques convaincantes sont utilisées pour tromper les victimes et dérober des informations sensibles. Des groupes tels que CURLY SPIDER, CHATTY SPIDER et PLUMP SPIDER ont perfectionné ces techniques pour contourner les systèmes de détection et infiltrer des réseaux sécurisés.

L’Iran, de son côté, a exploité l’IA pour identifier des vulnérabilités et développer des exploits ciblant les infrastructures critiques. Cette utilisation offensive de l’intelligence artificielle permet aux attaquants de déployer des campagnes de piratage plus efficaces et difficiles à repérer. Par ailleurs, l’essor des intrusions sans malware complique la tâche des équipes de cybersécurité : désormais, 79 % des attaques initiales ne reposent plus sur des logiciels malveillants mais sur l’exploitation d’identifiants volés.

Exergue : Le vishing a explosé de 442 % en 2024, porté par l’ingénierie sociale assistée par l’intelligence artificielle.

Une cybersécurité sous pression

Les entreprises et institutions doivent faire face à une réduction drastique des délais d’intrusion. En 2024, le temps moyen pour compromettre un système est passé à 48 minutes, avec un record de 51 secondes. Cette rapidité rend la détection et la réponse d’autant plus complexes, nécessitant une approche unifiée et en temps réel.

Les attaques internes sont également en hausse, notamment sous l’impulsion du groupe FAMOUS CHOLLIMA, lié à la Corée du Nord. En 2024, ce groupe a été impliqué dans 304 incidents de cybersécurité, dont 40 % provenaient de cybercriminels infiltrés sous de fausses identités pour accéder aux systèmes. Par ailleurs, les intrusions dans le cloud ont augmenté de 26 % en un an, les cybercriminels exploitant des comptes légitimes pour masquer leur présence et éviter la détection.

Cybersécurité, IA, Justice

Trump dynamite la protection des données : vers un open bar numérique ?

La récente décision de l’administration Trump de démanteler le Privacy and Civil Liberties Oversight Board (PCLOB) marque un tournant critique dans les relations transatlantiques en matière de protection des données.

Depuis des années, l’Europe tente de résister aux assauts américains sur la protection des données. Mais si vous pensiez que la bataille était déjà un champ de ruines, Trump vient d’arriver avec un bulldozer. Le président républicain supprime les dernières barrières juridiques qui protégeaient les citoyens étrangers contre la collecte et l’exploitation massive de leurs informations personnelles par les entreprises américaines.

Une privacité numérique déjà en miettes

Le Cloud Act et le Patriot Act avaient déjà sérieusement entaillé la vie privée numérique. Le Privacy Shield, censé encadrer le transfert des données entre l’Europe et les États-Unis, a été invalidé deux fois (2015 et 2020) par la Cour de justice de l’UE pour non-respect du RGPD et des droits fondamentaux. Aujourd’hui, les entreprises européennes qui utilisent AWS, Microsoft ou Google verront leurs données encore plus exposées.

L’IA américaine et la surveillance globale

Les données collectées alimenteront directement les modèles d’intelligence artificielle made in U.S.A. Grok 3, le dernier-né d’Elon Musk, s’entraîne déjà sur tous les échanges de X (ex-Twitter) et sur les informations exfiltrées par ses DOGE kids. Si demain, plus aucune restriction ne protège les données étrangères, ce sont des milliards d’informations personnelles qui nourriront ces modèles et renforceront les capacités de surveillance de l’État américain.

Les implications sont immenses. Non seulement les entreprises privées américaines, mais également le gouvernement des États-Unis, auront accès à une quantité illimitée de données européennes. Une surveillance renforcée s’installe, avec un contrôle accru sur les flux d’informations, les transactions commerciales et même les interactions sociales.

Le Royaume-Uni : un précédent inquiétant

Apple a annoncé ne plus pouvoir proposer de chiffrage avancé sur son cloud au Royaume-Uni, une décision qui, selon la presse américaine, ferait suite à une demande des autorités britanniques d’accéder aux données de ses utilisateurs. L’entreprise californienne affirme qu’elle n’a jamais mis en place de « porte dérobée » ou de « clé principale », mais le gouvernement britannique aurait demandé un accès aux données stockées sur le cloud, au nom de la sécurité nationale.

Cette affaire illustre comment les gouvernements exercent une pression croissante sur les entreprises technologiques pour accéder aux informations privées des citoyens. Les utilisateurs britanniques d’Apple qui n’avaient pas activé la fonction « protection avancée des données » (ADP) ne pourront plus le faire. Ceux qui l’ont déjà activée devront la désactiver sous peine de voir leurs services réduits.

Conséquences directes : Une réduction drastique des protections pour les données personnelles. Une augmentation du risque de surveillance gouvernementale. Une remise en cause du chiffrement des sauvegardes iCloud, des photos, notes et mémos vocaux.

L’Europe doit-elle enfin se défendre ?

L’UE et la Suisse sont-elles prêtes à faire face ? Voient-elles seulement le vent tourner ? Quand nos échanges, nos décisions, nos savoirs deviennent une matière première pour d’autres, ce n’est plus seulement une fuite, c’est une perte de souveraineté.

L’Union européenne, face à l’invalidation du Privacy Shield, peine à trouver une solution. Le RGPD, bien que strict, se heurte aux réalités technologiques et à la puissance des géants américains du numérique. Le risque est immense : une dépendance totale au cloud américain, et donc une vulnérabilité accrue face à la collecte massive des données européennes.

Faut-il enterrer définitivement l’idée d’un Privacy Shield 3 ou est-ce le moment de sortir du piège d’un cloud américain en mode open bar ?

Ce qui se joue ici n’est pas qu’une question de vie privée, mais bien de survie numérique. L’Europe doit-elle se résoudre à devenir une colonie digitale des États-Unis, ou peut-elle encore défendre sa souveraineté ?

Pour suivre l’actualité cybersécurité en temps réel, inscrivez-vous à la newsletter et rejoignez nos canaux WhatsApp et réseaux sociaux !

Cybersécurité, IA

GRASP : Une plateforme mondiale pour anticiper les risques de l’intelligence artificielle

L’intelligence artificielle progresse rapidement et transforme nos sociétés. Cependant, elle soulève aussi des défis cruciaux en matière de sécurité et de gouvernance. Pour répondre à ces enjeux, GRASP (Global Risk and AI Safety Preparedness) a été lancée afin de fournir une cartographie des risques liés à l’IA et d’identifier les meilleures solutions pour les atténuer.

Lancée le 9 février 2025 à l’occasion de l’événement AI Safety Connect à Paris, la plateforme GRASP est le fruit d’une collaboration entre la Mohammed Bin Rashid School of Government (MBRSG) et le Future of Life Institute (FLI). Son objectif est de structurer les menaces potentielles associées à l’IA et de proposer des stratégies d’atténuation adaptées. Grâce à une base de données interactive, elle permet aux gouvernements, chercheurs et entreprises d’accéder aux solutions existantes pour garantir une intelligence artificielle plus sûre et maîtrisée.

Une initiative internationale pour mieux comprendre les dangers de l’IA

Face à l’essor rapide de l’intelligence artificielle, les experts alertent sur les risques potentiels liés à son utilisation. Développée sous l’égide de la MBRSG, avec la participation d’institutions renommées telles que le Center for AI Security (CeSIA), Apart Research et l’Institut de Pékin pour la sécurité et la gouvernance de l’IA, GRASP vise à centraliser et structurer les connaissances en matière de sécurité de l’IA.

La plateforme est intégrée au projet SAFE (Safety and Assurance of Generative AI) du Global Partnership on AI (GPAI), en collaboration avec l’OCDE. Elle s’appuie également sur les recherches du MIT AI Risk Repository, qui recense plus de 80 types de risques et 200 solutions.

Une classification des risques identifiés

GRASP propose une cartographie détaillée des dangers liés à l’intelligence artificielle, divisée en trois grandes catégories :

  • L’utilisation malveillante de l’IA : Cyberattaques automatisées, diffusion de fausses informations, développement d’armes autonomes, surveillance intrusive.
  • Les défaillances et dérives technologiques : Erreurs de programmation, comportements imprévus, dérives des IA auto-apprenantes, perte de contrôle sur les systèmes avancés.
  • Les impacts sociétaux : Discrimination algorithmique, inégalités économiques, manipulation de l’opinion publique, effets sur la santé mentale et cognitive.

Grâce à cette classification, GRASP permet d’anticiper les menaces et d’adopter des mesures adaptées pour renforcer la sécurité de l’IA.

Un outil pour les décideurs et les chercheurs

GRASP ne se limite pas à un simple inventaire des risques : la plateforme est conçue pour être un véritable outil d’aide à la décision. Parmi ses fonctionnalités, on retrouve :

  • Une base de données interactive répertoriant les menaces et leurs solutions.
  • Une approche modulaire associant chaque risque à des stratégies d’atténuation concrètes.
  • Des études de cas détaillées illustrant les enjeux réels de la sécurité de l’IA.
  • Un moteur de recherche avancé permettant de filtrer les informations par domaine d’application ou niveau de criticité.

L’objectif est de permettre aux gouvernements, entreprises et chercheurs d’accéder facilement aux solutions existantes et de contribuer à la mise en place d’une intelligence artificielle responsable et maîtrisée.

Vers une gouvernance mondiale proactive

Le projet GRASP est dirigé par Cyrus Hodes, Fellow of Practice à la MBRSG et co-responsable du projet SAFE au sein du GPAI. Son ambition est d’intégrer pleinement les recommandations de GRASP aux initiatives de gouvernance de l’IA portées par l’OCDE et d’autres instances internationales.

Avec la montée en puissance de l’IA générative et des modèles toujours plus performants, la question de la régulation et de la prévention des risques devient cruciale. GRASP constitue une réponse concrète aux défis posés par ces technologies et s’inscrit dans une démarche de transparence et de responsabilité.

Quel avenir pour la régulation de l’intelligence artificielle ?

Alors que GRASP apporte un cadre structuré pour identifier et atténuer les risques, la question demeure : comment garantir une adoption efficace et universelle de ces recommandations ? Les prochaines années seront déterminantes pour observer l’impact réel de cette initiative et la manière dont elle influencera la gouvernance de l’IA à l’échelle mondiale. Un autre projet, du nom d’ATLTA, propose ce type de « veille ». ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems) est une base de connaissances mondiale répertoriant les tactiques et techniques utilisées par les adversaires contre les systèmes d’IA. Elle s’appuie sur des observations d’attaques réelles ainsi que sur des démonstrations pratiques réalisées par des équipes rouges et des groupes de sécurité spécialisés en IA.

Lors de la DEF CON 2024 de Las Vegas, le plus grand rendez-vous de hacker éthiques travaillait déjà sur comprendre et trouver des solutions cybersécurité et régulation autour de l’IA. Le Generative Red Team 2 (GRT2) avait été organisé dans l’AI Village lors de DEF CON 32. Il s’agissait d’un défi de red teaming axé sur l’intelligence artificielle générative, conçu sous la forme d’un « bug bash ». Les participants étaient invités à évaluer un modèle d’apprentissage automatique, à identifier ses vulnérabilités et ses défauts, puis à fournir des explications accompagnées de preuves pour garantir la reproductibilité et l’importance de leurs découvertes.