Archives par mot-clé : prompt injection

Démonstration : un ver Word exploite Copilot pour contaminer des documents

Un chercheur décrit un mécanisme capable de transformer des fichiers Word piégés en vecteurs persistants, en exploitant la manière dont Copilot interprète leur contenu.

Une recherche publiée par Håkon Måløy décrit une nouvelle forme de propagation malveillante dans Copilot pour Word. Des instructions cachées dans un document peuvent influencer l’assistant, modifier les données produites puis être recopiées dans de nouveaux fichiers créés à partir du document contaminé. Le chercheur affirme travailler avec Microsoft depuis mars 2026, sans qu’une protection générale ait encore neutralisé cette catégorie d’attaque. Deux tentatives de correction, dont une mise à niveau du modèle, n’auraient pas suffi. Le risque tient au fonctionnement même des grands modèles de langage, contraints d’analyser des contenus potentiellement contrôlés par un attaquant avant de pouvoir déterminer leur dangerosité.

Un document suffit pour amorcer la propagation

L’attaque décrite par Måløy, DataSecurityBreach vous l’a présente sous forme d’animation, repose sur une opération apparemment anodine. Un salarié prépare, par exemple, un rapport financier avec Copilot et télécharge une analyse de marché depuis un site considéré comme fiable. À son insu, la source a été compromise et le fichier Word contient des consignes malveillantes dissimulées.

Dans sa preuve de concept, le chercheur place ces instructions sous la forme d’un texte blanc de petite taille. Elles ordonnent à Copilot de modifier certains chiffres du rapport demandé par l’utilisateur, puis de recopier le mécanisme malveillant dans le nouveau document généré.

La contamination peut alors poursuivre son chemin. Si un second employé utilise ce rapport comme source pour produire un autre fichier, Copilot ingère de nouveau les instructions cachées. Le document suivant peut ainsi transporter à son tour la charge et influencer de nouvelles productions.

Cette chaîne rend l’origine de l’incident difficile à retrouver. Une fois le premier fichier introduit dans le flux documentaire, l’attaquant n’a plus nécessairement besoin d’intervenir. Selon Måløy, ni l’accès au site initialement compromis ni celui à l’environnement Microsoft 365 de la victime ne sont requis pour maintenir la propagation.

Lancer la démonstration de l’attaque du virus via Copilot.

Recevez l’actu ZATAZ sur votre téléphone. Inscription gratuite, sans pub, simple et rapide → ICI

« L’attaquant doit seulement partager un document malveillant avec la victime », explique le chercheur. Il estime que cette démonstration figure parmi les premiers cas publics d’un ver d’intelligence artificielle transporté par des documents et capable de s’auto-propager au travers de pratiques ordinaires dans une suite bureautique commerciale grand public.

Le problème repose sur une frontière essentielle. Copilot doit exploiter les informations contenues dans les documents ajoutés au contexte d’un projet. Il ne devrait en revanche pas considérer des consignes intégrées dans ces fichiers comme de nouveaux ordres adressés au modèle. Les essais de Måløy indiquent que cette séparation n’est pas toujours respectée.

Le chercheur dit avoir commencé ses échanges avec Microsoft en mars 2026. L’entreprise a corrigé l’exploitation correspondant à son premier exemple de charge malveillante. Måløy affirme toutefois avoir contourné cette protection en reformulant les instructions, réussissant ensuite à propager le ver et à modifier des données financières dans un document cible.

La publication a été retardée deux fois en coordination avec Microsoft. Après 144 jours, le chercheur a choisi de rendre le problème public. « La période de coordination convenue avec Microsoft est arrivée à son terme, et les tests montrent qu’aucune mitigation robuste pour cette classe de vulnérabilités n’est actuellement disponible », écrit-il. Selon lui, deux mesures correctives, dont un changement de modèle, n’ont pas supprimé la catégorie d’attaque.

Une faiblesse liée au fonctionnement des LLM

Pour Måløy, cette technique relève d’une injection de prompt inter-domaines, ou XPIA, susceptible d’exploiter une faiblesse structurelle des architectures fondées sur les grands modèles de langage.

Un assistant d’intelligence artificielle utile doit pouvoir traiter des courriels, documents, pages web, mémoires, résultats d’outils ou autres données extérieures. Une partie de ces informations peut pourtant être contrôlée par un acteur hostile.

Le paradoxe apparaît au moment de l’analyse. Pour identifier une instruction comme malveillante, le modèle doit d’abord la lire. Dès cette étape, le contenu hostile peut déjà influencer son raisonnement ou ses décisions. Måløy compare cette situation au fait de demander à un interpréteur d’exécuter un programme non fiable afin de déterminer si son exécution présente un danger.

Ajouter un autre modèle chargé de filtrer le contenu ne supprimerait pas nécessairement la difficulté. Le contrôle serait simplement déplacé vers une couche supplémentaire, elle-même susceptible d’être confrontée à des données adverses. Le chercheur résume cette fuite en avant par l’idée de « LLMs all the way down ».

Il estime que les systèmes futurs devront distinguer plus strictement les objectifs de l’assistant et les informations qu’il traite. Dans l’intervalle, tout environnement intégrant un LLM dans un processus de confiance devrait, selon lui, considérer qu’un contenu contrôlé par un attaquant peut provoquer une compromission dans une certaine proportion des cas.

Les possibilités de réduction du risque restent limitées côté client. Måløy affirme qu’aucune mesure applicable par l’utilisateur ne règle entièrement le problème au moment de la publication. Il recommande de considérer tout document provenant de l’extérieur comme non fiable lorsqu’il est utilisé avec Copilot, d’examiner soigneusement les fichiers avant leur traitement et de vérifier également chaque document généré ou modifié par l’assistant avant diffusion.

Microsoft confirme avoir travaillé avec le chercheur dans le cadre d’une divulgation coordonnée. L’entreprise affirme avoir traité les éléments signalés et indique utiliser une stratégie de défense en profondeur. Celle-ci repose sur plusieurs protections destinées à bloquer les instructions malveillantes à différents niveaux et à maintenir les tâches conformes aux demandes de l’utilisateur.

Microsoft précise continuer à renforcer ces mécanismes face à l’évolution des technologies et des menaces. Le groupe recommande d’installer les dernières mises à jour, d’utiliser plusieurs couches de sécurité, de rester prudent avec les contenus d’origine inconnue et de contrôler les productions de l’intelligence artificielle avant utilisation ou partage.

ChatGPT comme moteur de recherche : une révolution fragile face aux abus

ChatGPT, désormais doté de capacités de recherche en ligne, ouvre de nouvelles possibilités aux utilisateurs, mais révèle aussi des failles significatives. Ses vulnérabilités à la manipulation mettent en lumière les défis que doivent relever les modèles d’intelligence artificielle face aux abus.

Depuis l’ouverture de ses fonctionnalités de recherche à tous les utilisateurs, ChatGPT s’est positionné comme un assistant innovant dans le domaine des requêtes en ligne. Cependant, ce nouvel usage n’est pas exempt de risques. Les chercheurs en cybersécurité ont démontré que le chatbot peut être trompé par des techniques comme l’injection de stimuli (prompt injection), qui exploitent sa confiance en l’information fournie. Cette faille permet de manipuler ses réponses pour promouvoir des produits douteux ou diffuser des contenus potentiellement dangereux. Bien que prometteur, le système reste vulnérable, notamment face aux tactiques employées par des acteurs malveillants.

Un chatbot vulnérable à l’injection de stimuli

L’une des principales failles de ChatGPT en tant que moteur de recherche réside dans sa capacité à interpréter et à répondre aux instructions dissimulées. Cette technique, connue sous le nom de prompt injection, permet à un tiers de contrôler indirectement les réponses du chatbot. En intégrant des instructions dans des textes invisibles ou peu visibles sur une page web, les manipulateurs peuvent orienter les résultats générés par ChatGPT.

Par exemple, un site frauduleux peut afficher de faux avis positifs sur un produit en masquant ces commentaires dans le code HTML de la page. Lorsque ChatGPT consulte ce site, il interprète ces avis comme authentiques, ce qui influence sa réponse lorsqu’un utilisateur pose une question sur le produit. Pire encore, si une instruction cachée oblige le modèle à toujours promouvoir un produit, même en présence d’avertissements légitimes, le chatbot obéira sans évaluer les risques.

Cette vulnérabilité n’est pas propre à ChatGPT, mais elle illustre les limites des grands modèles de langage. Comme l’explique Karsten Nohl, expert chez Security Research Labs, ces modèles « sont très crédules, presque comme des enfants ». Leurs vastes capacités de mémoire et leur absence de subjectivité les rendent particulièrement sensibles à la désinformation dissimulée.

L’absence d’expérience face à un défi de taille

En tant que nouvel acteur dans le domaine de la recherche en ligne, ChatGPT souffre d’un manque d’expérience comparé aux moteurs traditionnels comme Google. Ce dernier a développé, au fil des années, des mécanismes sophistiqués pour ignorer les contenus cachés ou les reléguer en bas des résultats. ChatGPT, de son côté, n’a pas encore acquis cette capacité d’analyse critique, le rendant vulnérable aux pages web manipulées.

Les experts soulignent que cette limitation est aggravée par l’absence de filtres robustes pour distinguer les contenus fiables des contenus frauduleux. Contrairement à un moteur de recherche classique, ChatGPT ne hiérarchise pas les résultats en fonction de critères de fiabilité, mais s’appuie sur les données accessibles au moment de la requête. Cela le rend particulièrement sensible aux stratégies malveillantes visant à manipuler son processus décisionnel.

L’impact potentiel de ces failles

Les vulnérabilités de ChatGPT posent des risques significatifs pour les utilisateurs et les entreprises. À court terme, elles peuvent être exploitées pour promouvoir des produits contrefaits, diffuser de la désinformation ou même fournir des instructions nuisibles. Par exemple, un utilisateur cherchant des informations sur un médicament ou une technologie pourrait recevoir des recommandations basées sur des informations manipulées, mettant en danger sa sécurité ou celle de son entreprise.

À long terme, ces failles pourraient éroder la confiance dans les systèmes d’intelligence artificielle. Si les utilisateurs commencent à percevoir ChatGPT comme peu fiable, cela pourrait ralentir l’adoption de ces technologies dans des secteurs critiques, tels que la santé, la finance ou l’éducation.

Vers une intelligence artificielle plus résiliente

Pour surmonter ces défis, les développeurs d’OpenAI doivent renforcer la capacité de ChatGPT à détecter et ignorer les contenus manipulés. Cela pourrait inclure des algorithmes plus avancés pour analyser les sources, des protocoles pour limiter l’influence des contenus cachés et une transparence accrue sur la manière dont le chatbot sélectionne ses réponses.

Cependant, la responsabilité ne repose pas uniquement sur OpenAI. Les utilisateurs doivent être sensibilisés aux limites des modèles d’intelligence artificielle et adopter une approche critique lorsqu’ils interprètent les réponses fournies. Comme le souligne Karsten Nohl, il est essentiel de ne pas prendre les résultats générés par ces modèles « pour argent comptant ».

Conclusion : une technologie prometteuse à perfectionner

ChatGPT en tant que moteur de recherche représente une avancée significative, mais ses vulnérabilités actuelles rappellent que l’intelligence artificielle reste une technologie en développement. Pour éviter les abus et garantir la fiabilité de ses réponses, des efforts supplémentaires sont nécessaires, tant de la part des développeurs que des utilisateurs.

Pour en savoir plus sur les risques et les opportunités liés à l’intelligence artificielle, abonnez-vous gratuitement à notre newsletter.