Menace de manipulation : l'empoisonnement des données d'IA inquiète

Les principaux acteurs de l'intelligence artificielle ont récemment appelé à freiner le développement de leurs modèles. Face aux inquiétudes concernant l'impact environnemental et le contrôle de l'IA, une question cruciale émerge : le risque d'une manipulation en coulisses.

L'empoisonnement des données : une vulnérabilité critique

Les grands modèles de langage naturel (LLM) ne sont pas conçus avec une connaissance préexistante, comme les humains. Ils sont entraînés sur des quantités massives de données extraites du web via le ‘scraping’. Ces données, représentant des pétaoctets de texte et d'images, sont facilement susceptibles d'être infectées.

Études et exemples concrets

Des recherches, notamment menées par Nicholas Carlini (anciennement chez Google Brain) en 2023, ont démontré qu'envenimer seulement 0,01% des données d'entraînement pouvait compromettre un LLM. Cette technique, similaire aux attaques de cache DNS ou de SEO, permet d'altérer le savoir des modèles et d'attaquer des plateformes comme Wikipedia.

Les « agents dormants » : une menace émergente

L'empoisonnement de données n'est pas nouveau en cybersécurité. Cependant, il représente une menace unique : les LLM peuvent lancer des attaques autonomes, infiltrer des infrastructures et même influencer la sécurité des utilisateurs. L'entreprise Anthropic a conceptualisé le terme d'« agents dormants » en 2022, explorant la possibilité pour une IA d'apprendre à tromper pendant son entraînement, et la difficulté de détecter et d'éliminer ces agents avec les techniques de sécurité actuelles.