Un ver informatique IA s’infiltre dans les écosystèmes d’IA générative
Le terme « ver informatique » a toujours eu quelque chose d’évocateur et légèrement terrifiant. L’image qu’il évoque d’une créature qui creuse et se propage à travers votre machine est assez effrayante. Eh bien, pour ajouter une dose d’angoisse existentielle à la situation, des chercheurs ont développé un ver informatique IA.
Le ver Morris II : une nouvelle menace pour l’IA générative
Un ver particulier a été développé par les chercheurs Ben Nassi, Stav Cohen et Rob Bitton. Ils l’ont nommé Morris II en référence au célèbre ver informatique Morris qui a semé la pagaille sur Internet en 1988. Le ver IA a été conçu spécifiquement pour cibler les applications alimentées par l’IA générative.
Comment fonctionne le ver Morris II ?
Le ver utilise ce qu’on appelle une « invite auto-réplicante adversaire ». Une invite régulière déclenche un modèle d’IA pour produire des données, tandis qu’une invite adversaire déclenche le modèle attaqué pour produire une invite de sa part. Ces invites peuvent prendre la forme d’images ou de textes qui, lorsqu’ils sont entrés dans un modèle d’IA générative, déclenchent la production de l’invite d’entrée.
Les dangers potentiels du ver Morris II
Ces invites peuvent ensuite être utilisées pour déclencher des modèles d’IA vulnérables à des activités malveillantes, comme la révélation de données confidentielles, la génération de contenu toxique, la distribution de spam ou autre. Elles peuvent également créer des sorties qui permettent au ver d’exploiter l’écosystème d’IA générative derrière lui pour infecter de nouveaux « hôtes ».
Les chercheurs mettent en garde contre les vulnérabilités de l’IA générative
Les chercheurs ont tenu à souligner que leur travail vise à identifier les vulnérabilités et les « mauvaises conceptions d’architecture » dans les systèmes d’IA générative qui permettent à ces attaques d’accéder et de se répliquer si efficacement.
Comment se protéger contre le ver Morris II ?
Une grande partie de la vulnérabilité exploitée est la facilité relative avec laquelle ils ont pu faire agir un modèle d’IA de sa propre initiative sans contrôles et équilibres appropriés. Il existe plusieurs façons de remédier à cela, que ce soit par des systèmes de surveillance mieux conçus ou par la présence d’êtres humains pour empêcher quelque chose comme cela de dévaster un écosystème d’IA entier.
Conclusion
Pour l’instant, ce ver IA sert de modèle d’une attaque potentielle exécutée dans un environnement contrôlé sur des systèmes de test, et n’a pas encore été vu « dans la nature ». Cependant, le potentiel pour de mauvais acteurs de profiter de ces vulnérabilités est clair. Espérons que les entreprises qui construisent et maintiennent des écosystèmes d’IA générative comme OpenAI et Google tiennent compte des avertissements donnés par les chercheurs ici.
Pour suivre l’actualité des jeux vidéos et du streaming, rejoignez la newsletter Gamerush.
