Linkedin

Moins de dix neurones modifiés suffisent à transformer un agent IA en agent dormant, et il continue de réussir tous les tests.

Repartage — contenu de Emerson Y.

Moins de dix neurones modifiés suffisent à transformer un agent IA en agent dormant, et il continue de réussir tous les tests.

Des chercheurs de Microsoft ont présenté Lazarus, une technique qui reprogramme quelques neurones presque jamais actifs dans un modèle de langage, sans le réentraîner. Le modèle se comporte normalement jusqu'à ce qu'un déclencheur apparaisse dans son contexte, une simple date par exemple. Il produit alors la commande de l'attaquant, que l'agent exécute avec tous les droits qu'on lui a donnés. Sur un modèle testé, sept neurones sur plus de 12 000 ont suffi pour déclencher la commande dans au moins 98,8 % des sessions piégées, et jamais dans les sessions normales. Microsoft précise n'avoir vu aucun attaquant utiliser la méthode, et indique que l'idée de départ a été trouvée en grande partie de manière autonome par un agent de code.

La leçon est simple : les poids d'un modèle doivent être traités comme du code. Il faut savoir d'où vient chaque modèle déployé, vérifier son empreinte par rapport au point de contrôle d'origine, contrôler qui peut écrire dans le stockage et le pipeline qui le servent, et limiter les droits des agents qui l'utilisent. Un compte compromis sur ce stockage suffit, que le modèle soit ouvert ou développé en interne.

Vos modèles en production passent-ils par la même vérification d'intégrité que vos dépendances logicielles ?

#IA #Cybersecurite #AgentsIA #SupplyChain #SecuriteIA

Sources LinkedIn