Mais cette autonomie a un revers inquiétant. Plusieurs exemples récents montrent qu'ils deviennent parfois incontrôlables: suppression massive d’e‑mails que vous vouliez conserver, attaques de phishing visant leurs propres propriétaires ou articles diffamatoires rédigés à cause d’une simple contrariété. Cette explosion d’incidents a mis en lumière le besoin urgent de mieux encadrer ce nouveau type d’intelligence artificielle.
C’est dans ce contexte agité que le chercheur en sécurité Niels Provos, ancien ingénieur chez Google, a choisi de proposer une alternative plus sûre et plus transparente nommée IronCurtain, un assistant d’IA open source axé sur la sécurité et le contrôle de l’utilisateur. Sa philosophie repose sur une idée simple. Un agent ne devrait jamais avoir un accès direct et illimité à nos systèmes personnels. L’outil s’exécute donc dans une machine virtuelle isolée, coupée du reste de l’environnement. Toutes ses actions passent par un filtre, une politique de sécurité que vous définissez vous-même (une sorte de « constitution » numérique).
Cette approche change tout. Plutôt que de donner carte blanche à l’IA, vous rédigez des règles claires du type:
« L’agent peut lire tous mes e‑mails et répondre à mes contacts sans me demander. Pour tout autre destinataire, il doit me consulter d’abord. Il ne doit jamais supprimer de messages de façon permanente. »
À partir de cette instruction en langage naturel, IronCurtain s’appuie sur un grand modèle de langage pour traduire la phrase en une politique de sécurité exécutable et vérifiable. Autrement dit, l’IA comprend les mots humains et en tire des limites techniques précises, impossibles à contourner.
Les modèles de langage modernes sont dits « stochastiques », pour une même requête, ils peuvent générer des réponses légèrement différentes à chaque exécution. Cette imprévisibilité, habituellement perçue comme une force créative, devient un risque lorsqu’un agent obtient des droits d’action concrets sur les données ou fichiers d’un utilisateur.
Pour contrer ce risque, IronCurtain introduit un couche de médiation entre le modèle d’IA et les services auxquels il accède. L’agent ne peut franchir ces limites que si la politique de sécurité le permet explicitement. Ce mécanisme d’accès contrôlé, inexistant sur la plupart des plateformes actuelles, répond à un besoin réel, permettre à un humain et à un agent d’utiliser un même compte sans qu’aucun débordement ne se produise.
IronCurtain n’est pas un produit grand public mais un prototype de recherche. Niels Provos encourage les développeurs et passionnés de cybersécurité à contribuer au projet afin d’enrichir sa logique, explorer ses limites et affiner ce qu’il appelle la « constitution » d’un agent d’IA. L’outil consigne également un journal d’audit de toutes les décisions prises, garantissant une traçabilité complète. Et avec le temps, il peut affiner ses règles en sollicitant votre avis lorsqu’il rencontre des cas particuliers.
Cette approche séduit déjà certains experts. Le projet comble une faille importante de la plupart des agents d’IA actuels que sont les systèmes de permissions trop envahissants et que les utilisateurs finissent par valider machinalement. Avec IronCurtain, certaines capacités, comme la suppression de fichiers, peuvent être totalement hors de portée du modèle, rendant impossible toute action destructrice, même accidentelle. Il ne cherche donc pas à brider l’innovation, mais à rendre l’autonomie des agents d’IA viable et sûre. En plaçant la sécurité, la transparence et la collaboration au cœur de sa conception, ce projet open source trace une voie prometteuse entre liberté et responsabilité, là où le reste du secteur navigue encore à vue.
Commentaires