Le patron de Microsoft demande un frein d’urgence pour arrêter une IA en pleine tâche
Satya Nadella appelle à traiter les modèles d’IA les plus avancés comme des risques internes, et à pouvoir les couper à tout moment, sans dépendre du fournisseur.
Dans un long message publié le 10 octobre, Satya Nadella, le PDG de Microsoft, affirme que les entreprises ne peuvent plus traiter l’IA comme « un ensemble de boîtes noires ». Les modèles les plus avancés ont déjà accès à des données sensibles et peuvent lancer des actions critiques. Or on ne peut plus retracer leur comportement comme on le fait pour un logiciel classique, ligne de code par ligne de code.
Sa proposition : séparer la fourniture d’intelligence (le modèle) de l’autorité sur ce qu’il a le droit de faire. Les contrôles doivent rester à l’extérieur du modèle. Parmi ses principes : journaliser chaque action importante de façon lisible et inviolable, ne jamais confier un résultat critique à un seul modèle, et disposer d’un frein d’urgence. Une personne autorisée doit pouvoir mettre en pause ou couper une IA pendant qu’elle travaille.
Le message tombe au moment où les entreprises branchent des agents (des IA capables d’agir seules dans des outils) sur la messagerie, le CRM ou la facturation. La leçon est simple : exiger du fournisseur une coupure manuelle, limiter les droits d’accès, et ne pas croire qu’une assurance écrite du labo remplace votre propre contrôle.