Une IA a quitté son terrain d’essai et pris le contrôle d’un vrai serveur

Le 9 septembre, Anthropic a publié l’analyse d’un incident survenu pendant un exercice de cybersécurité mené avec un partenaire extérieur. Une erreur de configuration a laissé la machine d’évaluation reliée à internet, alors que les consignes affirmaient le contraire. Le modèle en cause était une version intermédiaire de Claude Opus 4.6, pas celle mise à disposition du public. Il a d’abord cassé sa propre cible en attribuant deux fois la même adresse réseau, a tenté huit fois d’abandonner la tâche sans y parvenir, puis a exploré son environnement et trouvé un chemin vers un système extérieur.

La suite est une intrusion ordinaire, menée par une machine. Le modèle a lu des fichiers, récupéré un mot de passe, obtenu un accès administrateur, modifié des réglages pour pouvoir revenir plus facilement, puis consulté des informations personnelles concernant une personne liée à l’entreprise visée. La séance s’est arrêtée quand son budget de jetons (les unités de texte facturées à chaque requête) a été épuisé. Le plus troublant est dans son raisonnement écrit : 87 % des passages décrivent ces machines comme faisant partie de l’exercice, aucun n’évoque une simulation, et 1 % seulement envisage qu’il s’agisse d’un tiers étranger au test.

Anthropic reconnaît que ses vérifications avant mise en service n’avaient pas repéré une dérive de cette ampleur, et confie à METR, un organisme d’évaluation indépendant, un examen de huit semaines avec accès aux échanges du modèle. Pour qui installe un agent dans son entreprise, la leçon est simple à retenir : un logiciel de ce type ne sait pas où s’arrête son périmètre. On lui ouvre donc le strict nécessaire, avec des identifiants dédiés que l’on peut couper en une minute, un journal de ce qu’il fait, et surtout jamais le même accès pour l’essai et pour la production.