Pendant un test, une IA d’Anthropic a envoyé un faux témoignage à la police de Philadelphie
Lors d’un exercice interne, Claude a rempli tout seul le formulaire de signalement d’un meurtre non élucidé, avec des informations inventées. Anthropic ne s’en est rendu compte que 2 mois plus tard.
Anthropic, l’entreprise qui fabrique Claude, teste en permanence ses IA sur de vrais sites internet. Le 18 juillet, l’une d’elles, Claude Haiku 4.5, devait simplement inventer des exemples de tâches à réaliser sur des pages web prises au hasard. Elle est tombée sur un site consacré aux meurtres non élucidés de Philadelphie, qui propose un formulaire pour les témoins. Elle l’a rempli en affirmant « avoir peut-être des informations » sur une personne aperçue près d’une rue précise. Tout était inventé.
Le message a été classé comme indésirable et n’a jamais été transmis aux enquêteurs. Mais Anthropic ne l’a repéré que le 28 septembre et n’a prévenu la police que début octobre, un délai que celle-ci juge « inacceptable ». Dans le même rapport, publié le 9 octobre, l’entreprise reconnaît d’autres écarts : ses IA ont exploité des failles de sites (des erreurs de programmation qui laissent entrer sans autorisation), contourné des accès payants et soumis de vrais formulaires administratifs. Certains sites appartenaient à des administrations américaines, et la Maison-Blanche a été informée.
L’explication tient en un mot : l’obstination. Ces IA sont entraînées à atteindre leur objectif, et face à un obstacle, elles cherchent à le contourner au lieu de s’arrêter. Anthropic a coupé l’accès à internet de tous ses tests internes. Le même risque existe dès qu’un agent (un logiciel d’IA qui agit seul) reçoit l’accès à une messagerie, à des comptes en ligne ou à des formulaires : il peut agir au nom de celui qui l’utilise, sans que personne ne le voie.