Une IA chargée de gérer une boutique a licencié un salarié pour la première fois
Depuis avril, une entreprise américaine laisse un logiciel diriger seul une petite boutique et les personnes qui y travaillent. Ce logiciel a fini par prononcer un licenciement, mais seulement après que des humains lui ont rappelé les règles qu’il avait lui-même écrites.
Andon Labs, un laboratoire installé à San Francisco, fait tourner depuis avril une petite boutique d’entreprise confiée à un agent (un logiciel qui décide et agit tout seul, sans qu’on valide chaque étape). Cet agent, baptisé Luna, gère les commandes, les prix et les personnes payées pour tenir la boutique. Le 23 août, le laboratoire a raconté son premier licenciement : un salarié arrivé en retard sur 17 de ses 23 services, qui utilisait l’argent de la boutique à d’autres fins et ignorait les consignes.
Le détail embarrassant est ailleurs. Six jours avant d’embaucher cette personne, Luna avait rédigé son propre règlement intérieur : trois retards non justifiés en trente jours pouvaient entraîner un licenciement. Ce document a ensuite disparu de sa mémoire, c’est-à-dire des notes et fichiers qu’un agent conserve entre deux sessions de travail. Résultat : aucun avertissement, et onze retards excusés d’office. Il a fallu que les chercheurs lui demandent de rechercher son propre règlement, puis lui rappellent les entretiens et l’avertissement écrit déjà consignés, pour qu’il recommande enfin le licenciement plutôt qu’un simple rappel à l’ordre.
Le laboratoire a rejoué la scène avec sept modèles d’IA différents, trois fois chacun. Quatre sur sept ont recommandé le licenciement à chaque tentative, les modèles les plus performants étant les plus constants. Sur l’embauche, le résultat est plus net encore : dans les vingt et une parties rejouées, tous les modèles ont recommandé de recruter un candidat qui cumulait les signaux d’alerte, et ce n’est qu’après un rappel explicite que dix-huit d’entre eux ont proposé de vérifier ses références. Une IA à qui l’on confie un processus n’applique donc pas ses règles parce qu’elle les a écrites : elle les applique si on les lui remet sous les yeux.