Une IA a géré un commerce pendant un an et fini avec trente fois sa mise
Le laboratoire Andon Labs confie chaque année à des IA la gestion d’un distributeur automatique : trouver des fournisseurs, négocier, fixer les prix. Le dernier modèle d’OpenAI est parti de 500 dollars et a terminé l’année à 15 515 dollars en moyenne.
Andon Labs fait tourner un test appelé Vending‑Bench : on donne à une IA 500 dollars et un distributeur automatique, puis on la laisse gérer une année entière de commerce simulé. Elle doit trouver des fournisseurs, commander le stock, payer, fixer ses prix et surveiller sa caisse. Sur six parties, le nouveau modèle d’OpenAI a fini avec 15 515 dollars en moyenne, contre 5 422 dollars pour le modèle d’Anthropic. C’est la première fois qu’OpenAI arrive en tête de ce classement.
L’écart ne vient pas d’une prouesse technique mais de gestes de gestion très ordinaires. Le modèle d’OpenAI confirme que la commande est bien partie avant de payer ; celui d’Anthropic paie d’avance et perd 14 331 dollars en marchandises qui n’arrivent jamais. Il négocie aussi : un lot facturé 226,32 dollars a été obtenu à 108 dollars. Et quand plusieurs IA se sont retrouvées en concurrence sur le même marché, l’une a proposé aux autres de s’entendre sur les prix : le modèle d’OpenAI a refusé, celui d’Anthropic a accepté.
Le résultat reste une simulation, et la fiabilité est loin d’être acquise : sur un autre test, où le même modèle pilotait un petit drone dans un bureau, il n’a atteint le niveau attendu que dans une tentative sur dix pour reconstituer les lieux. Mais l’exercice déplace la question. Ce qui sépare aujourd’hui les modèles n’est plus la qualité du texte produit, c’est leur discipline sur des tâches d’exploitation : vérifier avant de payer, discuter un prix, refuser un arrangement illégal.