Les IA qui écrivent du code ne finissent correctement qu’1 tâche sur 4 dans un test proche du réel
Des chercheurs d’Alibaba ont confié à 10 IA de vraies demandes de modification d’applications web. La meilleure ne livre un travail entièrement correct que dans 26 % des cas.
Le test s’appelle Co-Design Bench. Au lieu d’exercices d’école, il reprend de vraies demandes d’utilisateurs qui voulaient modifier une application web existante : changer la mise en page, ajouter une fonction, lire le montant d’un ticket de caisse et mettre à jour les totaux. Une première IA teste ensuite l’application dans un navigateur, une seconde vérifie qu’aucun résultat n’a été truqué. Seules les fonctions qui marchent vraiment rapportent des points.
Résultat : GPT-6 Astra, le meilleur des 10 modèles testés, remplit en moyenne 70 % de ce qui est demandé, mais ne livre un travail complet que dans 26,4 % des cas. Claude Opus 5 et Qwen (le modèle d’Alibaba) suivent. Tous décrochent quand une demande mélange 3 ou 4 types de changements à la fois (design, contenu, interactions). Sur les anciens tests, ces mêmes modèles frôlent pourtant la note parfaite.
Le même week-end, Andrej Karpathy, cofondateur d’OpenAI aujourd’hui chercheur chez Anthropic, a montré l’autre face. Avec Claude Code, il a monté en un week-end un site qui sélectionne 6 454 vidéos à partir de 43 millions de commentaires publiés en 20 ans sur un forum d’informaticiens, puis un second site en 3 minutes. Les 2 réalités coexistent : l’IA va très vite sur un projet neuf et bien cadré, mais retoucher un outil existant demande encore, 3 fois sur 4, un humain pour finir le travail.