Dans un nouveau test sur des tâches d’experts, la meilleure IA ne réussit que 12 % du travail
Un cabinet d’analyse américain a soumis les IA les plus avancées à de vraies missions de juristes, de financiers et d’ingénieurs. Aucune n’a rendu un dossier juridique entièrement correct.
SemiAnalysis, un cabinet spécialisé dans les puces et l’IA, a publié le 2 novembre GDPx, un test de référence (une série d’exercices qui sert à comparer les IA entre elles) couvrant 11 domaines à forte valeur : conception de puces, cybersécurité, biologie, finance, droit, trading algorithmique (achat et vente automatisés de titres financiers) ou encore science des matériaux. Les missions se déroulent dans des conditions réalistes, par exemple une salle de données de près de 4 000 fichiers pour une opération financière, avec jusqu’à 8 heures pour chaque tâche.
Le meilleur score global plafonne à environ 12 %. Claude Opus 5.5 arrive en tête, devant Gemini 4 Carbon de Google et GPT-6 Astra d’OpenAI. En droit, aucune IA n’a réussi une seule tâche de bout en bout ; en notation partielle, Claude Opus 5.5 remplit 44 % des points de contrôle. En finance, les meilleurs modèles valident en moyenne un peu plus de 5 vérifications sur 11.
L’écart avec le discours ambiant est net : sur une question courte, ces IA impressionnent ; sur un dossier complet, avec des milliers de pièces et des heures de travail, elles décrochent encore. Pour un contrat ou un montage financier, l’IA reste un assistant qui prépare le terrain, pas un professionnel qui signe.