03

On a enfin testé les IA sur 657 vraies tâches de bureau

Boîte mail, tableurs, messagerie interne, fichier clients : un nouveau classement mesure si une IA termine le travail sans enfreindre les règles de la maison.

Jusqu’ici, les classements comparaient les IA sur des exercices scolaires : problèmes de mathématiques, questions de culture générale, énigmes de programmation. Un test publié lundi change la règle du jeu. Il place l’IA devant 657 tâches issues de six métiers, la finance, les ressources humaines, le marketing, les opérations, la vente et le support, dans des copies fidèles d’outils que tout le monde connaît : messagerie, tableur, discussion d’équipe, fichier clients, billetterie de support.

La vraie nouveauté est la notation. Chaque objectif atteint rapporte des points, mais une seule règle interne enfreinte ramène la note de la tâche à zéro. Rembourser un client sans validation, écrire à quelqu’un qui ne devait pas être contacté, modifier une fiche interdite : peu importe que tout le reste ait été bien fait. C’est exactement ce qu’une entreprise attend d’un salarié, et c’est précisément ce que les classements habituels ne mesuraient jamais.

Le coût, lui, varie énormément. Sur l’ensemble du classement, les deux modèles en tête arrivent à égalité de performance, mais l’un revient en moyenne à 3,26 dollars par tâche et l’autre à 7,63 dollars. Sur les seules tâches de bureau, des modèles bien plus modestes descendent sous les 5 centimes. Avant de brancher une IA sur vos processus, la question utile n’est donc plus de savoir lequel est le meilleur, mais combien coûte celui qui suffit, et ce qu’il fait quand il n’est pas sûr de lui.

Dans la même édition

Lire l’édition complète
  1. 01 Mistral lève trois milliards d’euros et devient le plus gros pari d’Europe
  2. 02 Une IA a trouvé la faille de WeChat, puis fabriqué le programme qui l’exploite
  3. 04 Accenture va installer mille ingénieurs formés par Google chez ses clients
  4. 05 La Chine veut sextupler sa puissance de calcul et y consacre 3 800 milliards de yuans

5 actus IA chaque matin, en 5 minutes.

La newsletter KLEAA, gratuite, du lundi au vendredi.