Nvidia attaque le vrai frein de l’automatisation, le coût de chaque tâche répétée
Le fabricant de puces a publié mardi une IA volontairement petite, jusqu’à quatre fois plus rapide, et un aiguilleur qui envoie chaque demande vers le modèle le moins cher capable de la traiter.
Le raisonnement de Nvidia part d’un constat de facture. Quand une entreprise automatise une tâche qui se répète des milliers de fois par jour, trier des e-mails, extraire un montant sur une facture, remplir une fiche client, elle paie chaque passage. Utiliser pour cela un modèle géant, c’est envoyer un camion chercher une baguette.
Son nouveau modèle, Nemotron 3.5 Lightning, n’active qu’une petite partie de lui-même à chaque demande, ce qui le rend jusqu’à quatre fois plus rapide que des modèles de taille équivalente. Nvidia a publié en même temps un aiguilleur : il lit la demande, l’envoie au petit modèle quand c’est de l’exécution simple, et ne réserve le gros modèle qu’aux décisions difficiles. Le tout est téléchargeable librement.
Pour une entreprise, la conséquence est financière avant d’être technique. Beaucoup d’automatisations abandonnées l’ont été parce que le coût par opération restait supérieur au temps humain économisé. Si vous avez renoncé à automatiser une tâche répétitive il y a six mois pour cette raison, le calcul mérite d’être refait : c’est votre prestataire ou votre développeur qu’il faut interroger sur le modèle utilisé, pas la démonstration commerciale.