Xiaomi publie gratuitement un modèle de 1 020 milliards de paramètres
Le fabricant de téléphones a mis en ligne hier MiMo-V2.6-Pro et, avec lui, la recette complète de sa fabrication, sous la licence la plus permissive qui existe.
Un modèle de langage, c’est un très gros fichier de réglages internes, les paramètres, qui lui tiennent lieu de connaissance. MiMo-V2.6-Pro en compte 1 020 milliards, mais n’en allume que 42 milliards par question, une construction dite en mélange d’experts qui divise la facture de calcul. Il lit le texte, les images, la vidéo et le son, retient jusqu’à un million de jetons, c’est-à-dire l’équivalent de plusieurs livres dans une même conversation, et il est publié sous licence MIT : usage commercial autorisé, modification autorisée, hébergement chez soi autorisé, sans contrepartie.
L’inhabituel n’est pas le modèle, c’est ce qui l’accompagne. Xiaomi a publié le rapport technique, le cadre logiciel d’entraînement, plus de 7 000 environnements d’exercice et une version réduite à 9 milliards de paramètres. Il a aussi donné la facture : environ 2,62 millions de dollars pour la phase d’apprentissage par renforcement du grand modèle, 850 000 dollars pour la version Flash, en 30 étapes et quelque 750 000 essais étalés sur 6 jours. Sur l’indice indépendant d’Artificial Analysis, le modèle obtient 46,3 et prend la tête des modèles à poids ouverts. Par son interface de programmation, il est facturé 0,435 dollar le million de jetons en entrée et 0,87 en sortie.
L’information utile n’est pas le classement, elle est dans les 2,62 millions de dollars. Une capacité que les laboratoires américains facturaient comme un exploit est désormais reproduite pour le prix d’un appartement parisien, par un fabricant de téléphones, et la méthode est offerte à qui veut la refaire. Pour une entreprise, cela déplace la négociation : aucun fournisseur ne peut plus justifier un tarif par la rareté de la technologie. Attention toutefois à ne pas confondre gratuit et sans effort. Faire tourner 1 020 milliards de paramètres chez soi réclame du matériel sérieux. La voie réaliste reste de louer l’accès, en vérifiant où sont hébergées les données.