Une puce de téléphone fait tourner une IA de 30 milliards de paramètres
MediaTek a présenté hier le Dimensity 9600 Pro, premier processeur de mobile gravé en 2 nanomètres, capable d’exécuter un modèle entier sur l’appareil, sans passer par un serveur.
MediaTek fournit plus de processeurs de téléphone que n’importe qui d’autre dans le monde. Sa nouvelle puce est fabriquée par le taïwanais TSMC en 2 nanomètres, une finesse de gravure jamais atteinte en série sur un mobile, et consomme 61 % de moins que la précédente sur les calculs répartis entre plusieurs cœurs. Sa partie dédiée à l’IA avale un texte long 51 % plus vite et produit 55 % de mots en plus pour la même électricité.
Le chiffre à retenir est 30 milliards de paramètres, les réglages internes qui tiennent lieu de connaissance à un modèle. Jusqu’ici, un modèle de cette taille réclamait un serveur. Il tient maintenant dans un téléphone, grâce au mélange d’experts, une construction qui n’allume qu’une petite partie du modèle à chaque réponse. Une version moins chère, gravée en 3 nanomètres, accompagne la puce haut de gamme.
L’intérêt, pour un entrepreneur, n’est ni la finesse de gravure ni la vitesse. C’est que le texte ne sort plus de l’appareil : pas de connexion nécessaire, pas de facture à la requête, et rien à expliquer à un client qui demande où partent ses données. Un modèle de 30 milliards de paramètres ne rivalise pas avec les meilleurs modèles en ligne, mais il suffit largement pour rédiger, résumer, traduire ou trier. Reste à attendre les premiers appareils équipés.