Le véritable point fort de la puce M5 ne se limite pas au MacBook Pro.
Un nouvel article sur le blog de recherche en apprentissage automatique d’Apple met en lumière l’énorme avancée que représente la M5 par rapport à la M4 dans l’exécution de modèles de langage locaux (LLM). Voici les détails.
Contexte
Il y a quelques années, Apple a lancé MLX, décrit comme « un framework d’array pour un apprentissage machine efficace et flexible sur le silicium d’Apple ». Concrètement, MLX est un cadre open-source qui permet aux développeurs de créer et d’exécuter des modèles d’apprentissage machine nativement sur leurs Macs, grâce à des API familières dans le milieu de l’IA.
Selon Apple,
MLX est un framework open-source qui est efficace, flexible et hautement optimisé pour le silicium d’Apple. Vous pouvez l’utiliser pour divers applications allant des simulations numériques à l’apprentissage machine. MLX inclut un support intégré pour l’entraînement et l’inférence des réseaux de neurones, y compris la génération de texte et d’images.
M5 versus M4
Dans son article, Apple met en avant les gains de performance d’inférence de la nouvelle puce M5, grâce aux nouvelles unités d’accélération neuronale du GPU. Apple souligne que ces unités
offrent des opérations de multiplication de matrices dédiées, cruciales pour de nombreuses charges de travail en apprentissage machine.
Pour illustrer ces progrès, Apple a comparé le temps nécessaire à plusieurs modèles ouverts pour générer le premier token après réception d’une invite sur un MacBook Pro M4 et M5, utilisant MLX LM. Apple indique :
Nous évaluons les modèles Qwen 1.7B et 8B en précision BF16 native, ainsi que les modèles quantifiés Qwen 8B et Qwen 14B en 4 bits.
Les résultats révèlent un gain de performance significatif, avec une augmentation de 19 à 27 % pour la M5 par rapport à la M4. Comme l’explique Apple :
Sur les architectures que nous avons testées, la M5 offre une augmentation de performance de 19 à 27 % comparée à la M4, grâce à sa bande passante mémoire améliorée.
Apple a également examiné la différence de performance pour la génération d’images, notant que la M5 est plus de 3,8 fois plus rapide que la M4.
