Pour certains usages d’intelligence artificielle, garder les requêtes sur son propre ordinateur constitue un choix concret : le traitement ne quitte pas le Mac. Les possesseurs d’un Mac Pro Intel doté d’une carte graphique AMD peuvent désormais envisager cette approche avec ToshLLM, un projet qui s’appuie sur l’accélération Metal d’Apple pour exécuter des modèles localement.
D’après ToshLLM, l’objectif est de faire tourner ces modèles sur le matériel déjà présent dans la tour, plutôt que de confier chaque demande à un service distant. Le projet défend ainsi une utilisation « zero cloud » et sans facturation au token, deux éléments pensés pour les personnes qui préfèrent travailler à partir de leur propre équipement.
Metal met le GPU AMD à contribution
La pièce centrale de cette configuration est la carte graphique AMD installée dans le Mac Pro Intel. ToshLLM utilise Metal, la technologie graphique et de calcul d’Apple, afin d’exploiter ce GPU pour l’exécution locale des modèles d’IA.
Cette possibilité concerne particulièrement les Mac Pro Intel professionnels qui restent en activité et disposent déjà d’une carte AMD compatible. Au lieu d’imposer un renouvellement immédiat vers une machine Apple Silicon, l’outil ouvre une piste pour expérimenter des projets d’IA locale avec une configuration existante.
Dans la pratique, l’intérêt est de disposer d’un traitement réalisé par le Mac lui-même. Les requêtes et les modèles sont alors exécutés localement, selon l’approche présentée par ToshLLM, sans dépendre d’un service cloud pour ce calcul.
Une approche adaptée aux machines déjà amorties
Le Mac Pro se prête à cette utilisation grâce à son architecture, qui permet l’emploi de cartes graphiques AMD. Pour les utilisateurs ayant conservé une telle tour, le GPU peut donc devenir un composant utile au-delà des tâches graphiques habituelles, en servant aussi à faire fonctionner des modèles d’IA via Metal.
L’absence de facturation au volume de requêtes est également un point pratique pour les projets nécessitant de nombreuses interactions avec un modèle. Ici, ToshLLM oppose son fonctionnement local aux services en ligne qui reposent sur une consommation comptée en tokens.
Ce que ça change
Cette solution peut prolonger l’utilité d’un Mac Pro Intel compatible en lui donnant accès à des usages d’IA exécutés sur place. Elle ne place pas pour autant ces machines au même niveau qu’un Mac Apple Silicon récent : elle valorise avant tout le GPU AMD déjà installé.
Avant d’adopter ce type de flux de travail, la compatibilité entre le modèle choisi, Metal et la carte AMD du Mac Pro sera le point déterminant. Pour les utilisateurs attachés à l’exécution sur leur matériel, ToshLLM dessine néanmoins une alternative concrète au traitement distant.
À lire aussi
Source : ToshLLM — site officiel du projet