Un premier constat : l’IA locale fonctionne très bien pour la dictée vocale et donne des résultats très convaincants pour la voix, la génération et l’édition d’images. Pour les LLM, tout dépend de l’usage concret et de vos attentes en terme de performance. Pour un usage de programmation au quotidien en remplacement d’un Claude Code ou Codex, on est encore loin du compte selon moi¹, même si les modèles récents me donnent envie d’espérer.

La configuration de référence

Mes essais se font sur un Mac mini M4 Pro (CPU 14 cœurs, GPU 20 cœurs) et 48 Go de mémoire unifiée, acheté en décembre 2024. C’est aussi ma machine de travail de développeur. Si vous envisagez un achat pour l’IA locale, ces retours devraient vous aider à situer ce qu’on peut attendre de cette configuration. Pour simplifier, la quantité de RAM permet de savoir si on est en mesure de charger un modèle et la quantité de cœurs GPU ainsi que l’architecture (Mx Pro, Mx Max ou Mx Ultra) influencent ensuite la performance. Pouvoir charger un modèle en mémoire ne dit pas encore s’il sera agréable à utiliser.

La voix et les images : déjà convaincantes

Avant de parler des LLM, trois usages d’IA méritent un détour :

• La dictée vocale, avec Handy et le modèle Parakeet. 16 Go de RAM suffisent pour utiliser cet outil en complément de vos logiciels. La qualité de retranscription surpasse la reconnaissance vocale intégrée du Mac au point de trouver sa place dans mes usages quotidiens.
• La génération et l’édition d’images, avec Draw Things et des modèles FLUX, Z-Image et Qwen. Là aussi, mon bilan est très positif. La retouche d’une image existante par un prompt fait des merveilles. Je ne suis pas certain d’utiliser vraiment la génération d’image pure. L’illustration en haut de cette page est un exemple de génération d’une « illustration minimaliste représentant une boîte grise à la forme d’un Mac mini contenant un mécanisme d’horlogerie ». Pour utiliser confortablement ces outils, mieux vaut avoir au minimum 32 Go de RAM et plus de 10 cœurs GPU.
• La synthèse et le clonage de voix, avec Voicebox, notamment les modèles Qwen3-TTS. Je suis davantage dans l’expérimentation, mais les résultats m’ont beaucoup plu. Je n’ai actuellement aucun besoin d’un tel outil mais je pense expérimenter sur la création autonome de présentations résumées avec VoiceOver. À ma connaissance, il n’existe pas encore de modèles d’IA francophones permettant de contrôler finement l’intonation et l’émotion simulée.

L’IA locale vaut donc déjà le coup sur cette machine et il y a tout un foisonnement de modèles à essayer. Mais le gros morceau arrive : les LLM, et le bilan est ici moins évident.

Les LLM : faire tourner un modèle ne suffit pas

Sur les “petits” Mac avec 24 Go de RAM ou moins, on peut charger et faire tourner des petites versions des modèles Gemma-4 (à 2, 4 ou 12 milliards de paramètres) ou Qwen à 9 milliards de paramètres. Ces modèles fonctionnent pour une petite discussion mais ont une capacité de raisonnement limitée et je n’en trouve aucun usage concret.

Avec 48 Go de RAM, j’ai pu essayer une plus grande variété de modèles, notamment les plus grosses versions des familles Gemma et Qwen (autour de 30 milliards de paramètres). Certains répondent assez vite (dans les 60 tokens par seconde pour les modèles MoE²) mais sont encore trop imités pour réaliser des tâches intéressantes ; d’autres donnent de très bons résultats mais sont excessivement lents (20 tokens par seconde en début de travail puis 10 tokens ou moins par seconde une fois que le contexte de travail s’étend). J’ai passé beaucoup de temps à essayer différentes combinaisons, sans trouver pour l’instant un usage assez utile pour s’installer dans mon quotidien.

En dehors d’une contrainte de confidentialité imposant le travail 100% local, les services par API distantes sont largement le choix le plus raisonnable. Si on souhaite éviter OpenAI et Anthropic pour des questions budgétaires, on peut se tourner vers des modèles peu chers par API comme l’excellent Deepseek 4.1 flash : plus rapide et plus qualitatif qu’un modèle local. Le meilleur modèle local qui fonctionne sur ma machine, Qwen3.8 27b, a passé plus de 40 minutes à répondre à une petite demande simple sur du code lors de mes premiers tests.

J’ai toutefois l’impression que les modèles sortis récemment pourraient faire évoluer ce bilan. L’actualité est brûlante et il y a de nouvelles choses à tester chaque semaine. Si une solution permet de faire un nouveau bon en qualité ou en vitesse d’inférence, on peut atteindre un niveau où il devient envisageable d’utiliser cela au quotidien sur un Mac milieu de gamme.

Ce que je vais explorer

Les prochains articles de la série « IA Locale » porteront principalement sur des tests de trois éléments :

• Les moteurs d’inférence : les logiciels qui exécutent les modèles, avec leurs différences de vitesse, de réglages et de facilité d’utilisation.
• Les modèles de langage : la qualité des réponses, la mémoire nécessaire et le temps d’attente pour une tâche donnée.
• Les outils de codage, ou « harness » : les logiciels qui entourent le modèle pour lui permettre de travailler sur un projet, modifier des fichiers et lancer des commandes.

Ma recommandation actuelle suite à mes tâtonnements va pour oMLX (pratique et performant) faisant tourner Qwen3.8 27b (très lent mais capable d’assez bons raisonnements) utilisés par OpenCode (choisi par défaut et qu’il me faut vite comparer à Pi ou d’autres).

La liste d’éléments à tester est longue !

1. Sur les Mac Studio avec puce Ultra et plus de 128 Go de RAM, la situation est différente, on doit pouvoir faire fonctionner Qwen 3.8 flash Next de façon confortable pour une utilisation bien réelle… mais on parle ici de machines à plus de 6000 € ︎
2. Les modèles MoE pour Mixture of Experts sont plus rapides car seulement une partie des paramètres chargés en mémoire sont utilisés à chaque instant. Le gain en rapidité semble se faire au prix d’une certaine capacité de raisonnement. ︎