Formats
Formats de modèles : GGUF, SafeTensors, MLX
Comprendre les formats de stockage des LLM open source — GGUF, SafeTensors, MLX — et les distinguer des méthodes de quantification.
Le carnet technique — page 2/2
Découvertes
Retours d'expérience bruts depuis nos nodes GPU à Briançon : ce qu'on a testé, mesuré, gardé et jeté pour servir des LLM open source souverains au meilleur ratio qualité / watt.
Pratique
Guide pratique : faire tourner un LLM local en production
Commandes concrètes llama.cpp, vLLM et Ollama, flags clés et configurations réelles pour servir Qwen3.6 sur GPU discret ou mémoire unifiée.
Agents
Harness IA et agents de code en 2026 : le harness compte plus que le modèle
Coding tools vs agents autonomes, tool calling, boucles agentiques, mémoire projet et benchmarks 2026 : pourquoi le harness fait la différence.
Logiciels
Logiciels d'inférence LLM : llama.cpp, vLLM, SGLang
Comparatif des moteurs d'inférence LLM en 2026 et le choix concret de SoberCloud : llama.cpp Vulkan, vLLM et LiteLLM.
Paramètres
Paramètres de génération des LLM
Temperature, top-p, top-k, pénalités : comment ces paramètres contrôlent la créativité et la cohérence des réponses d'un LLM.
Quantification
Quantification avancée des LLM
GGUF K-quants, nomenclature Q4_K_M et UD-Q5_K_XL, GPTQ, AWQ, EXL2/EXL3, REAP : panorama des méthodes de quantification et de leurs compromis.
Fine-tuning
Unsloth en profondeur : fine-tuning rapide et GGUF dynamiques
Comment Unsloth accélère le fine-tuning LoRA et produit des GGUF Dynamic supérieurs, avec un exemple sur Qwen3.6-27B.
Inférence LLM
Dense ou MoE ? Pourquoi Qwen3.6-35B-A3B bat le 27B dense sur Strix Halo
Retour d'expérience SoberCloud : à fichier équivalent, un Mixture-of-Experts 35B-A3B sert plus vite qu'un modèle dense 27B sur un iGPU à mémoire unifiée.