Benchmarks
Benchmarks LLM : lire les scores sans se faire piéger
Code, raisonnement, contamination, saturation : panorama des benchmarks LLM et pourquoi nous gardons BenchLocal, notre évaluation qualité interne.
#performance
Performance
Le cache KV (Key-Value) expliqué
Comment le cache KV accélère l'inférence, comment calculer sa taille, et comment le compresser : GQA, MLA, quantification q8_0/fp8, SWA, PagedAttention.
Matériel
Choisir son matériel pour l'inférence LLM locale
VRAM, bande passante, mémoire unifiée : pourquoi le decode est limité par la mémoire et comment arbitrer entre GPU discret et iGPU à mémoire partagée.
Performance
Décodage accéléré : spéculatif, MTP, EAGLE et draft models
Speculative decoding, Multi-Token Prediction, EAGLE-3, Medusa : comment générer plusieurs tokens par passe sans dégrader la qualité du LLM.
Performance
Flash Attention : de FA1 à FA4
Flash Attention optimise l'attention en minimisant les transferts HBM/SRAM : tiling, recomputation, et l'évolution FA1 à FA4 (Ampere → Blackwell).
Agents
Harness IA et agents de code en 2026 : le harness compte plus que le modèle
Coding tools vs agents autonomes, tool calling, boucles agentiques, mémoire projet et benchmarks 2026 : pourquoi le harness fait la différence.
Logiciels
Logiciels d'inférence LLM : llama.cpp, vLLM, SGLang
Comparatif des moteurs d'inférence LLM en 2026 et le choix concret de SoberCloud : llama.cpp Vulkan, vLLM et LiteLLM.