Benchmarks
Benchmarks LLM : lire les scores sans se faire piéger
Panorama des benchmarks LLM, comment lire les scores — et quatre pièges de mesure côté serveur qui produisent des chiffres crédibles et faux.
#performance
Performance
Le cache KV (Key-Value) expliqué
Le cache KV expliqué : calculer sa taille, le compresser (GQA, MLA, FP8), et l'impact du prefix caching sur les architectures hybrides.
Matériel
Choisir son matériel pour l'inférence LLM locale
VRAM, bande passante, mémoire unifiée : pourquoi le decode est limité par la mémoire et comment arbitrer entre GPU discret et iGPU à mémoire partagée.
Performance
Décodage accéléré : spéculatif, MTP, EAGLE et DFlash 2
Décodage spéculatif, MTP, EAGLE-3, DFlash 2 : générer plusieurs tokens par passe sans perte de qualité — et ce que ça coûte vraiment en mémoire.
Performance
Flash Attention : de FA1 à FA4
Flash Attention optimise l'attention en minimisant les transferts HBM/SRAM : tiling, recomputation, et l'évolution FA1 à FA4 (Ampere → Blackwell).
Agents
Harness IA et agents de code en 2026 : le harness compte plus que le modèle
Coding tools vs agents autonomes, tool calling, boucles agentiques, mémoire projet et benchmarks 2026 : pourquoi le harness fait la différence.
Logiciels
Logiciels d'inférence LLM : llama.cpp, vLLM, SGLang
Comparatif des moteurs d'inférence LLM en 2026 et le choix concret de SoberCloud : llama.cpp Vulkan, vLLM et LiteLLM.