Performance
Décodage accéléré : spéculatif, MTP, EAGLE et DFlash 2
Décodage spéculatif, MTP, EAGLE-3, DFlash 2 : générer plusieurs tokens par passe sans perte de qualité — et ce que ça coûte vraiment en mémoire.
Performance
Décodage spéculatif, MTP, EAGLE-3, DFlash 2 : générer plusieurs tokens par passe sans perte de qualité — et ce que ça coûte vraiment en mémoire.
Paramètres
Temperature, top-p, top-k, pénalités : comment ces paramètres contrôlent la créativité et la cohérence des réponses d'un LLM.