Le calculateur de softmax avec température convertit quatre logits en probabilités, et donne l’entropie et le nombre de choix effectifs, pour voir comment la température durcit ou aplatit une distribution.
Comment se fait le calcul
- Saisissez les quatre logits.
- Saisissez la température.
- Le calculateur donne les quatre probabilités, l’entropie en bits et le nombre de choix effectifs.
Exemple
Les logits 2, 1, 0,1 et −1 à la température 1 donnent des exponentielles de 7,39, 2,72, 1,11 et 0,37, de somme 11,58. Les probabilités sont 63,81 %, 23,47 %, 9,54 % et 3,18 %. L’entropie est de 1,386 bits, égale à 2,61 choix également probables. Baisser la température à 0,5 donne au premier choix une part bien plus grande.
Pourquoi c’est utile
Le calculateur aide les étudiants en apprentissage automatique, les développeurs qui règlent l’échantillonnage d’un modèle de langage et tous ceux qui veulent comprendre comment des scores deviennent des probabilités.
À savoir
Dans les modèles de langage, la température s’applique aux logits avant le tirage. Des valeurs autour de 0,2 donnent un texte ciblé et reproductible, autour de 1 un texte varié, et au-dessus de 1,5 la sortie devient erratique. Des méthodes comme top-k et top-p coupent la queue de la distribution avant le tirage. Le softmax est aussi la couche de sortie des classifieurs, où il s’associe à l’entropie croisée. Ce n’est pas une probabilité calibrée en soi : un modèle peut être trop sûr de lui, et une température ajustée sur des données de validation est un moyen classique d’y remédier. Le nombre de choix effectifs, l’exponentielle de l’entropie, est la perplexité de la distribution. Avec des logits égaux, il vaut le nombre de choix, ici 4.
Outils liés
Le calculateur d’entropie de Shannon explique cette mesure, celui de probabilité de régression logistique couvre le cas à deux classes, celui de mémoire des LLM dimensionne les modèles et celui de probabilité traite les chances simples.