Aller au contenu
Omnikalc

Calculateur de softmax avec température

Saisissez quatre logits et une température pour obtenir les probabilités softmax, l’entropie en bits et le nombre de choix effectifs, comme pour tirer le mot suivant dans un modèle de langage.

Mis à jour le
Vos paramètres

Valeur hors limites

Valeur hors limites

Valeur hors limites

Valeur hors limites

Valeur hors limites

Résultats

Probabilité du choix 1

63,81 %

Probabilité du choix 2
23,47 %
Probabilité du choix 3
9,54 %
Probabilité du choix 4
3,18 %
Entropie de la distribution
1,386 bits
Nombre de choix effectifs
2,61
Plusieurs choix restent plausibles

Le calculateur de softmax avec température convertit quatre logits en probabilités, et donne l’entropie et le nombre de choix effectifs, pour voir comment la température durcit ou aplatit une distribution.

Comment se fait le calcul

  • Saisissez les quatre logits.
  • Saisissez la température.
  • Le calculateur donne les quatre probabilités, l’entropie en bits et le nombre de choix effectifs.

Exemple

Les logits 2, 1, 0,1 et −1 à la température 1 donnent des exponentielles de 7,39, 2,72, 1,11 et 0,37, de somme 11,58. Les probabilités sont 63,81 %, 23,47 %, 9,54 % et 3,18 %. L’entropie est de 1,386 bits, égale à 2,61 choix également probables. Baisser la température à 0,5 donne au premier choix une part bien plus grande.

Pourquoi c’est utile

Le calculateur aide les étudiants en apprentissage automatique, les développeurs qui règlent l’échantillonnage d’un modèle de langage et tous ceux qui veulent comprendre comment des scores deviennent des probabilités.

À savoir

Dans les modèles de langage, la température s’applique aux logits avant le tirage. Des valeurs autour de 0,2 donnent un texte ciblé et reproductible, autour de 1 un texte varié, et au-dessus de 1,5 la sortie devient erratique. Des méthodes comme top-k et top-p coupent la queue de la distribution avant le tirage. Le softmax est aussi la couche de sortie des classifieurs, où il s’associe à l’entropie croisée. Ce n’est pas une probabilité calibrée en soi : un modèle peut être trop sûr de lui, et une température ajustée sur des données de validation est un moyen classique d’y remédier. Le nombre de choix effectifs, l’exponentielle de l’entropie, est la perplexité de la distribution. Avec des logits égaux, il vaut le nombre de choix, ici 4.

Outils liés

Le calculateur d’entropie de Shannon explique cette mesure, celui de probabilité de régression logistique couvre le cas à deux classes, celui de mémoire des LLM dimensionne les modèles et celui de probabilité traite les chances simples.

Questions fréquentes

Que fait le softmax ?

Il transforme n’importe quelle liste de scores, les logits, en probabilités positives dont la somme vaut 1. Chaque probabilité est exp(z / T) divisé par la somme de ces valeurs sur tous les choix, donc un logit plus élevé reçoit toujours une probabilité plus élevée.

Comment la température change-t-elle le résultat ?

Une basse température durcit la distribution : le meilleur choix reçoit presque toute la probabilité et la sortie devient plus prévisible. Une température élevée l’aplatit vers des chances égales. À T = 1 les logits sont utilisés tels quels, et quand T tend vers 0 le choix devient un simple maximum.

Pourquoi soustraire le maximum ?

Soustraire la plus grande valeur avant l’exponentielle ne change pas les probabilités, puisqu’elle s’annule dans le rapport, mais cela évite le dépassement de capacité quand les logits sont grands. Ce calculateur le fait, comme la plupart des bibliothèques.

Ce calculateur vous a-t-il été utile ?

Merci pour votre avis !

Résultats indicatifs fournis à titre d'information. Ils ne remplacent pas l'avis d'un professionnel.