L’entropie de Shannon mesure l’imprévisibilité d’une source. Une pièce équilibrée a un bit d’entropie : chaque lancer est une surprise totale. Une pièce qui tombe sur pile 99 % du temps en a presque zéro, car on devine presque toujours le résultat. Indiquez la fréquence de chaque résultat, en effectifs ou en poids, et le calculateur donne l’entropie en bits, la valeur maximale possible et la distance qui les sépare.
Comment se fait le calcul
- Probabilité de chaque résultat = son effectif ÷ le total
- Entropie H = −Σ p × log₂(p), sur les résultats tels que p > 0
- Entropie maximale = log₂(k) pour k résultats qui se produisent
- Efficacité = H ÷ entropie maximale
- Perplexité = 2^H, et nats = H × ln 2
Exemple
Une source émet quatre symboles avec des effectifs de 4, 2, 1 et 1. Leurs probabilités sont 50 %, 25 %, 12,5 % et 12,5 %. L’entropie est de 1,75 bit, pour un maximum de 2 bits : l’efficacité est de 87,5 %. La perplexité est de 3,364 : la source est aussi imprévisible qu’un dé d’environ 3,4 faces équiprobables. Un code idéal demande 1,75 bit par symbole en moyenne, contre 2 bits pour un code de longueur fixe.
Où l’utiliser
La compression de données, la cryptographie, l’apprentissage automatique et la linguistique reposent sur l’entropie. Les programmes de compression réduisent les fichiers en donnant des codes courts aux symboles fréquents. Les outils de sécurité estiment la difficulté de deviner un mot de passe ou une clé, et les arbres de décision choisissent les questions qui lèvent le plus d’incertitude. En écologie, un proche cousin mesure la diversité des espèces.
Bon à savoir
L’entropie ne dépend que des probabilités, pas de la nature des résultats. Les résultats d’effectif nul ne comptent pas. Estimer les probabilités sur un petit échantillon tend à sous-estimer l’entropie réelle : rassemblez assez d’observations. Le calcul suppose des résultats indépendants : pour un texte ou une suite avec des régularités, l’entropie réelle par symbole est inférieure à ce chiffre par symbole isolé.
Outils associés
Pour la difficulté de deviner un mot de passe, essayez le calculateur de robustesse de mot de passe. Pour la diversité écologique, utilisez l’indice de Shannon, et pour compter des arrangements, le calculateur de combinaisons.