Aller au contenu
Omnikalc

À quel point votre source de données est-elle imprévisible ?

Indiquez les effectifs ou les probabilités de six résultats au plus : vous obtenez l'entropie de Shannon en bits, l'entropie maximale, l'efficacité et la perplexité.

Mis à jour le
Vos paramètres

Valeur hors limites

Valeur hors limites

Valeur hors limites

Valeur hors limites

Valeur hors limites

Valeur hors limites

Résultats

Entropie de Shannon

1,7500 bits

Une distribution modérément inégale
Entropie maximale pour ces résultats
2,0000 bits
Efficacité (entropie ÷ maximum)
87,5 %
Perplexité (nombre équivalent de résultats équiprobables)
3,364
Entropie en nats
1,2130 nats

L’entropie de Shannon mesure l’imprévisibilité d’une source. Une pièce équilibrée a un bit d’entropie : chaque lancer est une surprise totale. Une pièce qui tombe sur pile 99 % du temps en a presque zéro, car on devine presque toujours le résultat. Indiquez la fréquence de chaque résultat, en effectifs ou en poids, et le calculateur donne l’entropie en bits, la valeur maximale possible et la distance qui les sépare.

Comment se fait le calcul

  • Probabilité de chaque résultat = son effectif ÷ le total
  • Entropie H = −Σ p × log₂(p), sur les résultats tels que p > 0
  • Entropie maximale = log₂(k) pour k résultats qui se produisent
  • Efficacité = H ÷ entropie maximale
  • Perplexité = 2^H, et nats = H × ln 2

Exemple

Une source émet quatre symboles avec des effectifs de 4, 2, 1 et 1. Leurs probabilités sont 50 %, 25 %, 12,5 % et 12,5 %. L’entropie est de 1,75 bit, pour un maximum de 2 bits : l’efficacité est de 87,5 %. La perplexité est de 3,364 : la source est aussi imprévisible qu’un dé d’environ 3,4 faces équiprobables. Un code idéal demande 1,75 bit par symbole en moyenne, contre 2 bits pour un code de longueur fixe.

Où l’utiliser

La compression de données, la cryptographie, l’apprentissage automatique et la linguistique reposent sur l’entropie. Les programmes de compression réduisent les fichiers en donnant des codes courts aux symboles fréquents. Les outils de sécurité estiment la difficulté de deviner un mot de passe ou une clé, et les arbres de décision choisissent les questions qui lèvent le plus d’incertitude. En écologie, un proche cousin mesure la diversité des espèces.

Bon à savoir

L’entropie ne dépend que des probabilités, pas de la nature des résultats. Les résultats d’effectif nul ne comptent pas. Estimer les probabilités sur un petit échantillon tend à sous-estimer l’entropie réelle : rassemblez assez d’observations. Le calcul suppose des résultats indépendants : pour un texte ou une suite avec des régularités, l’entropie réelle par symbole est inférieure à ce chiffre par symbole isolé.

Outils associés

Pour la difficulté de deviner un mot de passe, essayez le calculateur de robustesse de mot de passe. Pour la diversité écologique, utilisez l’indice de Shannon, et pour compter des arrangements, le calculateur de combinaisons.

Questions fréquentes

Qu'est-ce que l'entropie de Shannon ?

Une mesure de l'incertitude moyenne, ou de la surprise, d'une source d'information. C'est le nombre moyen de questions à réponse oui ou non nécessaires pour identifier un résultat, avec les meilleures questions possibles.

Pourquoi l'unité est-elle le bit ?

Le calcul utilise des logarithmes en base 2. En base e on obtient des nats, et en base 10 des hartleys.

Qu'est-ce que l'entropie maximale ?

L'entropie obtenue quand tous les résultats sont équiprobables. Pour k résultats, elle vaut le logarithme en base 2 de k : quatre résultats donnent 2 bits.

Quel rapport avec la compression ?

L'entropie est la limite inférieure du nombre moyen de bits par symbole qu'un code sans perte peut atteindre. Une source d'entropie 1,75 bit ne peut pas être compressée en dessous en moyenne.

Ce calculateur vous a-t-il été utile ?

Merci pour votre avis !

Résultats indicatifs fournis à titre d'information. Ils ne remplacent pas l'avis d'un professionnel.