Aller au contenu
Omnikalc

Calculateur d’information mutuelle : combien de bits X nous apprend-elle sur Y ?

Saisissez les effectifs d’un tableau 2 × 2 pour obtenir l’information mutuelle en bits, les entropies des deux variables et l’information mutuelle normalisée.

Mis à jour le
Vos paramètres

Valeur hors limites

Valeur hors limites

Valeur hors limites

Valeur hors limites

Résultats

Information mutuelle

0,3613 bits

Entropie de X
0,9710 bits
Entropie de Y
0,9341 bits
Information mutuelle normalisée
0,3794
Part de l’incertitude sur Y levée en connaissant X
38,7 %

Deux variables peuvent être liées de façons qu’un coefficient de corrélation ne voit pas, et la théorie de l’information a une mesure pour tout type de lien. Le calculateur d’information mutuelle prend les quatre effectifs d’un tableau 2 × 2 et donne l’information mutuelle en bits, l’entropie de X, l’entropie de Y, l’information mutuelle normalisée et la part de l’incertitude sur Y levée en connaissant X.

Comment se fait le calcul

  • Remplissez le tableau 2 × 2 d’effectifs de deux variables oui-non X et Y : les deux présentes, seulement X, seulement Y et aucune.
  • Le calculateur transforme les effectifs en probabilités conjointes et marginales.
  • L’information mutuelle est I(X;Y) = Σ p(x,y) × log₂( p(x,y) / (p(x) × p(y)) ), mesurée en bits. Elle vaut 0 quand X et Y sont indépendantes.
  • Lisez les entropies de X et de Y, l’information mutuelle normalisée, qui va de 0 à 1, et la part de l’incertitude sur Y qui disparaît quand on connaît X.

Exemple

Sur 200 cas, X et Y sont toutes deux présentes dans 60, seulement X dans 20, seulement Y dans 10 et aucune dans 110. X est présente 40 % du temps, donc son entropie est de 0,971 bit, et Y l’est 35 % du temps, donc son entropie est de 0,934 bit. L’information mutuelle est de 0,3613 bit. La valeur normalisée est de 0,379, et connaître X lève 38,7 % de l’incertitude sur Y.

Pourquoi c’est utile

L’information mutuelle sert à choisir les variables les plus informatives en apprentissage automatique, à mesurer ce qu’un symptôme apprend sur une maladie, ce qu’un mot prédit d’un sujet, ou ce qu’un signal transmet à travers un canal bruité. Elle donne une unité, le bit, facile à comparer d’un problème à l’autre.

À savoir

Le calculateur traite deux variables binaires à partir d’un tableau d’effectifs, avec l’estimation directe, biaisée vers le haut pour de petits échantillons. Il ne teste pas la signification, et il traite les effectifs comme exacts. Pour des variables continues ou plus de catégories, il faut d’abord regrouper les données en classes, et le résultat dépend de ce regroupement. Utilisez-le comme une mesure descriptive.

Outils liés

Le calculateur de divergence de Kullback-Leibler mesure l’écart entre deux distributions, celui de test du khi-deux teste l’indépendance dans un tableau, celui de signification d’une corrélation teste un lien linéaire, et celui d’intervalle de confiance mesure l’incertitude.

Questions fréquentes

Qu’est-ce que l’information mutuelle ?

Elle mesure de combien la connaissance d’une variable réduit l’incertitude sur une autre. Elle est nulle quand les deux variables sont indépendantes, et elle croît quand elles deviennent plus dépendantes. Contrairement à la corrélation, elle capte tout type de relation, pas seulement une droite, et elle se mesure en bits quand le logarithme est en base 2.

Quel lien avec l’entropie ?

L’information mutuelle est l’entropie de Y moins l’entropie de Y une fois X connue, et elle est symétrique : I(X;Y) = H(X) + H(Y) − H(X,Y). Elle ne peut jamais dépasser la plus petite des deux entropies. Quand elle égale H(Y), connaître X renseigne totalement sur Y.

Qu’est-ce que l’information mutuelle normalisée ?

Elle ramène l’information mutuelle à une valeur entre 0 et 1 en divisant par la moyenne géométrique des deux entropies, ce qui facilite la comparaison entre variables d’entropies différentes. Elle est courante pour évaluer des classifications et pour sélectionner des variables. Une valeur proche de 0 signifie indépendance, et une valeur proche de 1 signifie qu’une variable détermine l’autre.

Quelles sont ses limites avec de petits échantillons ?

L’information mutuelle estimée à partir d’effectifs est biaisée vers le haut sur de petits échantillons, car le hasard crée toujours une dépendance apparente. Avec peu d’observations, une valeur positive peut venir du seul bruit. Pour tester l’indépendance, comparez le résultat à un test du khi-deux ou à des permutations, et préférez de grands échantillons.

Ce calculateur vous a-t-il été utile ?

Merci pour votre avis !

Résultats indicatifs fournis à titre d'information. Ils ne remplacent pas l'avis d'un professionnel.