Deux variables peuvent être liées de façons qu’un coefficient de corrélation ne voit pas, et la théorie de l’information a une mesure pour tout type de lien. Le calculateur d’information mutuelle prend les quatre effectifs d’un tableau 2 × 2 et donne l’information mutuelle en bits, l’entropie de X, l’entropie de Y, l’information mutuelle normalisée et la part de l’incertitude sur Y levée en connaissant X.
Comment se fait le calcul
- Remplissez le tableau 2 × 2 d’effectifs de deux variables oui-non X et Y : les deux présentes, seulement X, seulement Y et aucune.
- Le calculateur transforme les effectifs en probabilités conjointes et marginales.
- L’information mutuelle est I(X;Y) = Σ p(x,y) × log₂( p(x,y) / (p(x) × p(y)) ), mesurée en bits. Elle vaut 0 quand X et Y sont indépendantes.
- Lisez les entropies de X et de Y, l’information mutuelle normalisée, qui va de 0 à 1, et la part de l’incertitude sur Y qui disparaît quand on connaît X.
Exemple
Sur 200 cas, X et Y sont toutes deux présentes dans 60, seulement X dans 20, seulement Y dans 10 et aucune dans 110. X est présente 40 % du temps, donc son entropie est de 0,971 bit, et Y l’est 35 % du temps, donc son entropie est de 0,934 bit. L’information mutuelle est de 0,3613 bit. La valeur normalisée est de 0,379, et connaître X lève 38,7 % de l’incertitude sur Y.
Pourquoi c’est utile
L’information mutuelle sert à choisir les variables les plus informatives en apprentissage automatique, à mesurer ce qu’un symptôme apprend sur une maladie, ce qu’un mot prédit d’un sujet, ou ce qu’un signal transmet à travers un canal bruité. Elle donne une unité, le bit, facile à comparer d’un problème à l’autre.
À savoir
Le calculateur traite deux variables binaires à partir d’un tableau d’effectifs, avec l’estimation directe, biaisée vers le haut pour de petits échantillons. Il ne teste pas la signification, et il traite les effectifs comme exacts. Pour des variables continues ou plus de catégories, il faut d’abord regrouper les données en classes, et le résultat dépend de ce regroupement. Utilisez-le comme une mesure descriptive.
Outils liés
Le calculateur de divergence de Kullback-Leibler mesure l’écart entre deux distributions, celui de test du khi-deux teste l’indépendance dans un tableau, celui de signification d’une corrélation teste un lien linéaire, et celui d’intervalle de confiance mesure l’incertitude.