Dos variables pueden estar relacionadas de formas que un coeficiente de correlación no ve, y la teoría de la información tiene una medida para cualquier tipo de vínculo. La calculadora de información mutua toma las cuatro frecuencias de una tabla 2 × 2 y da la información mutua en bits, la entropía de X, la entropía de Y, la información mutua normalizada y la parte de la incertidumbre sobre Y que se elimina al conocer X.
Cómo se hace el cálculo
- Rellena la tabla 2 × 2 de frecuencias de dos variables sí-no X e Y: las dos presentes, solo X, solo Y y ninguna.
- La calculadora convierte las frecuencias en probabilidades conjuntas y marginales.
- La información mutua es I(X;Y) = Σ p(x,y) × log₂( p(x,y) / (p(x) × p(y)) ), medida en bits. Vale 0 cuando X e Y son independientes.
- Lee las entropías de X y de Y, la información mutua normalizada, que va de 0 a 1, y la parte de la incertidumbre sobre Y que desaparece cuando se conoce X.
Ejemplo
En 200 casos, X e Y están ambas presentes en 60, solo X en 20, solo Y en 10 y ninguna en 110. X está presente el 40 % de las veces, así que su entropía es de 0,971 bits, e Y lo está el 35 % de las veces, así que su entropía es de 0,934 bits. La información mutua es de 0,3613 bits. El valor normalizado es de 0,379, y conocer X elimina el 38,7 % de la incertidumbre sobre Y.
Por qué es útil
La información mutua sirve para elegir las variables más informativas en aprendizaje automático, para medir lo que un síntoma enseña sobre una enfermedad, lo que una palabra predice de un tema, o lo que una señal transmite a través de un canal con ruido. Da una unidad, el bit, fácil de comparar de un problema a otro.
Conviene saber
La calculadora trata dos variables binarias a partir de una tabla de frecuencias, con la estimación directa, sesgada al alza en muestras pequeñas. No contrasta la significación, y trata las frecuencias como exactas. Para variables continuas o con más categorías, hay que agrupar antes los datos en clases, y el resultado depende de esa agrupación. Utilízala como una medida descriptiva.
Herramientas relacionadas
La calculadora de divergencia de Kullback-Leibler mide la distancia entre dos distribuciones, la de la prueba de la ji al cuadrado contrasta la independencia en una tabla, la de significación de una correlación contrasta una relación lineal, y la de intervalo de confianza mide la incertidumbre.