Saltar al contenido
Omnikalc

Calculadora de información mutua: ¿cuántos bits nos aporta X sobre Y?

Introduce las frecuencias de una tabla 2 × 2 para obtener la información mutua en bits, las entropías de las dos variables y la información mutua normalizada.

Actualizado el
Tus datos

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Resultados

Información mutua

0,3613 bits

Entropía de X
0,9710 bits
Entropía de Y
0,9341 bits
Información mutua normalizada
0,3794
Parte de la incertidumbre sobre Y eliminada al conocer X
38,7 %

Dos variables pueden estar relacionadas de formas que un coeficiente de correlación no ve, y la teoría de la información tiene una medida para cualquier tipo de vínculo. La calculadora de información mutua toma las cuatro frecuencias de una tabla 2 × 2 y da la información mutua en bits, la entropía de X, la entropía de Y, la información mutua normalizada y la parte de la incertidumbre sobre Y que se elimina al conocer X.

Cómo se hace el cálculo

  • Rellena la tabla 2 × 2 de frecuencias de dos variables sí-no X e Y: las dos presentes, solo X, solo Y y ninguna.
  • La calculadora convierte las frecuencias en probabilidades conjuntas y marginales.
  • La información mutua es I(X;Y) = Σ p(x,y) × log₂( p(x,y) / (p(x) × p(y)) ), medida en bits. Vale 0 cuando X e Y son independientes.
  • Lee las entropías de X y de Y, la información mutua normalizada, que va de 0 a 1, y la parte de la incertidumbre sobre Y que desaparece cuando se conoce X.

Ejemplo

En 200 casos, X e Y están ambas presentes en 60, solo X en 20, solo Y en 10 y ninguna en 110. X está presente el 40 % de las veces, así que su entropía es de 0,971 bits, e Y lo está el 35 % de las veces, así que su entropía es de 0,934 bits. La información mutua es de 0,3613 bits. El valor normalizado es de 0,379, y conocer X elimina el 38,7 % de la incertidumbre sobre Y.

Por qué es útil

La información mutua sirve para elegir las variables más informativas en aprendizaje automático, para medir lo que un síntoma enseña sobre una enfermedad, lo que una palabra predice de un tema, o lo que una señal transmite a través de un canal con ruido. Da una unidad, el bit, fácil de comparar de un problema a otro.

Conviene saber

La calculadora trata dos variables binarias a partir de una tabla de frecuencias, con la estimación directa, sesgada al alza en muestras pequeñas. No contrasta la significación, y trata las frecuencias como exactas. Para variables continuas o con más categorías, hay que agrupar antes los datos en clases, y el resultado depende de esa agrupación. Utilízala como una medida descriptiva.

Herramientas relacionadas

La calculadora de divergencia de Kullback-Leibler mide la distancia entre dos distribuciones, la de la prueba de la ji al cuadrado contrasta la independencia en una tabla, la de significación de una correlación contrasta una relación lineal, y la de intervalo de confianza mide la incertidumbre.

Preguntas frecuentes

¿Qué es la información mutua?

Mide cuánto reduce el conocimiento de una variable la incertidumbre sobre otra. Es nula cuando las dos variables son independientes, y crece cuando se vuelven más dependientes. A diferencia de la correlación, capta cualquier tipo de relación, no solo una recta, y se mide en bits cuando el logaritmo es de base 2.

¿Qué relación tiene con la entropía?

La información mutua es la entropía de Y menos la entropía de Y una vez conocida X, y es simétrica: I(X;Y) = H(X) + H(Y) − H(X,Y). Nunca puede superar la menor de las dos entropías. Cuando es igual a H(Y), conocer X informa totalmente sobre Y.

¿Qué es la información mutua normalizada?

Lleva la información mutua a un valor entre 0 y 1 dividiéndola entre la media geométrica de las dos entropías, lo que facilita la comparación entre variables de entropías distintas. Es habitual para evaluar clasificaciones y para seleccionar variables. Un valor próximo a 0 significa independencia, y un valor próximo a 1 significa que una variable determina a la otra.

¿Qué límites tiene con muestras pequeñas?

La información mutua estimada a partir de frecuencias está sesgada al alza en muestras pequeñas, porque el azar crea siempre una dependencia aparente. Con pocas observaciones, un valor positivo puede deberse solo al ruido. Para contrastar la independencia, compara el resultado con una prueba de la ji al cuadrado o con permutaciones, y prefiere muestras grandes.

¿Te ha resultado útil esta calculadora?

¡Gracias por tu opinión!

Resultados orientativos con fines informativos. No sustituyen el consejo de un profesional.