La entropía de Shannon mide la impredecibilidad de una fuente. Una moneda equilibrada tiene un bit de entropía: cada lanzamiento es una sorpresa total. Una moneda que cae de cara el 99 % de las veces tiene casi cero, porque casi siempre se adivina el resultado. Indica la frecuencia de cada resultado, en efectivos o en pesos, y la calculadora da la entropía en bits, el valor máximo posible y la distancia que los separa.
Cómo se hace el cálculo
- Probabilidad de cada resultado = su frecuencia ÷ el total
- Entropía H = −Σ p × log₂(p), sobre los resultados con p > 0
- Entropía máxima = log₂(k) para k resultados que se producen
- Eficiencia = H ÷ entropía máxima
- Perplejidad = 2^H, y nats = H × ln 2
Ejemplo
Una fuente emite cuatro símbolos con frecuencias de 4, 2, 1 y 1. Sus probabilidades son 50 %, 25 %, 12,5 % y 12,5 %. La entropía es de 1,75 bits, para un máximo de 2 bits: la eficiencia es del 87,5 %. La perplejidad es de 3,364: la fuente es tan impredecible como un dado de unas 3,4 caras equiprobables. Un código ideal necesita 1,75 bits por símbolo de media, frente a 2 bits de un código de longitud fija.
Dónde utilizarla
La compresión de datos, la criptografía, el aprendizaje automático y la lingüística se apoyan en la entropía. Los programas de compresión reducen los archivos dando códigos cortos a los símbolos frecuentes. Las herramientas de seguridad estiman lo difícil que es adivinar una contraseña o una clave, y los árboles de decisión eligen las preguntas que más incertidumbre eliminan. En ecología, un primo muy cercano mide la diversidad de especies.
Conviene saber
La entropía solo depende de las probabilidades, no de la naturaleza de los resultados. Los resultados de frecuencia nula no cuentan. Estimar las probabilidades con una muestra pequeña tiende a subestimar la entropía real: reúne suficientes observaciones. El cálculo supone resultados independientes: en un texto o una secuencia con regularidades, la entropía real por símbolo es inferior a esta cifra calculada sobre símbolos aislados.
Herramientas relacionadas
Para la dificultad de adivinar una contraseña, prueba la calculadora de robustez de contraseñas. Para la diversidad ecológica, utiliza el índice de Shannon, y para contar ordenaciones, la calculadora de combinaciones.