Saltar al contenido
Omnikalc

¿Cuán impredecible es tu fuente de datos?

Indica las frecuencias o las probabilidades de hasta seis resultados: obtendrás la entropía de Shannon en bits, la entropía máxima, la eficiencia y la perplejidad.

Actualizado el
Tus datos

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Resultados

Entropía de Shannon

1,7500 bits

Una distribución moderadamente desigual
Entropía máxima para estos resultados
2,0000 bits
Eficiencia (entropía ÷ máximo)
87,5 %
Perplejidad (número equivalente de resultados equiprobables)
3,364
Entropía en nats
1,2130 nats

La entropía de Shannon mide la impredecibilidad de una fuente. Una moneda equilibrada tiene un bit de entropía: cada lanzamiento es una sorpresa total. Una moneda que cae de cara el 99 % de las veces tiene casi cero, porque casi siempre se adivina el resultado. Indica la frecuencia de cada resultado, en efectivos o en pesos, y la calculadora da la entropía en bits, el valor máximo posible y la distancia que los separa.

Cómo se hace el cálculo

  • Probabilidad de cada resultado = su frecuencia ÷ el total
  • Entropía H = −Σ p × log₂(p), sobre los resultados con p > 0
  • Entropía máxima = log₂(k) para k resultados que se producen
  • Eficiencia = H ÷ entropía máxima
  • Perplejidad = 2^H, y nats = H × ln 2

Ejemplo

Una fuente emite cuatro símbolos con frecuencias de 4, 2, 1 y 1. Sus probabilidades son 50 %, 25 %, 12,5 % y 12,5 %. La entropía es de 1,75 bits, para un máximo de 2 bits: la eficiencia es del 87,5 %. La perplejidad es de 3,364: la fuente es tan impredecible como un dado de unas 3,4 caras equiprobables. Un código ideal necesita 1,75 bits por símbolo de media, frente a 2 bits de un código de longitud fija.

Dónde utilizarla

La compresión de datos, la criptografía, el aprendizaje automático y la lingüística se apoyan en la entropía. Los programas de compresión reducen los archivos dando códigos cortos a los símbolos frecuentes. Las herramientas de seguridad estiman lo difícil que es adivinar una contraseña o una clave, y los árboles de decisión eligen las preguntas que más incertidumbre eliminan. En ecología, un primo muy cercano mide la diversidad de especies.

Conviene saber

La entropía solo depende de las probabilidades, no de la naturaleza de los resultados. Los resultados de frecuencia nula no cuentan. Estimar las probabilidades con una muestra pequeña tiende a subestimar la entropía real: reúne suficientes observaciones. El cálculo supone resultados independientes: en un texto o una secuencia con regularidades, la entropía real por símbolo es inferior a esta cifra calculada sobre símbolos aislados.

Herramientas relacionadas

Para la dificultad de adivinar una contraseña, prueba la calculadora de robustez de contraseñas. Para la diversidad ecológica, utiliza el índice de Shannon, y para contar ordenaciones, la calculadora de combinaciones.

Preguntas frecuentes

¿Qué es la entropía de Shannon?

Una medida de la incertidumbre media, o de la sorpresa, de una fuente de información. Es el número medio de preguntas de respuesta sí o no necesarias para identificar un resultado, con las mejores preguntas posibles.

¿Por qué la unidad es el bit?

El cálculo usa logaritmos en base 2. En base e se obtienen nats, y en base 10, hartleys.

¿Qué es la entropía máxima?

La entropía que se obtiene cuando todos los resultados son equiprobables. Para k resultados, vale el logaritmo en base 2 de k: cuatro resultados dan 2 bits.

¿Qué relación tiene con la compresión?

La entropía es el límite inferior del número medio de bits por símbolo que puede alcanzar un código sin pérdida. Una fuente de entropía 1,75 bits no se puede comprimir por debajo de ese valor en promedio.

¿Te ha resultado útil esta calculadora?

¡Gracias por tu opinión!

Resultados orientativos con fines informativos. No sustituyen el consejo de un profesional.