Saltar al contenido
Omnikalc

Calculadora de divergencia de KL: ¿a qué distancia de la verdad está tu modelo?

Introduce dos distribuciones sobre tres categorías para obtener la divergencia de KL en los dos sentidos, la divergencia de Jensen-Shannon y la entropía cruzada.

Actualizado el
Tus datos

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Resultados

Divergencia de KL D(P ‖ Q)

0,0365 bits

Distribuciones casi idénticas
Divergencia de KL en el otro sentido, D(Q ‖ P)
0,0372 bits
Divergencia de Jensen-Shannon
0,0092 bits
Entropía cruzada H(P, Q)
1,5219 bits
Entropía de P
1,4855 bits

Cuando se modelan datos, se quiere saber qué se pierde al usar la distribución equivocada. La calculadora de divergencia de KL toma una distribución verdadera P y una distribución de modelo Q sobre tres categorías, y da la divergencia de KL en los dos sentidos, la divergencia de Jensen-Shannon, la entropía cruzada y la entropía de P, todo en bits.

Cómo se hace el cálculo

  • Introduce los pesos de la distribución verdadera P para tres categorías. Pueden ser probabilidades o frecuencias, porque la calculadora los reescala para que la suma valga 1.
  • Introduce los pesos de la distribución del modelo Q para las mismas tres categorías. Cada peso debe ser positivo.
  • La divergencia de KL es D(P ‖ Q) = Σ P × log₂(P ÷ Q), en bits. Mide los bits adicionales necesarios por símbolo si se codifican datos de P con un código diseñado para Q.
  • La calculadora da también la divergencia inversa, la divergencia de Jensen-Shannon simétrica, la entropía cruzada y la entropía de P. La entropía cruzada es igual a la entropía más la divergencia de KL.

Ejemplo

La distribución verdadera es P = (0,5; 0,3; 0,2) y el modelo dice Q = (0,4; 0,4; 0,2). La divergencia es D(P ‖ Q) = 0,5 log₂(0,5 ÷ 0,4) + 0,3 log₂(0,3 ÷ 0,4) + 0,2 log₂(1) = 0,0365 bits. La inversa D(Q ‖ P) vale 0,0372 bits, algo distinta, y la divergencia de Jensen-Shannon es de 0,0092 bits. La entropía de P es de 1,4855 bits y la entropía cruzada de 1,5219 bits, es decir, 1,4855 + 0,0365.

Por qué es útil

La divergencia de KL está en el corazón de la estadística y del aprendizaje automático: es la cantidad que minimiza el ajuste por máxima verosimilitud, muestra lo que un modelo pierde frente a la realidad y mide la información ganada al pasar de una distribución a priori a una a posteriori. Verla en ejemplos pequeños construye la intuición para los grandes.

Conviene saber

La calculadora gestiona solo tres categorías, y reescala tus pesos a probabilidades. Los valores dependen de la base del logaritmo: bits en base 2, nats con el logaritmo natural. Con pesos muy pequeños en Q, la divergencia puede crecer deprisa. Los datos reales con muchas categorías exigen un suavizado para evitar las probabilidades nulas.

Herramientas relacionadas

La calculadora de entropía de Shannon mide la incertidumbre de una distribución, la del teorema de Bayes actualiza creencias, la de la distribución chi cuadrado contrasta el ajuste de frecuencias a un modelo, y la del coeficiente de correlación de Matthews puntúa un clasificador.

Preguntas frecuentes

¿Qué es la divergencia de KL?

La divergencia de Kullback-Leibler mide en qué se diferencia una distribución de probabilidad de otra. D(P ‖ Q) es la información adicional media, en bits cuando los logaritmos son en base 2, necesaria para describir datos de P con un código optimizado para Q. Es nula si y solo si las dos distribuciones son idénticas.

¿Es una distancia?

No. No es simétrica, porque D(P ‖ Q) en general no es igual a D(Q ‖ P), y no cumple la desigualdad triangular. La divergencia de Jensen-Shannon corrige la simetría comparando las dos distribuciones con su media. Su raíz cuadrada sí es una verdadera distancia.

¿Qué es la entropía cruzada?

La entropía cruzada H(P, Q) es el número medio de bits necesarios para codificar datos de P con un código para Q. Es igual a la entropía de P más la divergencia de KL, así que minimizar la entropía cruzada para un P fijo equivale a minimizar la divergencia de KL. Es la función de pérdida habitual de la clasificación en aprendizaje automático.

¿Por qué todos los pesos deben ser positivos?

Si Q da probabilidad nula a algo que P permite, la divergencia es infinita, porque el modelo consideraría imposible un suceso observado. En la práctica se usan pequeños valores mínimos o un suavizado. La calculadora exige un pequeño peso positivo para cada categoría con el fin de evitarlo.

¿Te ha resultado útil esta calculadora?

¡Gracias por tu opinión!

Resultados orientativos con fines informativos. No sustituyen el consejo de un profesional.