Cuando se modelan datos, se quiere saber qué se pierde al usar la distribución equivocada. La calculadora de divergencia de KL toma una distribución verdadera P y una distribución de modelo Q sobre tres categorías, y da la divergencia de KL en los dos sentidos, la divergencia de Jensen-Shannon, la entropía cruzada y la entropía de P, todo en bits.
Cómo se hace el cálculo
- Introduce los pesos de la distribución verdadera P para tres categorías. Pueden ser probabilidades o frecuencias, porque la calculadora los reescala para que la suma valga 1.
- Introduce los pesos de la distribución del modelo Q para las mismas tres categorías. Cada peso debe ser positivo.
- La divergencia de KL es D(P ‖ Q) = Σ P × log₂(P ÷ Q), en bits. Mide los bits adicionales necesarios por símbolo si se codifican datos de P con un código diseñado para Q.
- La calculadora da también la divergencia inversa, la divergencia de Jensen-Shannon simétrica, la entropía cruzada y la entropía de P. La entropía cruzada es igual a la entropía más la divergencia de KL.
Ejemplo
La distribución verdadera es P = (0,5; 0,3; 0,2) y el modelo dice Q = (0,4; 0,4; 0,2). La divergencia es D(P ‖ Q) = 0,5 log₂(0,5 ÷ 0,4) + 0,3 log₂(0,3 ÷ 0,4) + 0,2 log₂(1) = 0,0365 bits. La inversa D(Q ‖ P) vale 0,0372 bits, algo distinta, y la divergencia de Jensen-Shannon es de 0,0092 bits. La entropía de P es de 1,4855 bits y la entropía cruzada de 1,5219 bits, es decir, 1,4855 + 0,0365.
Por qué es útil
La divergencia de KL está en el corazón de la estadística y del aprendizaje automático: es la cantidad que minimiza el ajuste por máxima verosimilitud, muestra lo que un modelo pierde frente a la realidad y mide la información ganada al pasar de una distribución a priori a una a posteriori. Verla en ejemplos pequeños construye la intuición para los grandes.
Conviene saber
La calculadora gestiona solo tres categorías, y reescala tus pesos a probabilidades. Los valores dependen de la base del logaritmo: bits en base 2, nats con el logaritmo natural. Con pesos muy pequeños en Q, la divergencia puede crecer deprisa. Los datos reales con muchas categorías exigen un suavizado para evitar las probabilidades nulas.
Herramientas relacionadas
La calculadora de entropía de Shannon mide la incertidumbre de una distribución, la del teorema de Bayes actualiza creencias, la de la distribución chi cuadrado contrasta el ajuste de frecuencias a un modelo, y la del coeficiente de correlación de Matthews puntúa un clasificador.