Quand on modélise des données, on veut savoir ce que l’on perd en utilisant la mauvaise distribution. Le calculateur de divergence de KL prend une distribution vraie P et une distribution de modèle Q sur trois catégories, et donne la divergence de KL dans les deux sens, la divergence de Jensen-Shannon, l’entropie croisée et l’entropie de P, le tout en bits.
Comment se fait le calcul
- Saisissez les poids de la distribution vraie P pour trois catégories. Ce peuvent être des probabilités ou des effectifs, car le calculateur les remet à l’échelle pour que la somme vaille 1.
- Saisissez les poids de la distribution du modèle Q pour les mêmes trois catégories. Chaque poids doit être positif.
- La divergence de KL est D(P ‖ Q) = Σ P × log₂(P ÷ Q), en bits. Elle mesure les bits supplémentaires nécessaires par symbole si l’on code des données de P avec un code conçu pour Q.
- Le calculateur donne aussi la divergence inverse, la divergence de Jensen-Shannon symétrique, l’entropie croisée et l’entropie de P. L’entropie croisée égale l’entropie plus la divergence de KL.
Exemple
La distribution vraie est P = (0,5 ; 0,3 ; 0,2) et le modèle dit Q = (0,4 ; 0,4 ; 0,2). La divergence est D(P ‖ Q) = 0,5 log₂(0,5 ÷ 0,4) + 0,3 log₂(0,3 ÷ 0,4) + 0,2 log₂(1) = 0,0365 bit. L’inverse D(Q ‖ P) vaut 0,0372 bit, un peu différent, et la divergence de Jensen-Shannon est de 0,0092 bit. L’entropie de P est de 1,4855 bit et l’entropie croisée de 1,5219 bit, soit 1,4855 + 0,0365.
Pourquoi c’est utile
La divergence de KL est au cœur des statistiques et de l’apprentissage automatique : c’est la quantité que minimise l’ajustement par maximum de vraisemblance, elle montre ce qu’un modèle perd face à la réalité et elle mesure l’information gagnée quand on passe d’une loi a priori à une loi a posteriori. La voir sur de petits exemples construit l’intuition pour les grands.
À savoir
Le calculateur gère seulement trois catégories, et remet vos poids à l’échelle en probabilités. Les valeurs dépendent de la base du logarithme : bits en base 2, nats avec le logarithme naturel. Avec de très petits poids dans Q, la divergence peut grandir vite. Des données réelles à nombreuses catégories demandent un lissage pour éviter les probabilités nulles.
Outils liés
Le calculateur d’entropie de Shannon mesure l’incertitude d’une distribution, celui du théorème de Bayes met à jour des croyances, celui de la loi du khi-deux teste l’ajustement d’effectifs à un modèle, et celui du coefficient de corrélation de Matthews note un classificateur.