Aller au contenu
Omnikalc

Calculateur de divergence de KL : à quelle distance de la vérité est votre modèle ?

Saisissez deux distributions sur trois catégories pour obtenir la divergence de KL dans les deux sens, la divergence de Jensen-Shannon et l’entropie croisée.

Mis à jour le
Vos paramètres

Valeur hors limites

Valeur hors limites

Valeur hors limites

Valeur hors limites

Valeur hors limites

Valeur hors limites

Résultats

Divergence de KL D(P ‖ Q)

0,0365 bits

Distributions presque identiques
Divergence de KL dans l’autre sens, D(Q ‖ P)
0,0372 bits
Divergence de Jensen-Shannon
0,0092 bits
Entropie croisée H(P, Q)
1,5219 bits
Entropie de P
1,4855 bits

Quand on modélise des données, on veut savoir ce que l’on perd en utilisant la mauvaise distribution. Le calculateur de divergence de KL prend une distribution vraie P et une distribution de modèle Q sur trois catégories, et donne la divergence de KL dans les deux sens, la divergence de Jensen-Shannon, l’entropie croisée et l’entropie de P, le tout en bits.

Comment se fait le calcul

  • Saisissez les poids de la distribution vraie P pour trois catégories. Ce peuvent être des probabilités ou des effectifs, car le calculateur les remet à l’échelle pour que la somme vaille 1.
  • Saisissez les poids de la distribution du modèle Q pour les mêmes trois catégories. Chaque poids doit être positif.
  • La divergence de KL est D(P ‖ Q) = Σ P × log₂(P ÷ Q), en bits. Elle mesure les bits supplémentaires nécessaires par symbole si l’on code des données de P avec un code conçu pour Q.
  • Le calculateur donne aussi la divergence inverse, la divergence de Jensen-Shannon symétrique, l’entropie croisée et l’entropie de P. L’entropie croisée égale l’entropie plus la divergence de KL.

Exemple

La distribution vraie est P = (0,5 ; 0,3 ; 0,2) et le modèle dit Q = (0,4 ; 0,4 ; 0,2). La divergence est D(P ‖ Q) = 0,5 log₂(0,5 ÷ 0,4) + 0,3 log₂(0,3 ÷ 0,4) + 0,2 log₂(1) = 0,0365 bit. L’inverse D(Q ‖ P) vaut 0,0372 bit, un peu différent, et la divergence de Jensen-Shannon est de 0,0092 bit. L’entropie de P est de 1,4855 bit et l’entropie croisée de 1,5219 bit, soit 1,4855 + 0,0365.

Pourquoi c’est utile

La divergence de KL est au cœur des statistiques et de l’apprentissage automatique : c’est la quantité que minimise l’ajustement par maximum de vraisemblance, elle montre ce qu’un modèle perd face à la réalité et elle mesure l’information gagnée quand on passe d’une loi a priori à une loi a posteriori. La voir sur de petits exemples construit l’intuition pour les grands.

À savoir

Le calculateur gère seulement trois catégories, et remet vos poids à l’échelle en probabilités. Les valeurs dépendent de la base du logarithme : bits en base 2, nats avec le logarithme naturel. Avec de très petits poids dans Q, la divergence peut grandir vite. Des données réelles à nombreuses catégories demandent un lissage pour éviter les probabilités nulles.

Outils liés

Le calculateur d’entropie de Shannon mesure l’incertitude d’une distribution, celui du théorème de Bayes met à jour des croyances, celui de la loi du khi-deux teste l’ajustement d’effectifs à un modèle, et celui du coefficient de corrélation de Matthews note un classificateur.

Questions fréquentes

Qu’est-ce que la divergence de KL ?

La divergence de Kullback-Leibler mesure en quoi une distribution de probabilité diffère d’une autre. D(P ‖ Q) est l’information supplémentaire moyenne, en bits quand les logarithmes sont en base 2, nécessaire pour décrire des données de P avec un code optimisé pour Q. Elle est nulle si et seulement si les deux distributions sont identiques.

Est-ce une distance ?

Non. Elle n’est pas symétrique, car D(P ‖ Q) n’est en général pas égale à D(Q ‖ P), et elle ne vérifie pas l’inégalité triangulaire. La divergence de Jensen-Shannon corrige la symétrie en comparant les deux distributions à leur moyenne. Sa racine carrée est une vraie distance.

Qu’est-ce que l’entropie croisée ?

L’entropie croisée H(P, Q) est le nombre moyen de bits nécessaires pour coder des données de P avec un code pour Q. Elle égale l’entropie de P plus la divergence de KL, donc minimiser l’entropie croisée pour un P fixé revient à minimiser la divergence de KL. C’est la fonction de perte usuelle de la classification en apprentissage automatique.

Pourquoi tous les poids doivent-ils être positifs ?

Si Q donne une chance nulle à quelque chose que P autorise, la divergence est infinie, car le modèle jugerait impossible un événement observé. En pratique, on utilise de petits planchers ou un lissage. Le calculateur exige un petit poids positif pour chaque catégorie afin d’éviter cela.

Ce calculateur vous a-t-il été utile ?

Merci pour votre avis !

Résultats indicatifs fournis à titre d'information. Ils ne remplacent pas l'avis d'un professionnel.