Aller au contenu
Omnikalc

Calculateur d’impureté de Gini et de gain d’information

Saisissez les nombres de positifs et de négatifs dans les branches gauche et droite d’une séparation pour obtenir l’impureté de Gini, l’entropie et le gain de la séparation.

Mis à jour le
Vos paramètres

Valeur hors limites

Valeur hors limites

Valeur hors limites

Valeur hors limites

Résultats

Gain d’information de la séparation

0,2781 bits

La séparation rend les branches plus pures
Gain de Gini de la séparation
0,1800
Impureté de Gini du nœud parent
0,5000
Impureté de Gini pondérée des enfants
0,3200
Entropie du nœud parent
1,0000 bits
Entropie pondérée des enfants
0,7219 bits
Positifs dans le nœud parent
50,0 %

Le calculateur d’impureté de Gini et de gain d’information évalue une séparation binaire d’un arbre de décision : il donne l’impureté de Gini, l’entropie et le gain à partir des nombres d’exemples positifs et négatifs dans chaque branche.

Comment se fait le calcul

  • Saisissez les positifs et les négatifs de la branche gauche.
  • Saisissez les positifs et les négatifs de la branche droite.
  • Le calculateur donne le gain d’information, le gain de Gini, les impuretés du parent et des enfants et les entropies.

Exemple

Une séparation envoie 40 positifs et 10 négatifs à gauche et 10 positifs et 40 négatifs à droite. Le parent a 50,0 % de positifs, un Gini de 0,5000 et une entropie de 1,0000 bit. Chaque enfant a 80 % ou 20 % de positifs, donc un Gini de 0,32 et une entropie de 0,722 bit. Le Gini pondéré est de 0,3200, un gain de 0,1800, et le gain d’information est de 0,2781 bit.

Pourquoi c’est utile

Le calculateur aide les étudiants en science des données, les analystes et les développeurs qui construisent ou expliquent des arbres de décision et des forêts aléatoires, et qui veulent vérifier à la main pourquoi un algorithme a choisi une séparation.

À savoir

Le calcul couvre deux classes et une séparation binaire. Avec plus de classes, le Gini vaut 1 moins la somme des proportions au carré, et l’entropie la somme de −p log2 p sur les classes. Le gain favorise les séparations à nombreuses branches, donc C4.5 utilise un rapport de gain, et les arbres imposent aussi un nombre minimal d’exemples par feuille. La meilleure séparation d’une étape n’est pas forcément le meilleur arbre, car le choix est glouton. Les chiffres dépendent des effectifs, pas seulement des proportions : un très petit nœud peut donner un grand gain par hasard, d’où l’élagage et la validation croisée. Un gain nul signifie que la séparation laisse inchangé le mélange des classes dans les deux branches.

Outils liés

Le calculateur d’entropie de Shannon explique la mesure d’information, celui de matrice de confusion évalue les classifieurs, celui de sensibilité et spécificité couvre la performance des tests et celui de probabilité traite les chances simples.

Questions fréquentes

Que sont l’impureté de Gini et l’entropie ?

Les deux mesurent le mélange des classes dans un nœud. Pour deux classes avec une part p de positifs, l’impureté de Gini vaut 1 − p² − (1 − p)² et l’entropie −p log2 p − (1 − p) log2 (1 − p). Les deux valent 0 pour un nœud pur, et sont maximales à 50 / 50, où le Gini vaut 0,5 et l’entropie 1 bit.

Comment calcule-t-on le gain ?

Le gain est l’impureté du parent moins l’impureté moyenne des deux enfants, pondérée par leurs tailles. Un arbre de décision essaie de nombreuses séparations candidates et garde celle de plus grand gain, puis recommence sur chaque branche.

Gini ou entropie : lequel utiliser ?

En pratique ils choisissent presque les mêmes séparations. Le Gini est un peu moins coûteux car il n’a pas besoin de logarithme, tandis que le gain d’information vient de la théorie de l’information et sert dans les algorithmes ID3 et C4.5. Le choix par défaut de beaucoup de bibliothèques est le Gini.

Ce calculateur vous a-t-il été utile ?

Merci pour votre avis !

Résultats indicatifs fournis à titre d'information. Ils ne remplacent pas l'avis d'un professionnel.