Le calculateur d’impureté de Gini et de gain d’information évalue une séparation binaire d’un arbre de décision : il donne l’impureté de Gini, l’entropie et le gain à partir des nombres d’exemples positifs et négatifs dans chaque branche.
Comment se fait le calcul
- Saisissez les positifs et les négatifs de la branche gauche.
- Saisissez les positifs et les négatifs de la branche droite.
- Le calculateur donne le gain d’information, le gain de Gini, les impuretés du parent et des enfants et les entropies.
Exemple
Une séparation envoie 40 positifs et 10 négatifs à gauche et 10 positifs et 40 négatifs à droite. Le parent a 50,0 % de positifs, un Gini de 0,5000 et une entropie de 1,0000 bit. Chaque enfant a 80 % ou 20 % de positifs, donc un Gini de 0,32 et une entropie de 0,722 bit. Le Gini pondéré est de 0,3200, un gain de 0,1800, et le gain d’information est de 0,2781 bit.
Pourquoi c’est utile
Le calculateur aide les étudiants en science des données, les analystes et les développeurs qui construisent ou expliquent des arbres de décision et des forêts aléatoires, et qui veulent vérifier à la main pourquoi un algorithme a choisi une séparation.
À savoir
Le calcul couvre deux classes et une séparation binaire. Avec plus de classes, le Gini vaut 1 moins la somme des proportions au carré, et l’entropie la somme de −p log2 p sur les classes. Le gain favorise les séparations à nombreuses branches, donc C4.5 utilise un rapport de gain, et les arbres imposent aussi un nombre minimal d’exemples par feuille. La meilleure séparation d’une étape n’est pas forcément le meilleur arbre, car le choix est glouton. Les chiffres dépendent des effectifs, pas seulement des proportions : un très petit nœud peut donner un grand gain par hasard, d’où l’élagage et la validation croisée. Un gain nul signifie que la séparation laisse inchangé le mélange des classes dans les deux branches.
Outils liés
Le calculateur d’entropie de Shannon explique la mesure d’information, celui de matrice de confusion évalue les classifieurs, celui de sensibilité et spécificité couvre la performance des tests et celui de probabilité traite les chances simples.