La calculadora de impureza de Gini y de ganancia de información evalúa una división binaria de un árbol de decisión: da la impureza de Gini, la entropía y la ganancia a partir del número de ejemplos positivos y negativos de cada rama.
Cómo se hace el cálculo
- Introduce los positivos y los negativos de la rama izquierda.
- Introduce los positivos y los negativos de la rama derecha.
- La calculadora da la ganancia de información, la ganancia de Gini, las impurezas del padre y de los hijos y las entropías.
Ejemplo
Una división envía 40 positivos y 10 negativos a la izquierda y 10 positivos y 40 negativos a la derecha. El padre tiene un 50,0 % de positivos, un Gini de 0,5000 y una entropía de 1,0000 bit. Cada hijo tiene un 80 % o un 20 % de positivos, por lo que su Gini es 0,32 y su entropía 0,722 bits. El Gini ponderado es de 0,3200, una ganancia de 0,1800, y la ganancia de información es de 0,2781 bits.
Por qué es útil
La calculadora ayuda a estudiantes de ciencia de datos, a analistas y a desarrolladores que construyen o explican árboles de decisión y bosques aleatorios, y que quieren comprobar a mano por qué un algoritmo ha elegido una división. Es un ejercicio frecuente en asignaturas de aprendizaje automático y minería de datos.
Conviene saber
El cálculo abarca dos clases y una división binaria. Con más clases, el Gini vale 1 menos la suma de las proporciones al cuadrado, y la entropía la suma de −p log2 p sobre las clases. La ganancia favorece las divisiones con muchas ramas, por lo que C4.5 usa una razón de ganancia, y los árboles imponen además un número mínimo de ejemplos por hoja. La mejor división de un paso no es necesariamente el mejor árbol, porque la elección es voraz. Las cifras dependen de los recuentos, no solo de las proporciones: un nodo muy pequeño puede dar una gran ganancia por azar, de ahí la poda y la validación cruzada. Una ganancia nula significa que la división deja sin cambios la mezcla de clases en las dos ramas.
Herramientas relacionadas
La calculadora de entropía de Shannon explica la medida de información, la de matriz de confusión evalúa los clasificadores, la de sensibilidad y especificidad cubre el rendimiento de las pruebas y la de probabilidad trata las probabilidades sencillas.