La calculadora de la puntuación de Brier mide la exactitud de pronósticos probabilísticos a partir de tres niveles de pronóstico, con la descomposición en fiabilidad, resolución e incertidumbre y el índice de habilidad.
Cómo se hace el cálculo
- Introduce, para cada uno de los tres niveles, la probabilidad pronosticada, el número de pronósticos y la frecuencia observada del suceso.
- La calculadora pondera los niveles por su número.
- Da la puntuación de Brier, la fiabilidad, la resolución, la incertidumbre, el índice de habilidad y la tasa base.
Ejemplo
Un pronosticador ha emitido 100 pronósticos del 10 % (suceso visto en el 15 %), 50 del 50 % (45 %) y 50 del 90 % (80 %). La tasa base es del 38,8 %, así que la incertidumbre es 0,2373. La fiabilidad es 0,0044 y la resolución 0,0717, de modo que la puntuación de Brier es 0,0044 − 0,0717 + 0,2373 = 0,1700. El índice de habilidad es 0,2837: los pronósticos aportan información real respecto a la tasa base, con margen de mejora en la calibración.
Por qué es útil
La calculadora ayuda a los estudiantes de predicción y de aprendizaje automático, a los meteorólogos, a los analistas que construyen modelos de probabilidad para el riesgo o el deporte, y a cualquiera que lleve la puntuación de sus predicciones.
Conviene saber
Agrupar los pronósticos en unos pocos niveles da una descomposición exacta solo cuando todos los pronósticos de un grupo tienen la misma probabilidad; con datos reales, utiliza la puntuación de Brier sin agrupar y clases lo bastante amplias para contener muchos casos. Una buena puntuación de Brier depende de la tasa base: en los sucesos poco frecuentes es fácil obtener una buena puntuación pronosticando siempre un número pequeño, así que mira el índice de habilidad. La puntuación de Brier es una puntuación propia, es decir, las probabilidades honestas dan el mejor valor esperado. Es poco adecuada para sucesos extremadamente raros, donde la puntuación logarítmica puede ser mejor. Indica el número de pronósticos, porque las muestras pequeñas son ruidosas.
Herramientas relacionadas
La calculadora de la matriz de confusión evalúa predicciones de sí o no, la de regresión logística produce probabilidades, la del coeficiente de Matthews resume una clasificación binaria y la de divergencia de KL compara distribuciones.