Le calculateur du score de Brier mesure l’exactitude de prévisions probabilistes à partir de trois niveaux de prévision, avec la décomposition en fiabilité, résolution et incertitude et le score de compétence.
Comment se fait le calcul
- Saisissez, pour chacun des trois niveaux, la probabilité prévue, le nombre de prévisions et la fréquence observée de l’événement.
- Le calculateur pondère les niveaux par leur nombre.
- Il donne le score de Brier, la fiabilité, la résolution, l’incertitude, le score de compétence et le taux de base.
Exemple
Un prévisionniste a émis 100 prévisions à 10 % (événement vu 15 %), 50 à 50 % (45 %) et 50 à 90 % (80 %). Le taux de base est de 38,8 %, donc l’incertitude est de 0,2373. La fiabilité est de 0,0044 et la résolution de 0,0717, donc le score de Brier est 0,0044 − 0,0717 + 0,2373 = 0,1700. Le score de compétence est de 0,2837 : les prévisions apportent une vraie information par rapport au taux de base, avec une marge d’amélioration sur la calibration.
Pourquoi c’est utile
Le calculateur aide les étudiants en prévision et en apprentissage automatique, les météorologues, les analystes qui construisent des modèles de probabilité pour le risque ou le sport, et toute personne qui tient le score de ses prédictions.
À savoir
Regrouper les prévisions en quelques niveaux donne une décomposition exacte seulement quand toutes les prévisions d’un groupe ont la même probabilité ; avec des données réelles, utilisez le score de Brier non groupé et des classes assez larges pour contenir de nombreux cas. Un bon score de Brier dépend du taux de base : pour des événements rares, il est facile d’avoir un bon score en prévoyant toujours un petit nombre, donc regardez le score de compétence. Le score de Brier est un score propre, c’est-à-dire que des probabilités honnêtes donnent la meilleure valeur attendue. Il convient mal aux événements extrêmement rares, où le score logarithmique peut être meilleur. Indiquez le nombre de prévisions, car de petits échantillons sont bruités.
Outils liés
Le calculateur de matrice de confusion évalue des prédictions oui ou non, celui de régression logistique produit des probabilités, celui du coefficient de Matthews résume une classification binaire et celui de divergence KL compare des distributions.