Aller au contenu
Omnikalc

Calculateur du score de Brier

Saisissez, pour trois niveaux de probabilité prévue, le nombre de prévisions et la fréquence réelle de l’événement pour obtenir le score de Brier, sa décomposition en fiabilité, résolution et incertitude, et le score de compétence par rapport à une prévision constante du taux de base.

Mis à jour le
Vos paramètres
%

Valeur hors limites

Valeur hors limites

%

Valeur hors limites

%

Valeur hors limites

Valeur hors limites

%

Valeur hors limites

%

Valeur hors limites

Valeur hors limites

%

Valeur hors limites

Résultats

Score de Brier

0,1700

Exactitude moyenne
Fiabilité (erreur de calibration, plus bas est mieux)
0,0044
Résolution (capacité à séparer les cas, plus haut est mieux)
0,0717
Incertitude (taux de base × (1 − taux de base))
0,2373
Score de compétence de Brier par rapport au taux de base
0,2837
Vraie compétence au-delà du taux de base
Taux de base de l’événement
38,8 %
Nombre total de prévisions
200

Le calculateur du score de Brier mesure l’exactitude de prévisions probabilistes à partir de trois niveaux de prévision, avec la décomposition en fiabilité, résolution et incertitude et le score de compétence.

Comment se fait le calcul

  • Saisissez, pour chacun des trois niveaux, la probabilité prévue, le nombre de prévisions et la fréquence observée de l’événement.
  • Le calculateur pondère les niveaux par leur nombre.
  • Il donne le score de Brier, la fiabilité, la résolution, l’incertitude, le score de compétence et le taux de base.

Exemple

Un prévisionniste a émis 100 prévisions à 10 % (événement vu 15 %), 50 à 50 % (45 %) et 50 à 90 % (80 %). Le taux de base est de 38,8 %, donc l’incertitude est de 0,2373. La fiabilité est de 0,0044 et la résolution de 0,0717, donc le score de Brier est 0,0044 − 0,0717 + 0,2373 = 0,1700. Le score de compétence est de 0,2837 : les prévisions apportent une vraie information par rapport au taux de base, avec une marge d’amélioration sur la calibration.

Pourquoi c’est utile

Le calculateur aide les étudiants en prévision et en apprentissage automatique, les météorologues, les analystes qui construisent des modèles de probabilité pour le risque ou le sport, et toute personne qui tient le score de ses prédictions.

À savoir

Regrouper les prévisions en quelques niveaux donne une décomposition exacte seulement quand toutes les prévisions d’un groupe ont la même probabilité ; avec des données réelles, utilisez le score de Brier non groupé et des classes assez larges pour contenir de nombreux cas. Un bon score de Brier dépend du taux de base : pour des événements rares, il est facile d’avoir un bon score en prévoyant toujours un petit nombre, donc regardez le score de compétence. Le score de Brier est un score propre, c’est-à-dire que des probabilités honnêtes donnent la meilleure valeur attendue. Il convient mal aux événements extrêmement rares, où le score logarithmique peut être meilleur. Indiquez le nombre de prévisions, car de petits échantillons sont bruités.

Outils liés

Le calculateur de matrice de confusion évalue des prédictions oui ou non, celui de régression logistique produit des probabilités, celui du coefficient de Matthews résume une classification binaire et celui de divergence KL compare des distributions.

Questions fréquentes

Qu’est-ce que le score de Brier ?

C’est la moyenne des carrés des écarts entre la probabilité prévue et le résultat, codé 1 si l’événement a eu lieu et 0 sinon. Il va de 0 (parfait) à 1 (toujours confiant et dans l’erreur). Prévoir 50 % à chaque fois donne 0,25.

Que signifient fiabilité et résolution ?

La décomposition est BS = fiabilité − résolution + incertitude. La fiabilité mesure la calibration : les événements arrivent-ils aussi souvent que prévu ? La résolution mesure si les prévisions séparent des jours ou cas de fréquences différentes. L’incertitude ne dépend que du taux de base.

Qu’est-ce que le score de compétence ?

Il compare le score de Brier à celui d’une référence qui prévoit toujours le taux de base : compétence = 1 − BS / incertitude. Des valeurs positives signifient que le prévisionniste apporte de l’information, et des valeurs négatives que c’est pire que la moyenne climatique.

Ce calculateur vous a-t-il été utile ?

Merci pour votre avis !

Résultats indicatifs fournis à titre d'information. Ils ne remplacent pas l'avis d'un professionnel.