L’exactitude peut tromper quand une classe est rare. Le calculateur du coefficient de Matthews prend les vrais positifs, faux positifs, faux négatifs et vrais négatifs, et donne le MCC, avec l’exactitude, le score F1 et le J de Youden pour comparer.
Comment se fait le calcul
- Saisissez les quatre cases de votre matrice de confusion : vrais positifs, faux positifs, faux négatifs et vrais négatifs.
- Le coefficient de corrélation de Matthews vaut MCC = (VP × VN − FP × FN) ÷ √((VP + FP)(VP + FN)(VN + FP)(VN + FN)).
- Il va de −1, une prédiction parfaitement inversée, à +1, une prédiction parfaite, en passant par 0, qui ne fait pas mieux que le hasard.
- Le calculateur affiche aussi l’exactitude, le score F1 et le J de Youden pour comparaison.
Exemple
Un test donne 40 vrais positifs, 10 faux positifs, 20 faux négatifs et 130 vrais négatifs. Le numérateur vaut 40 × 130 − 10 × 20 = 5 000 et le dénominateur √(50 × 60 × 140 × 150) ≈ 7 937, donc MCC = 0,6299. L’exactitude est de 85,00 %, le score F1 de 0,7273 et le J de Youden de 0,5952.
Pourquoi c’est utile
Les praticiens de l’apprentissage automatique, les concepteurs de tests diagnostiques et les bio-informaticiens utilisent le MCC parce qu’il traite les deux classes de façon équitable. Beaucoup de publications le rapportent maintenant à côté de l’exactitude et du F1 pour la classification binaire, et il est surtout utile pour comparer un modèle sur des jeux de données dont la part de cas positifs est très différente.
À savoir
Le MCC décrit un seul point de fonctionnement d’un classifieur. Il ne montre pas comment la performance varie avec le seuil de décision, ce que montre une courbe ROC. Pour plus de deux classes, il existe une version multiclasse qui n’est pas traitée ici. Rapportez les quatre effectifs avec le MCC pour que les lecteurs puissent recalculer toute autre mesure qu’ils préfèrent.
Outils liés
Le calculateur de matrice de confusion donne des mesures plus classiques à partir des mêmes quatre effectifs, et celui de la significativité d’une corrélation explique l’idée derrière le MCC.