Le calculateur de l’alpha de Krippendorff pour deux codeurs donne l’accord au-delà du hasard entre deux codeurs qui ont noté des unités oui ou non, d’après le nombre d’unités notées oui par les deux, notées non par les deux et celles où ils sont en désaccord, avec le pourcentage d’accord.
Comment se fait le calcul
- Saisissez le nombre d’unités notées oui par les deux codeurs et non par les deux.
- Saisissez le nombre d’unités où ils sont en désaccord.
- Lisez l’alpha, le pourcentage d’accord et les désaccords.
Exemple
Avec 40 unités notées oui par les deux, 30 notées non par les deux et 10 désaccords, il y a 80 unités. Le pourcentage d’accord est de 87,5 %, mais le désaccord attendu est de 0,4953 contre 0,1250 observé, ce qui donne un alpha de 0,748. Le code oui est utilisé dans 56,3 % de tous les codes.
Pourquoi c’est utile
Le calculateur aide les chercheurs en analyse de contenu, codage qualitatif, annotation médicale et étiquetage d’apprentissage automatique qui doivent rapporter la fidélité d’un codage binaire par deux personnes, et la comparer aux seuils habituels de publication.
À savoir
Comptez chaque unité une fois, avec les deux codes connus. Pour plus de deux codeurs, des codes manquants ou plus de deux catégories, utilisez la formule générale de l’alpha avec une matrice de coïncidences. L’alpha dépend de la prévalence du code : quand un code est rare, quelques désaccords baissent beaucoup l’alpha. Rapportez à la fois le pourcentage d’accord et l’alpha, avec le nombre d’unités, pour que les lecteurs puissent juger le résultat. Entraînez les codeurs sur un échantillon avant le vrai codage, rédigez un manuel de codage clair, et vérifiez de nouveau l’accord pendant le travail pour détecter toute dérive des codeurs dans le temps.
Outils liés
Le calculateur du kappa de Cohen donne un indice semblable pour deux évaluateurs, celui de la corrélation intraclasse traite les notes continues, celui de la corrélation de concordance de Lin vérifie l’accord de mesures et celui de la matrice de confusion résume des classements.