Ce que mesure le kappa de Cohen
Quand deux juges classent les mêmes éléments (deux médecins qui lisent des radiographies, deux correcteurs qui notent des copies admis/refusé, deux codeurs qui catégorisent des entretiens), le simple pourcentage d’accord est trompeur : une partie de l’accord est due au hasard. Le kappa de Cohen corrige ce biais et mesure l’accord au-delà du hasard.
La formule
κ = (pₒ − pₑ) ÷ (1 − pₑ)
- pₒ, accord observé : la part des éléments situés sur la diagonale du tableau, où les deux juges ont choisi la même catégorie ;
- pₑ, accord attendu par hasard : Σ (total de la ligne i × total de la colonne i) ÷ N².
κ = 1 signifie un accord parfait, κ = 0 un accord pas meilleur que le hasard, et un κ négatif un désaccord systématique.
Exemple
Deux juges classent 60 éléments en trois catégories. Ils sont d’accord sur 20, 15 et 10 éléments, soit pₒ = 45 ÷ 60 = 75 %. Les totaux du juge A sont 25, 22 et 13 ; ceux du juge B 25, 20 et 15.
- pₑ = (25 × 25 + 22 × 20 + 13 × 15) ÷ 3 600 = 35 % ;
- κ = (0,75 − 0,35) ÷ 0,65 ≈ 0,62 ;
- intervalle de confiance à 95 % : de 0,45 à 0,78 environ.
Pour deux catégories seulement, laissez à zéro la troisième ligne et la troisième colonne.
Interpréter le kappa
L’échelle de Landis et Koch (1977) est la plus citée :
| κ | Accord |
|---|---|
| moins de 0 | désaccord |
| 0 à 0,20 | très faible |
| 0,21 à 0,40 | faible |
| 0,41 à 0,60 | modéré |
| 0,61 à 0,80 | important |
| 0,81 à 1 | presque parfait |
Ces seuils sont des conventions. En recherche clinique, beaucoup d’auteurs attendent au moins 0,6 à 0,7 avant de se fier à une classification.
Pièges
- Effet de prévalence : quand une catégorie est très fréquente, pₑ est élevé et κ peut rester faible malgré 90 % d’accord. Donnez toujours pₒ avec κ.
- Catégories ordonnées (léger, modéré, sévère) : le kappa pondéré, qui accorde un crédit partiel aux désaccords voisins, est plus adapté.
- Plus de deux juges : utilisez le kappa de Fleiss.
- L’intervalle de confiance repose sur une approximation simple de l’erreur type, valable pour de grands effectifs. En dessous d’une cinquantaine d’éléments, considérez-le comme indicatif.