Le coefficient de corrélation intraclasse, ou CCI, mesure la fiabilité de notes ou de mesures données par plusieurs évaluateurs. Le calculateur de corrélation intraclasse prend les carrés moyens d’une analyse de variance à deux facteurs, le nombre de sujets et le nombre d’évaluateurs, et donne le CCI(1,1), le CCI(2,1), le CCI(3,1), le CCI(2,k) et le CCI(3,k).
Comment se fait le calcul
- Faites une analyse de variance à deux facteurs sur les notes, avec les sujets en lignes et les évaluateurs en colonnes. Relevez les carrés moyens des sujets (CMR), des évaluateurs (CMC) et de l’erreur (CME).
- CCI(3,1) = (CMR − CME) ÷ (CMR + (k − 1) × CME) mesure la cohérence pour un seul évaluateur, k étant le nombre d’évaluateurs.
- CCI(2,1) = (CMR − CME) ÷ (CMR + (k − 1) × CME + k × (CMC − CME) ÷ n) mesure l’accord absolu, et il est plus bas quand les évaluateurs diffèrent systématiquement.
- CCI(1,1) utilise le carré moyen intra-sujet CMW = (CMC + (n − 1) × CME) ÷ n. Les versions pour la moyenne de k évaluateurs sont CCI(2,k) = (CMR − CME) ÷ (CMR + (CMC − CME) ÷ n) et CCI(3,k) = (CMR − CME) ÷ CMR.
Exemple
Quatre évaluateurs notent 15 sujets. L’analyse de variance donne CMR = 38,4, CMC = 2,5 et CME = 5,1. Alors CCI(3,1) = 33,3 ÷ 53,7 = 0,620, et CCI(2,1) = 33,3 ÷ 53,01 = 0,628. CCI(1,1) vaut 0,629, et la fiabilité de la moyenne des quatre évaluateurs est de 0,871 pour l’accord absolu et de 0,867 pour la cohérence. Un évaluateur seul est dans la zone modérée.
Pourquoi c’est utile
Avant d’utiliser une échelle, un test ou un panel d’évaluateurs, il faut savoir si l’on peut se fier aux notes. Le CCI répond par un seul nombre, et les cinq formes correspondent aux plans d’étude usuels, de sorte qu’on peut le rapporter comme les revues l’attendent.
À savoir
Les formules suivent Shrout et Fleiss et utilisent les carrés moyens d’une analyse de variance sans données manquantes. Elles donnent des estimations ponctuelles et non des intervalles de confiance, qui demandent la loi F et le plan exact. Des valeurs négatives peuvent apparaître quand la variance de l’erreur dépasse celle des sujets, et on les rapporte en général comme nulles.
Outils liés
Le calculateur d’alpha de Cronbach mesure la cohérence interne d’une échelle, et celui de kappa de Cohen mesure la concordance pour des catégories.