Qué mide el kappa de Cohen
Cuando dos evaluadores clasifican los mismos elementos (dos médicos que leen radiografías, dos correctores que califican exámenes como apto o no apto, dos codificadores que categorizan entrevistas), el simple porcentaje de concordancia engaña: una parte de la concordancia se debe al azar. El kappa de Cohen corrige ese sesgo y mide la concordancia más allá del azar.
La fórmula
κ = (pₒ − pₑ) ÷ (1 − pₑ)
- pₒ, concordancia observada: la parte de los elementos situados en la diagonal de la tabla, donde los dos evaluadores han elegido la misma categoría;
- pₑ, concordancia esperada por azar: Σ (total de la fila i × total de la columna i) ÷ N².
κ = 1 significa concordancia perfecta, κ = 0 una concordancia no mejor que el azar, y un κ negativo un desacuerdo sistemático.
Ejemplo
Dos evaluadores clasifican 60 elementos en tres categorías. Coinciden en 20, 15 y 10 elementos, es decir, pₒ = 45 ÷ 60 = 75 %. Los totales del evaluador A son 25, 22 y 13; los del evaluador B, 25, 20 y 15.
- pₑ = (25 × 25 + 22 × 20 + 13 × 15) ÷ 3600 = 35 %;
- κ = (0,75 − 0,35) ÷ 0,65 ≈ 0,62;
- intervalo de confianza del 95 %: de 0,45 a 0,78 aproximadamente.
Para solo dos categorías, deja a cero la tercera fila y la tercera columna.
Interpretar el kappa
La escala de Landis y Koch (1977) es la más citada:
| κ | Concordancia |
|---|---|
| menos de 0 | desacuerdo |
| de 0 a 0,20 | muy baja |
| de 0,21 a 0,40 | baja |
| de 0,41 a 0,60 | moderada |
| de 0,61 a 0,80 | sustancial |
| de 0,81 a 1 | casi perfecta |
Estos umbrales son convenciones. En investigación clínica, muchos autores esperan al menos de 0,6 a 0,7 antes de fiarse de una clasificación.
Trampas
- Efecto de la prevalencia: cuando una categoría es muy frecuente, pₑ es alto y κ puede seguir siendo bajo pese a un 90 % de concordancia. Da siempre pₒ junto con κ.
- Categorías ordenadas (leve, moderado, grave): el kappa ponderado, que concede un crédito parcial a los desacuerdos vecinos, es más adecuado.
- Más de dos evaluadores: utiliza el kappa de Fleiss.
- El intervalo de confianza se basa en una aproximación sencilla del error típico, válida para tamaños grandes. Por debajo de unos cincuenta elementos, considéralo orientativo.