La calculadora del alfa de Krippendorff para dos codificadores da el acuerdo más allá del azar entre dos codificadores que han puntuado unidades como sí o no, según el número de unidades puntuadas como sí por ambos, como no por ambos y aquellas en las que discrepan, con el porcentaje de acuerdo.
Cómo se hace el cálculo
- Introduce el número de unidades puntuadas como sí por los dos codificadores y como no por los dos.
- Introduce el número de unidades en las que están en desacuerdo.
- Lee el alfa, el porcentaje de acuerdo y los desacuerdos.
Ejemplo
Con 40 unidades puntuadas como sí por ambos, 30 puntuadas como no por ambos y 10 desacuerdos, hay 80 unidades. El porcentaje de acuerdo es del 87,5 %, pero el desacuerdo esperado es de 0,4953 frente a 0,1250 observado, lo que da un alfa de 0,748. El código sí se utiliza en el 56,3 % de todos los códigos.
Por qué es útil
La calculadora ayuda a investigadores en análisis de contenido, codificación cualitativa, anotación médica y etiquetado para aprendizaje automático que deben informar de la fiabilidad de una codificación binaria realizada por dos personas, y compararla con los umbrales habituales de publicación. Es útil, por ejemplo, en un trabajo de fin de grado o de máster en el que dos personas clasifican entrevistas o textos y hay que justificar la calidad de los datos.
Qué conviene saber
Cuenta cada unidad una vez, con los dos códigos conocidos. Para más de dos codificadores, códigos ausentes o más de dos categorías, utiliza la fórmula general del alfa con una matriz de coincidencias. El alfa depende de la prevalencia del código: cuando un código es raro, unos pocos desacuerdos bajan mucho el alfa. Informa tanto del porcentaje de acuerdo como del alfa, con el número de unidades, para que los lectores puedan juzgar el resultado. Entrena a los codificadores con una muestra antes de la codificación real, redacta un manual de codificación claro, y comprueba de nuevo el acuerdo durante el trabajo para detectar cualquier deriva de los codificadores con el tiempo.
Herramientas relacionadas
La calculadora del kappa de Cohen da un índice parecido para dos evaluadores, la de correlación intraclase trata las puntuaciones continuas, la de correlación de concordancia de Lin comprueba el acuerdo de mediciones y la de matriz de confusión resume clasificaciones.