La calculadora de la puntuación BLEU da la puntuación BLEU, la penalización por brevedad, la media geométrica de las precisiones, la razón de longitudes, la puntuación sin la penalización y los puntos perdidos por ella, a partir de las cuatro precisiones de n-gramas y de las longitudes.
Cómo se hace el cálculo
- Introduce la precisión modificada de los 1-gramas, 2-gramas, 3-gramas y 4-gramas, en porcentajes.
- Introduce la longitud del candidato y de la traducción de referencia, en palabras.
- Lee la puntuación BLEU, de 0 a 100.
Ejemplo
Con precisiones de 75 %, 55 %, 40 % y 30 %, la media geométrica es de 47,17 %. Un candidato de 100 palabras frente a una referencia de 105 palabras tiene una penalización por brevedad de 0,9512: el BLEU es de 44,87, en lugar de 47,17, lo que hace perder 2,30 puntos.
Por qué es útil
La calculadora ayuda a estudiantes e ingenieros de procesamiento del lenguaje natural que quieren entender cómo se construye la puntuación, comprobar un resultado de una herramienta de evaluación o ver qué haría una precisión más alta o una salida más larga. La traducción automática es un tema habitual en los grados de Lingüística Computacional y en los másteres de inteligencia artificial.
Conviene saber
Las precisiones deben proceder de una herramienta de recuento ejecutada sobre el conjunto de prueba, con la misma tokenización que la referencia, y las longitudes se suman en todo el corpus para una puntuación a nivel de corpus. Una precisión nula en un orden hace nulo el BLEU simple, y la calculadora la acota a un valor pequeño para evitarlo. BLEU recompensa el solapamiento exacto de palabras y no reconoce ni los sinónimos ni las reordenaciones: una buena traducción puede obtener una puntuación baja. Sirve sobre todo para comparar versiones de un mismo sistema con los mismos datos, y no para clasificar pares de idiomas distintos. Indica la tokenización y el número de referencias junto con la puntuación, porque ambos la hacen variar varios puntos.
Herramientas relacionadas
La calculadora de la matriz de confusión evalúa una clasificación, la de sensibilidad y especificidad mide una prueba, la de media geométrica hace el promedio multiplicativo de valores y la de porcentajes calcula partes.