Saltar al contenido
Omnikalc

Calculadora de la puntuación BLEU

Introduce las precisiones modificadas de los n-gramas de 1 a 4 y las longitudes del candidato y de la referencia para obtener la puntuación BLEU y la penalización por brevedad.

Actualizado el
Tus datos
%

Valor fuera de rango

%

Valor fuera de rango

%

Valor fuera de rango

%

Valor fuera de rango

palabras

Valor fuera de rango

palabras

Valor fuera de rango

Resultados

Puntuación BLEU (0 a 100)

44,87

Penalización por brevedad
0,9512
Media geométrica de las precisiones
47,17 %
Razón de longitudes (candidato / referencia)
0,952
BLEU si la longitud igualara la referencia
47,17
Puntos perdidos por la penalización por brevedad
2,30

La calculadora de la puntuación BLEU da la puntuación BLEU, la penalización por brevedad, la media geométrica de las precisiones, la razón de longitudes, la puntuación sin la penalización y los puntos perdidos por ella, a partir de las cuatro precisiones de n-gramas y de las longitudes.

Cómo se hace el cálculo

  • Introduce la precisión modificada de los 1-gramas, 2-gramas, 3-gramas y 4-gramas, en porcentajes.
  • Introduce la longitud del candidato y de la traducción de referencia, en palabras.
  • Lee la puntuación BLEU, de 0 a 100.

Ejemplo

Con precisiones de 75 %, 55 %, 40 % y 30 %, la media geométrica es de 47,17 %. Un candidato de 100 palabras frente a una referencia de 105 palabras tiene una penalización por brevedad de 0,9512: el BLEU es de 44,87, en lugar de 47,17, lo que hace perder 2,30 puntos.

Por qué es útil

La calculadora ayuda a estudiantes e ingenieros de procesamiento del lenguaje natural que quieren entender cómo se construye la puntuación, comprobar un resultado de una herramienta de evaluación o ver qué haría una precisión más alta o una salida más larga. La traducción automática es un tema habitual en los grados de Lingüística Computacional y en los másteres de inteligencia artificial.

Conviene saber

Las precisiones deben proceder de una herramienta de recuento ejecutada sobre el conjunto de prueba, con la misma tokenización que la referencia, y las longitudes se suman en todo el corpus para una puntuación a nivel de corpus. Una precisión nula en un orden hace nulo el BLEU simple, y la calculadora la acota a un valor pequeño para evitarlo. BLEU recompensa el solapamiento exacto de palabras y no reconoce ni los sinónimos ni las reordenaciones: una buena traducción puede obtener una puntuación baja. Sirve sobre todo para comparar versiones de un mismo sistema con los mismos datos, y no para clasificar pares de idiomas distintos. Indica la tokenización y el número de referencias junto con la puntuación, porque ambos la hacen variar varios puntos.

Herramientas relacionadas

La calculadora de la matriz de confusión evalúa una clasificación, la de sensibilidad y especificidad mide una prueba, la de media geométrica hace el promedio multiplicativo de valores y la de porcentajes calcula partes.

Preguntas frecuentes

¿Qué es la puntuación BLEU?

BLEU es una medida estándar de la calidad de la traducción automática. Compara una traducción candidata con una o varias referencias humanas por el solapamiento de n-gramas, secuencias de una a cuatro palabras, y da una puntuación entre 0 y 1, a menudo escrita entre 0 y 100.

¿Cómo se calcula?

La puntuación es la penalización por brevedad multiplicada por la media geométrica de las precisiones modificadas de los n-gramas, normalmente para n de 1 a 4 con pesos iguales: BLEU = BP × exp(¼ Σ ln p_n). La penalización vale 1 cuando el candidato es más largo que la referencia, y exp(1 − r/c) cuando es más corto, lo que impide que un sistema gane dando salidas muy cortas.

¿Qué es una precisión modificada?

Es la parte de los n-gramas del candidato que aparecen en la referencia, contando cada n-grama como máximo tantas veces como aparece en la referencia. Eso impide que un candidato que repite una palabra correcta obtenga una puntuación perfecta.

¿Cómo se lee la puntuación?

La puntuación depende del par de idiomas, del número de referencias y de la tokenización: los valores de conjuntos de prueba distintos no son comparables. Está correlacionada con el juicio humano sobre un corpus de frases, pero es una mala guía para una sola frase, y no mide ni el sentido ni la fluidez. Las evaluaciones modernas añaden métricas neuronales y una revisión humana.

¿Te ha resultado útil esta calculadora?

¡Gracias por tu opinión!

Resultados orientativos con fines informativos. No sustituyen el consejo de un profesional.