Aller au contenu
Omnikalc

Calculateur du score BLEU

Saisissez les précisions modifiées des n-grammes de 1 à 4 et les longueurs du candidat et de la référence pour obtenir le score BLEU et la pénalité de brièveté.

Mis à jour le
Vos paramètres
%

Valeur hors limites

%

Valeur hors limites

%

Valeur hors limites

%

Valeur hors limites

mots

Valeur hors limites

mots

Valeur hors limites

Résultats

Score BLEU (0 à 100)

44,87

Pénalité de brièveté
0,9512
Moyenne géométrique des précisions
47,17 %
Rapport de longueurs (candidat / référence)
0,952
BLEU si la longueur égalait la référence
47,17
Points perdus à cause de la pénalité de brièveté
2,30

Le calculateur du score BLEU donne le score BLEU, la pénalité de brièveté, la moyenne géométrique des précisions, le rapport de longueurs, le score sans la pénalité et les points perdus à cause d’elle, à partir des quatre précisions de n-grammes et des longueurs.

Comment se fait le calcul

  • Saisissez la précision modifiée des 1-grammes, 2-grammes, 3-grammes et 4-grammes, en pourcentages.
  • Saisissez la longueur du candidat et de la traduction de référence, en mots.
  • Lisez le score BLEU, de 0 à 100.

Exemple

Avec des précisions de 75 %, 55 %, 40 % et 30 % %, la moyenne géométrique est de 47,17 %. Un candidat de 100 mots mots face à une référence de 105 mots a une pénalité de brièveté de 0,9512 : le BLEU est de 44,87, au lieu de 47,17, ce qui fait perdre 2,30 points.

Pourquoi c’est utile

Le calculateur aide les étudiants et les ingénieurs en traitement automatique des langues qui veulent comprendre comment le score est construit, vérifier un résultat d’un outil d’évaluation ou voir ce que ferait une précision plus haute ou une sortie plus longue.

À savoir

Les précisions doivent venir d’un outil de comptage exécuté sur le jeu de test, avec la même tokenisation que la référence, et les longueurs sont sommées sur tout le corpus pour un score au niveau du corpus. Une précision nulle à un ordre rend le BLEU simple nul, et le calculateur la borne à une petite valeur pour l’éviter. BLEU récompense le recouvrement exact des mots et ne reconnaît ni les synonymes ni les réordonnancements : une bonne traduction peut obtenir un score bas. Il sert surtout à comparer des versions d’un même système sur les mêmes données, et non à classer des paires de langues différentes. Indiquez la tokenisation et le nombre de références avec le score, car les deux le font varier de plusieurs points.

Outils liés

Le calculateur de la matrice de confusion évalue une classification, celui de la sensibilité et spécificité mesure un test, celui de la moyenne géométrique fait la moyenne multiplicative de valeurs et celui du pourcentage calcule des parts.

Questions fréquentes

Qu’est-ce que le score BLEU ?

BLEU, pour bilingual evaluation understudy, est une mesure de la qualité de la traduction automatique. Il compare une traduction candidate à une ou plusieurs références humaines par le recouvrement des n-grammes, suites de un à quatre mots, et donne un score entre 0 et 1, souvent écrit entre 0 et 100.

Comment le calcule-t-on ?

Le score est la pénalité de brièveté multipliée par la moyenne géométrique des précisions modifiées des n-grammes, en général pour n de 1 à 4 avec des poids égaux : BLEU = BP × exp(¼ Σ ln p_n). La pénalité vaut 1 quand le candidat est plus long que la référence, et exp(1 − r/c) quand il est plus court, ce qui empêche un système de gagner en donnant des sorties très courtes.

Qu’est-ce qu’une précision modifiée ?

C’est la part des n-grammes du candidat qui apparaissent dans la référence, chaque n-gramme étant compté au plus autant de fois qu’il apparaît dans la référence. Cela empêche un candidat qui répète un mot correct d’obtenir un score parfait.

Comment lire le score ?

Le score dépend de la paire de langues, du nombre de références et de la tokenisation : les valeurs de jeux de test différents ne sont pas comparables. Il est corrélé au jugement humain sur un corpus de phrases, mais c’est un mauvais guide pour une seule phrase, et il ne mesure ni le sens ni la fluidité. Les évaluations modernes ajoutent des métriques neuronales et une relecture humaine.

Ce calculateur vous a-t-il été utile ?

Merci pour votre avis !

Résultats indicatifs fournis à titre d'information. Ils ne remplacent pas l'avis d'un professionnel.