Le calculateur du score BLEU donne le score BLEU, la pénalité de brièveté, la moyenne géométrique des précisions, le rapport de longueurs, le score sans la pénalité et les points perdus à cause d’elle, à partir des quatre précisions de n-grammes et des longueurs.
Comment se fait le calcul
- Saisissez la précision modifiée des 1-grammes, 2-grammes, 3-grammes et 4-grammes, en pourcentages.
- Saisissez la longueur du candidat et de la traduction de référence, en mots.
- Lisez le score BLEU, de 0 à 100.
Exemple
Avec des précisions de 75 %, 55 %, 40 % et 30 % %, la moyenne géométrique est de 47,17 %. Un candidat de 100 mots mots face à une référence de 105 mots a une pénalité de brièveté de 0,9512 : le BLEU est de 44,87, au lieu de 47,17, ce qui fait perdre 2,30 points.
Pourquoi c’est utile
Le calculateur aide les étudiants et les ingénieurs en traitement automatique des langues qui veulent comprendre comment le score est construit, vérifier un résultat d’un outil d’évaluation ou voir ce que ferait une précision plus haute ou une sortie plus longue.
À savoir
Les précisions doivent venir d’un outil de comptage exécuté sur le jeu de test, avec la même tokenisation que la référence, et les longueurs sont sommées sur tout le corpus pour un score au niveau du corpus. Une précision nulle à un ordre rend le BLEU simple nul, et le calculateur la borne à une petite valeur pour l’éviter. BLEU récompense le recouvrement exact des mots et ne reconnaît ni les synonymes ni les réordonnancements : une bonne traduction peut obtenir un score bas. Il sert surtout à comparer des versions d’un même système sur les mêmes données, et non à classer des paires de langues différentes. Indiquez la tokenisation et le nombre de références avec le score, car les deux le font varier de plusieurs points.
Outils liés
Le calculateur de la matrice de confusion évalue une classification, celui de la sensibilité et spécificité mesure un test, celui de la moyenne géométrique fait la moyenne multiplicative de valeurs et celui du pourcentage calcule des parts.