Quelques mots, comme le, de et et, remplissent la plupart des textes, alors que la plupart des mots n’apparaissent qu’une ou deux fois. Le calculateur de la loi de Zipf prend la taille du vocabulaire, la longueur du texte, l’exposant de Zipf et un rang, et donne la part du texte du mot de ce rang, son nombre d’occurrences attendu, la part couverte par les mots les plus fréquents et le rapport au mot le plus fréquent.
Comment se fait le calcul
- Saisissez la taille du vocabulaire, c’est-à-dire le nombre de mots différents, le nombre total de mots du texte et l’exposant de Zipf, proche de 1 pour la plupart des langues.
- Saisissez le rang du mot, où 1 est le mot le plus fréquent, 2 le suivant, et ainsi de suite.
- La loi de Zipf dit que la fréquence du mot de rang r est proportionnelle à 1 / r^s. Le calculateur divise par la somme de 1 / k^s sur tout le vocabulaire pour obtenir une part.
- Lisez la part du texte de ce mot, son nombre d’occurrences attendu, la part cumulée des mots jusqu’à ce rang et le rapport au mot le plus fréquent.
Exemple
Un texte de 500 000 mots a un vocabulaire de 30 000 mots et un exposant de Zipf de 1,1. La somme de normalisation vaut environ 7,01. Le mot de rang 50 occupe 1 / (50^1,1 × 7,01) = 0,193 % du texte, soit environ 964 occurrences. Les 50 premiers mots couvrent ensemble environ 54,5 % du texte, et le premier mot est 73,9 fois plus fréquent que le mot de rang 50.
Pourquoi c’est utile
La loi de Zipf explique pourquoi les listes de mots fonctionnent. Elle aide les apprenants à décider combien de mots donnent une couverture donnée, aide à dimensionner les index de recherche, les dictionnaires de clavier et les modèles de compression, et apparaît dans la taille des villes, le trafic web et bien d’autres séries classées. Le calculateur donne une attente à comparer aux comptages réels.
À savoir
La loi idéale est une première approximation. Les vraies tables de fréquences s’infléchissent aux deux extrémités, l’exposant dépend de la langue et du genre du texte, et les mots rares suivent d’autres lois. La somme approchée est la moins précise pour de très petits vocabulaires ou de grands exposants. Prenez les chiffres comme des valeurs typiques et non comme des comptages exacts.
Outils liés
Le calculateur d’objectif de vocabulaire planifie combien de mots apprendre, celui de temps de lecture estime la durée d’un texte, celui de score de lisibilité note la difficulté d’un texte, et celui de loi de Pareto couvre une loi voisine à queue lourde.