Le calculateur de taille d’une table d’embeddings donne les paramètres et la mémoire de la table d’embeddings de jetons d’un modèle de langage, avec la table de positions et la part du modèle entier.
Comment se fait le calcul
- Saisissez la taille du vocabulaire, la dimension des embeddings et la longueur du contexte.
- Choisissez la précision et si la couche de sortie est liée à la table.
- Saisissez la taille totale du modèle.
- Le calculateur donne les paramètres et la mémoire de la table de jetons, les paramètres de positions, le total et la part du modèle.
Exemple
Un vocabulaire de 50 257 jetons avec 768 dimensions compte 50 257 × 768 = 38 597 376 paramètres, soit 154,4 Mo en 32 bits. Une table de positions pour 1 024 positions ajoute 786 432 paramètres. Les embeddings totalisent 39 383 808, soit 31,8 % d’un modèle de 124 millions de paramètres. Chaque jeton coûte 3 072 octets.
Pourquoi c’est utile
Le calculateur aide les étudiants en apprentissage automatique, les ingénieurs qui entraînent ou compressent de petits modèles de langage et tous ceux qui veulent savoir pourquoi la taille du vocabulaire compte pour la taille du modèle.
À savoir
Dans les petits modèles, la table d’embeddings représente une grande part des paramètres, ce qui explique l’usage de techniques comme la liaison des poids, les embeddings factorisés ou les vocabulaires réduits. Les modèles à positions rotatives n’ont pas de table de positions apprise, donc mettez la longueur du contexte à 0 pour eux. Les modèles multilingues ont besoin de grands vocabulaires pour couvrir les écritures, ce qui porte la table à des centaines de millions de paramètres. Quantifier la table est possible mais cela touche davantage les jetons rares. Sur un appareil à peu de mémoire, la table peut parfois rester sur le stockage et être lue ligne par ligne, puisque seules quelques lignes servent à chaque jeton. La mémoire indiquée ne concerne que les poids.
Outils liés
Le calculateur du nombre de paramètres d’un réseau de neurones traite les couches denses, celui de mémoire des LLM dimensionne des modèles complets, celui de ratio type-token mesure la richesse du vocabulaire et celui d’entropie de Shannon mesure l’information dans un texte.