Aller au contenu
Omnikalc

Calculateur de taille d’une table d’embeddings

Saisissez la taille du vocabulaire, la dimension des embeddings, la longueur du contexte et la précision pour obtenir les paramètres et la mémoire des tables de jetons et de positions et leur part du modèle.

Mis à jour le
Vos paramètres
jetons

Valeur hors limites

Valeur hors limites

Valeur hors limites

millions de paramètres

Valeur hors limites

Résultats

Paramètres de la ou des tables de jetons

38 597 376

Mémoire de la ou des tables de jetons
154,4 Mo
Paramètres de la table de positions
786 432
Paramètres d’embedding au total
39 383 808
Part du modèle entier
31,8 %
Les embeddings sont une part mineure du modèle
Mémoire par jeton (une ligne)
3 072 octets

Le calculateur de taille d’une table d’embeddings donne les paramètres et la mémoire de la table d’embeddings de jetons d’un modèle de langage, avec la table de positions et la part du modèle entier.

Comment se fait le calcul

  • Saisissez la taille du vocabulaire, la dimension des embeddings et la longueur du contexte.
  • Choisissez la précision et si la couche de sortie est liée à la table.
  • Saisissez la taille totale du modèle.
  • Le calculateur donne les paramètres et la mémoire de la table de jetons, les paramètres de positions, le total et la part du modèle.

Exemple

Un vocabulaire de 50 257 jetons avec 768 dimensions compte 50 257 × 768 = 38 597 376 paramètres, soit 154,4 Mo en 32 bits. Une table de positions pour 1 024 positions ajoute 786 432 paramètres. Les embeddings totalisent 39 383 808, soit 31,8 % d’un modèle de 124 millions de paramètres. Chaque jeton coûte 3 072 octets.

Pourquoi c’est utile

Le calculateur aide les étudiants en apprentissage automatique, les ingénieurs qui entraînent ou compressent de petits modèles de langage et tous ceux qui veulent savoir pourquoi la taille du vocabulaire compte pour la taille du modèle.

À savoir

Dans les petits modèles, la table d’embeddings représente une grande part des paramètres, ce qui explique l’usage de techniques comme la liaison des poids, les embeddings factorisés ou les vocabulaires réduits. Les modèles à positions rotatives n’ont pas de table de positions apprise, donc mettez la longueur du contexte à 0 pour eux. Les modèles multilingues ont besoin de grands vocabulaires pour couvrir les écritures, ce qui porte la table à des centaines de millions de paramètres. Quantifier la table est possible mais cela touche davantage les jetons rares. Sur un appareil à peu de mémoire, la table peut parfois rester sur le stockage et être lue ligne par ligne, puisque seules quelques lignes servent à chaque jeton. La mémoire indiquée ne concerne que les poids.

Outils liés

Le calculateur du nombre de paramètres d’un réseau de neurones traite les couches denses, celui de mémoire des LLM dimensionne des modèles complets, celui de ratio type-token mesure la richesse du vocabulaire et celui d’entropie de Shannon mesure l’information dans un texte.

Questions fréquentes

Quelle est la taille d’une table d’embeddings ?

Elle a une ligne par jeton du vocabulaire et une colonne par dimension, donc vocabulaire × dimension paramètres. Un vocabulaire de 50 257 jetons avec 768 dimensions donne 38,6 millions de paramètres, soit environ 154 Mo en 32 bits.

Que signifie lier la couche de sortie ?

La matrice qui transforme l’état caché final en score pour chaque jeton a la même forme que la table d’embeddings. Beaucoup de modèles réutilisent les mêmes poids pour les deux, ce qui économise vocabulaire × dimension paramètres. Choisissez séparée pour compter les deux matrices.

Pourquoi la taille du vocabulaire compte-t-elle ?

Un vocabulaire plus grand raccourcit les séquences, car les mots courants deviennent un seul jeton, mais il agrandit la table et laisse les jetons rares mal entraînés. Pour les petits modèles, la table peut représenter un tiers ou plus de tous les paramètres.

Ce calculateur vous a-t-il été utile ?

Merci pour votre avis !

Résultats indicatifs fournis à titre d'information. Ils ne remplacent pas l'avis d'un professionnel.