Aller au contenu
Omnikalc

Calculateur d’étapes d’entraînement par époque

Saisissez la taille du jeu de données, la taille de lot par appareil, le nombre d’appareils, l’accumulation de gradients et les époques pour obtenir la taille de lot effective, les étapes par époque, le total des étapes et la durée d’entraînement.

Mis à jour le
Vos paramètres

Valeur hors limites

Valeur hors limites

Valeur hors limites

Valeur hors limites

Valeur hors limites

échantillons/s

Valeur hors limites

Résultats

Taille de lot effective

128

Étapes d’optimisation par époque
391
Total des étapes d’optimisation
35 190
Échantillons traités au total
4 500 000
Taille du dernier lot d’une époque
80
Durée d’entraînement
0,83 heures

Le calculateur d’étapes d’entraînement par époque donne la taille de lot effective, les étapes d’optimisation par époque, le total des étapes, les échantillons traités et la durée d’entraînement d’une exécution d’apprentissage automatique.

Comment se fait le calcul

  • Saisissez le nombre d’exemples d’entraînement et la taille de lot par appareil.
  • Saisissez le nombre d’appareils, l’accumulation de gradients et les époques.
  • Saisissez le débit en échantillons par seconde.
  • Le calculateur donne le lot effectif, les étapes par époque, le total des étapes, les échantillons, le dernier lot et la durée.

Exemple

Un jeu de 50 000 exemples avec un lot de 128 sur un appareil a un lot effectif de 128. Une époque demande ceil(50 000 / 128) = 391 étapes, le dernier lot contenant 80 exemples. Sur 90 époques, cela fait 35 190 étapes et 4 500 000 échantillons. À 1 500 échantillons par seconde, l’entraînement dure 0,83 heures.

Pourquoi c’est utile

Le calculateur aide les étudiants et les ingénieurs qui planifient des entraînements, règlent les plannings de taux d’apprentissage et les durées d’échauffement en étapes, ou estiment la durée et le coût d’un entraînement.

À savoir

Les plannings de taux d’apprentissage et les points de sauvegarde sont généralement définis en étapes, donc le total des étapes est le nombre à fournir. Si le dernier lot incomplet est abandonné, ce que font certains chargeurs de données par défaut, les étapes par époque sont arrondies vers le bas. Avec plusieurs appareils, chacun traite sa part du lot et le débit saisi doit être le total de tous les appareils. Le débit réel varie avec le chargement des données, la communication entre appareils et la longueur des exemples, donc mesurez-le sur quelques étapes. De plus grands lots exploitent mieux le matériel mais peuvent demander plus d’époques pour atteindre la même précision.

Outils liés

Le calculateur du nombre de paramètres d’un réseau de neurones dimensionne le modèle, celui de courbe d’apprentissage relie expérience et vitesse, celui de mémoire des LLM estime la mémoire et celui de table d’embeddings dimensionne les vocabulaires.

Questions fréquentes

Comment calcule-t-on les étapes par époque ?

Une époque est un passage sur le jeu d’entraînement. L’optimiseur fait une étape par lot effectif, soit la taille de lot par appareil fois le nombre d’appareils fois les étapes d’accumulation. Les étapes par époque sont la taille du jeu divisée par ce nombre, arrondie vers le haut si l’on garde le dernier lot.

Qu’est-ce que l’accumulation de gradients ?

Les gradients de plusieurs petits lots sont additionnés avant que l’optimiseur fasse une étape. Cela donne l’effet d’un grand lot quand la mémoire de l’appareil n’en permet qu’un petit, au prix de plus de passes avant et arrière par étape.

La taille de lot change-t-elle le taux d’apprentissage ?

Souvent oui. Une règle courante fait varier le taux d’apprentissage proportionnellement à la taille de lot effective, avec un échauffement au début, pour qu’un lot plus grand ne signifie pas simplement moins d’étapes prudentes. C’est un point de départ, et les très grands lots demandent de la prudence.

Ce calculateur vous a-t-il été utile ?

Merci pour votre avis !

Résultats indicatifs fournis à titre d'information. Ils ne remplacent pas l'avis d'un professionnel.