Le calculateur d’étapes d’entraînement par époque donne la taille de lot effective, les étapes d’optimisation par époque, le total des étapes, les échantillons traités et la durée d’entraînement d’une exécution d’apprentissage automatique.
Comment se fait le calcul
- Saisissez le nombre d’exemples d’entraînement et la taille de lot par appareil.
- Saisissez le nombre d’appareils, l’accumulation de gradients et les époques.
- Saisissez le débit en échantillons par seconde.
- Le calculateur donne le lot effectif, les étapes par époque, le total des étapes, les échantillons, le dernier lot et la durée.
Exemple
Un jeu de 50 000 exemples avec un lot de 128 sur un appareil a un lot effectif de 128. Une époque demande ceil(50 000 / 128) = 391 étapes, le dernier lot contenant 80 exemples. Sur 90 époques, cela fait 35 190 étapes et 4 500 000 échantillons. À 1 500 échantillons par seconde, l’entraînement dure 0,83 heures.
Pourquoi c’est utile
Le calculateur aide les étudiants et les ingénieurs qui planifient des entraînements, règlent les plannings de taux d’apprentissage et les durées d’échauffement en étapes, ou estiment la durée et le coût d’un entraînement.
À savoir
Les plannings de taux d’apprentissage et les points de sauvegarde sont généralement définis en étapes, donc le total des étapes est le nombre à fournir. Si le dernier lot incomplet est abandonné, ce que font certains chargeurs de données par défaut, les étapes par époque sont arrondies vers le bas. Avec plusieurs appareils, chacun traite sa part du lot et le débit saisi doit être le total de tous les appareils. Le débit réel varie avec le chargement des données, la communication entre appareils et la longueur des exemples, donc mesurez-le sur quelques étapes. De plus grands lots exploitent mieux le matériel mais peuvent demander plus d’époques pour atteindre la même précision.
Outils liés
Le calculateur du nombre de paramètres d’un réseau de neurones dimensionne le modèle, celui de courbe d’apprentissage relie expérience et vitesse, celui de mémoire des LLM estime la mémoire et celui de table d’embeddings dimensionne les vocabulaires.