Saltar al contenido
Omnikalc

Calculadora de pasos de entrenamiento por época

Introduce el tamaño del conjunto de datos, el tamaño de lote por dispositivo, el número de dispositivos, la acumulación de gradientes y las épocas para obtener el tamaño de lote efectivo, los pasos por época, el total de pasos y la duración del entrenamiento.

Actualizado el
Tus datos

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

muestras/s

Valor fuera de rango

Resultados

Tamaño de lote efectivo

128

Pasos de optimización por época
391
Total de pasos de optimización
35.190
Muestras procesadas en total
4.500.000
Tamaño del último lote de una época
80
Duración del entrenamiento
0,83 horas

La calculadora de pasos de entrenamiento por época da el tamaño de lote efectivo, los pasos de optimización por época, el total de pasos, las muestras procesadas y la duración del entrenamiento de una ejecución de aprendizaje automático.

Cómo se calcula

  • Introduce el número de ejemplos de entrenamiento y el tamaño de lote por dispositivo.
  • Introduce el número de dispositivos, la acumulación de gradientes y las épocas.
  • Introduce el rendimiento en muestras por segundo.
  • La calculadora da el lote efectivo, los pasos por época, el total de pasos, las muestras, el último lote y la duración.

Ejemplo

Un conjunto de 50.000 ejemplos con un lote de 128 en un dispositivo tiene un lote efectivo de 128. Una época requiere ⌈50.000 / 128⌉ = 391 pasos, y el último lote contiene 80 ejemplos. En 90 épocas son 35.190 pasos y 4.500.000 muestras. A 1500 muestras por segundo, el entrenamiento dura 0,83 horas.

Por qué es útil

La calculadora ayuda a estudiantes e ingenieros que planifican entrenamientos, ajustan las planificaciones de la tasa de aprendizaje y las duraciones del calentamiento en pasos, o estiman la duración y el coste de un entrenamiento.

Conviene saber

Las planificaciones de la tasa de aprendizaje y los puntos de guardado suelen definirse en pasos, así que el total de pasos es el número que hay que proporcionar. Si se descarta el último lote incompleto, que es lo que hacen algunos cargadores de datos por defecto, los pasos por época se redondean a la baja. Con varios dispositivos, cada uno procesa su parte del lote y el rendimiento introducido debe ser el total de todos los dispositivos. El rendimiento real varía con la carga de datos, la comunicación entre dispositivos y la longitud de los ejemplos, así que mídelo con unos pocos pasos. Los lotes más grandes aprovechan mejor el equipo, pero pueden requerir más épocas para alcanzar la misma precisión.

Herramientas relacionadas

La calculadora del número de parámetros de una red neuronal dimensiona el modelo, la de curva de aprendizaje relaciona experiencia y velocidad, la de memoria de los LLM estima la memoria y la de tabla de incrustaciones dimensiona los vocabularios.

Preguntas frecuentes

¿Cómo se calculan los pasos por época?

Una época es una pasada por el conjunto de entrenamiento. El optimizador da un paso por cada lote efectivo, es decir, el tamaño de lote por dispositivo multiplicado por el número de dispositivos y por los pasos de acumulación. Los pasos por época son el tamaño del conjunto dividido entre ese número, redondeado al alza si se conserva el último lote.

¿Qué es la acumulación de gradientes?

Los gradientes de varios lotes pequeños se suman antes de que el optimizador dé un paso. Así se obtiene el efecto de un lote grande cuando la memoria del dispositivo solo permite uno pequeño, a costa de más pasadas hacia delante y hacia atrás por paso.

¿El tamaño de lote cambia la tasa de aprendizaje?

A menudo sí. Una regla habitual hace variar la tasa de aprendizaje de forma proporcional al tamaño de lote efectivo, con un calentamiento al principio, para que un lote más grande no signifique simplemente menos pasos prudentes. Es un punto de partida, y los lotes muy grandes exigen prudencia.

¿Te ha resultado útil esta calculadora?

¡Gracias por tu opinión!

Resultados orientativos con fines informativos. No sustituyen el consejo de un profesional.