La calculadora de pasos de entrenamiento por época da el tamaño de lote efectivo, los pasos de optimización por época, el total de pasos, las muestras procesadas y la duración del entrenamiento de una ejecución de aprendizaje automático.
Cómo se calcula
- Introduce el número de ejemplos de entrenamiento y el tamaño de lote por dispositivo.
- Introduce el número de dispositivos, la acumulación de gradientes y las épocas.
- Introduce el rendimiento en muestras por segundo.
- La calculadora da el lote efectivo, los pasos por época, el total de pasos, las muestras, el último lote y la duración.
Ejemplo
Un conjunto de 50.000 ejemplos con un lote de 128 en un dispositivo tiene un lote efectivo de 128. Una época requiere ⌈50.000 / 128⌉ = 391 pasos, y el último lote contiene 80 ejemplos. En 90 épocas son 35.190 pasos y 4.500.000 muestras. A 1500 muestras por segundo, el entrenamiento dura 0,83 horas.
Por qué es útil
La calculadora ayuda a estudiantes e ingenieros que planifican entrenamientos, ajustan las planificaciones de la tasa de aprendizaje y las duraciones del calentamiento en pasos, o estiman la duración y el coste de un entrenamiento.
Conviene saber
Las planificaciones de la tasa de aprendizaje y los puntos de guardado suelen definirse en pasos, así que el total de pasos es el número que hay que proporcionar. Si se descarta el último lote incompleto, que es lo que hacen algunos cargadores de datos por defecto, los pasos por época se redondean a la baja. Con varios dispositivos, cada uno procesa su parte del lote y el rendimiento introducido debe ser el total de todos los dispositivos. El rendimiento real varía con la carga de datos, la comunicación entre dispositivos y la longitud de los ejemplos, así que mídelo con unos pocos pasos. Los lotes más grandes aprovechan mejor el equipo, pero pueden requerir más épocas para alcanzar la misma precisión.
Herramientas relacionadas
La calculadora del número de parámetros de una red neuronal dimensiona el modelo, la de curva de aprendizaje relaciona experiencia y velocidad, la de memoria de los LLM estima la memoria y la de tabla de incrustaciones dimensiona los vocabularios.