La calculadora del número de parámetros de una red neuronal da el número de pesos y de sesgos, la memoria y las operaciones por predicción de una red totalmente conectada con hasta dos capas ocultas.
Cómo se hace el cálculo
- Introduce las variables de entrada, las neuronas de las capas ocultas y las neuronas de salida.
- Elige la precisión de los pesos.
- La calculadora da los parámetros, los pesos, los sesgos, la proporción de la primera capa, la memoria y las operaciones.
Ejemplo
Una red 784-128-64-10 tiene 784 × 128 + 128 × 64 + 64 × 10 = 109.184 pesos y 128 + 64 + 10 = 202 sesgos, es decir, 109.386 parámetros. Con 32 bits ocupa 0,438 MB para la inferencia y 1,750 MB para el entrenamiento con Adam. La primera capa aporta el 91,9 % de los pesos. Una predicción cuesta unas 218.368 operaciones.
Por qué es útil
La calculadora ayuda a estudiantes, aficionados e ingenieros que dimensionan una red neuronal pequeña, comparan arquitecturas o comprueban que un modelo cabe en la memoria de un microcontrolador o de un teléfono.
Conviene saber
Las cuentas son exactas para una red densa con sesgos en cada capa. Otros tipos de capa son distintos: las convoluciones comparten sus pesos, de modo que su número no depende del tamaño de la imagen, y las capas de atención tienen cuatro matrices de proyección. Las capas de normalización añaden unos pocos parámetros por variable. Una regla empírica es tener más ejemplos de entrenamiento que parámetros, pero las redes profundas suelen funcionar bien con más parámetros que ejemplos, siempre que estén regularizadas. Cuantizar los pesos a 8 bits divide la memoria entre 4 con una pequeña pérdida de precisión en muchos modelos. La memoria de entrenamiento mostrada excluye las activaciones y el flujo de datos, que pueden dominar con lotes grandes.
Herramientas relacionadas
La calculadora de capa de convolución cuenta los parámetros de convolución, la de tabla de incrustaciones dimensiona los vocabularios, la de memoria de los LLM trata los grandes modelos de lenguaje y la de regresión lineal cubre el modelo más sencillo.