Le calculateur du nombre de paramètres d’un réseau de neurones donne le nombre de poids et de biais, la mémoire et les opérations par prédiction d’un réseau entièrement connecté avec jusqu’à deux couches cachées.
Comment se fait le calcul
- Saisissez les variables d’entrée, les neurones des couches cachées et les neurones de sortie.
- Choisissez la précision des poids.
- Le calculateur donne les paramètres, les poids, les biais, la part de la première couche, la mémoire et les opérations.
Exemple
Un réseau 784-128-64-10 a 784 × 128 + 128 × 64 + 64 × 10 = 109 184 poids et 128 + 64 + 10 = 202 biais, soit 109 386 paramètres. En 32 bits, il prend 0,438 Mo pour l’inférence et 1,750 Mo pour l’entraînement avec Adam. La première couche porte 91,9 % des poids. Une prédiction coûte environ 218 368 opérations.
Pourquoi c’est utile
Le calculateur aide les étudiants, les passionnés et les ingénieurs qui dimensionnent un petit réseau de neurones, comparent des architectures ou vérifient qu’un modèle tient dans la mémoire d’un microcontrôleur ou d’un téléphone.
À savoir
Les comptes sont exacts pour un réseau dense avec des biais dans chaque couche. Les autres types de couches diffèrent : les convolutions partagent leurs poids, donc leur nombre ne dépend pas de la taille de l’image, et les couches d’attention ont quatre matrices de projection. Les couches de normalisation ajoutent quelques paramètres par variable. Une règle empirique est d’avoir plus d’exemples d’entraînement que de paramètres, mais les réseaux profonds fonctionnent souvent bien avec plus de paramètres que d’exemples, tant qu’ils sont régularisés. Quantifier les poids sur 8 bits divise la mémoire par 4 avec une petite perte de précision dans beaucoup de modèles. La mémoire d’entraînement affichée exclut les activations et le flux de données, qui peuvent dominer pour de grands lots.
Outils liés
Le calculateur de couche de convolution compte les paramètres de convolution, celui de table d’embeddings dimensionne les vocabulaires, celui de mémoire des LLM traite les grands modèles de langage et celui de régression linéaire couvre le modèle le plus simple.