Aller au contenu
Omnikalc

Calculateur du nombre de paramètres d’un réseau de neurones

Saisissez le nombre d’entrées, de deux couches cachées et de sorties d’un réseau entièrement connecté pour obtenir les paramètres, la mémoire pour l’inférence et l’entraînement, et les opérations par prédiction.

Mis à jour le
Vos paramètres

Valeur hors limites

Valeur hors limites

Valeur hors limites

Valeur hors limites

Résultats

Paramètres au total

109 386

Poids
109 184
Biais
202
Part de la première couche
91,9 %
Mémoire pour l’inférence
0,438 Mo
Mémoire pour entraîner avec Adam
1,750 Mo
Opérations par prédiction
218 368

Le calculateur du nombre de paramètres d’un réseau de neurones donne le nombre de poids et de biais, la mémoire et les opérations par prédiction d’un réseau entièrement connecté avec jusqu’à deux couches cachées.

Comment se fait le calcul

  • Saisissez les variables d’entrée, les neurones des couches cachées et les neurones de sortie.
  • Choisissez la précision des poids.
  • Le calculateur donne les paramètres, les poids, les biais, la part de la première couche, la mémoire et les opérations.

Exemple

Un réseau 784-128-64-10 a 784 × 128 + 128 × 64 + 64 × 10 = 109 184 poids et 128 + 64 + 10 = 202 biais, soit 109 386 paramètres. En 32 bits, il prend 0,438 Mo pour l’inférence et 1,750 Mo pour l’entraînement avec Adam. La première couche porte 91,9 % des poids. Une prédiction coûte environ 218 368 opérations.

Pourquoi c’est utile

Le calculateur aide les étudiants, les passionnés et les ingénieurs qui dimensionnent un petit réseau de neurones, comparent des architectures ou vérifient qu’un modèle tient dans la mémoire d’un microcontrôleur ou d’un téléphone.

À savoir

Les comptes sont exacts pour un réseau dense avec des biais dans chaque couche. Les autres types de couches diffèrent : les convolutions partagent leurs poids, donc leur nombre ne dépend pas de la taille de l’image, et les couches d’attention ont quatre matrices de projection. Les couches de normalisation ajoutent quelques paramètres par variable. Une règle empirique est d’avoir plus d’exemples d’entraînement que de paramètres, mais les réseaux profonds fonctionnent souvent bien avec plus de paramètres que d’exemples, tant qu’ils sont régularisés. Quantifier les poids sur 8 bits divise la mémoire par 4 avec une petite perte de précision dans beaucoup de modèles. La mémoire d’entraînement affichée exclut les activations et le flux de données, qui peuvent dominer pour de grands lots.

Outils liés

Le calculateur de couche de convolution compte les paramètres de convolution, celui de table d’embeddings dimensionne les vocabulaires, celui de mémoire des LLM traite les grands modèles de langage et celui de régression linéaire couvre le modèle le plus simple.

Questions fréquentes

Comment compte-t-on les paramètres d’une couche dense ?

Une couche reliant n entrées à m neurones a n × m poids et m biais. Pour tout le réseau, additionnez ces valeurs pour chaque couche. La seule couche 784-128 a 100 352 poids, soit l’essentiel du réseau.

Pourquoi l’entraînement demande-t-il plus de mémoire ?

En plus des poids, l’entraînement stocke un gradient par poids et, avec l’optimiseur Adam, deux moyennes mobiles gardées en 32 bits. Cela fait environ 4 + 4 + 8 = 16 octets par paramètre en 32 bits, plus les activations, qui dépendent de la taille du lot et ne sont pas comptées ici.

Que signifient les opérations ?

Chaque poids participe à une multiplication et une addition par prédiction, donc une passe avant coûte environ 2 opérations par poids. Les biais et les fonctions d’activation ajoutent un petit supplément, ignoré ici.

Ce calculateur vous a-t-il été utile ?

Merci pour votre avis !

Résultats indicatifs fournis à titre d'information. Ils ne remplacent pas l'avis d'un professionnel.