Le calculateur de taille de sortie d’une couche de convolution donne la taille de sortie, le nombre de paramètres, les multiplications-accumulations et la mémoire de la sortie d’une couche convolutive d’un réseau de neurones.
Comment se fait le calcul
- Saisissez la taille d’entrée, la taille du noyau, le remplissage, le pas et la dilatation.
- Saisissez le nombre de canaux d’entrée et de sortie.
- Le calculateur donne la taille de sortie, les paramètres, les multiplications-accumulations, les valeurs de sortie et la mémoire de la sortie.
Exemple
Une convolution 3×3 avec un remplissage de 1 et un pas de 1 sur une image 224×224 avec 3 canaux d’entrée et 64 de sortie garde la taille à 224×224. Elle a 3 × 3 × 3 × 64 + 64 = 1 792 paramètres et demande 86,7 millions de multiplications-accumulations. La sortie contient 3 211 264 valeurs, soit 12,85 Mo en flottants de 32 bits.
Pourquoi c’est utile
Le calculateur aide les étudiants en apprentissage automatique, les ingénieurs qui conçoivent des modèles d’images et tous ceux qui doivent vérifier la forme des tenseurs entre les couches.
À savoir
Les bibliothèques d’apprentissage profond utilisent la même formule, et certaines arrondissent différemment le remplissage « same » avec des noyaux pairs, donc vérifiez la forme de sortie de votre bibliothèque. Un pas supérieur à 1 ou une couche de regroupement réduit la taille et le coût, au prix de la résolution. La dilatation élargit le champ de vision sans paramètres supplémentaires. Les convolutions séparables en profondeur remplacent le terme K² × Cin × Cout par K² × Cin + Cin × Cout, soit une réduction d’environ 8 à 9 fois pour des noyaux 3×3 avec beaucoup de canaux. La mémoire indiquée vaut pour une image et une couche : à l’entraînement, les activations de toutes les couches sont conservées pour la rétropropagation, et elles sont multipliées par la taille du lot.
Outils liés
Le calculateur de champ réceptif montre quelle part de l’entrée voit une unité, celui du nombre de paramètres d’un réseau de neurones traite les couches denses, celui de densité de pixels relie images et écrans et celui de mémoire des LLM dimensionne les gros modèles.