Faire tourner un modèle de langage sur son propre GPU commence par une question : est-ce que ça tient ? Le calculateur de mémoire d’un LLM prend la taille du modèle, la précision, la longueur du contexte, les couches, la taille cachée, la part KV, le nombre de séquences, le surcoût et la bande passante mémoire, et donne la mémoire totale nécessaire, la mémoire des poids et du cache KV, une limite haute de vitesse et le cache par jeton.
Comment se fait le calcul
- Saisissez le nombre de paramètres en milliards et choisissez la précision des poids. Un modèle en 16 bits prend 2 octets par paramètre, et un modèle quantifié en 4 bits un demi-octet.
- Saisissez la longueur du contexte, le nombre de couches, la taille cachée et la part de têtes KV. Ils figurent dans la fiche du modèle, et 1 signifie une attention complète.
- Les poids prennent paramètres × octets. Le cache clé-valeur prend 2 × couches × taille cachée × part KV × 2 octets × jetons × séquences, et il est conservé en 16 bits.
- Le calculateur ajoute un surcoût pour les activations et l’exécution, et donne une limite haute de vitesse de génération, égale à la bande passante mémoire divisée par la taille des poids, puisque chaque jeton doit lire tous les poids.
Exemple
Un modèle de 7 milliards de paramètres en 16 bits demande 7 × 2 = 14 Go pour les poids. Avec 32 couches, une taille cachée de 4 096 et une attention complète, chaque jeton ajoute 2 × 32 × 4 096 × 2 octets = 0,524 Mo au cache, donc 8 192 jetons prennent 4,29 Go. Avec un surcoût de 10 %, le total est (14 + 4,29) × 1,1 = 20,1 Go, ce qui tient sur une carte de 24 Go. Sur un GPU de 1 008 Go/s, la vitesse ne peut pas dépasser 1 008 ÷ 14 = 72 jetons par seconde. En 4 bits, les poids tombent à 3,5 Go.
Pourquoi c’est utile
La mémoire est la première limite quand on fait tourner ou affiner un modèle en local, et elle décide si un modèle demande une seule carte graphique, deux cartes ou un serveur. Un calcul rapide avant de télécharger des dizaines de gigaoctets fait gagner du temps, et montre l’effet de la quantification et de la longueur du contexte sur le budget.
À savoir
L’estimation ne couvre que l’inférence. L’entraînement et l’affinage demandent bien plus de mémoire pour les gradients et les états de l’optimiseur. Les frameworks réels diffèrent par leurs surcoûts, et certains utilisent des caches paginés ou d’autres dispositions. Prenez le résultat comme une première estimation et gardez une marge de quelques gigaoctets. Les tailles utilisent des Go de 10⁹ octets, comme les fabricants de cartes.
Outils liés
Le calculateur de coût de stockage en nuage chiffre les fichiers, celui du coût d’un serveur domestique couvre une machine à la maison, celui de capacité d’un serveur dimensionne les charges de requêtes, et celui de rentabilité du minage de bitcoin compare un autre usage des GPU.