Aller au contenu
Omnikalc

Calculateur de mémoire d’un LLM : de combien de mémoire GPU un modèle de langage a-t-il besoin ?

Saisissez la taille du modèle, la précision, la longueur du contexte et l’architecture pour obtenir la mémoire des poids, du cache KV et le total, avec une limite de vitesse.

Mis à jour le
Vos paramètres

Valeur hors limites

jetons

Valeur hors limites

Valeur hors limites

Valeur hors limites

Valeur hors limites

Valeur hors limites

%

Valeur hors limites

Go/s

Valeur hors limites

Résultats

Mémoire totale nécessaire

20,1 Go

Tient sur une carte graphique grand public de 24 Go
Mémoire pour les poids
14,0 Go
Mémoire pour le cache KV
4,29 Go
Limite haute de vitesse de génération (une séquence)
72,0 jetons/s
Cache KV par jeton
0,524 Mo

Faire tourner un modèle de langage sur son propre GPU commence par une question : est-ce que ça tient ? Le calculateur de mémoire d’un LLM prend la taille du modèle, la précision, la longueur du contexte, les couches, la taille cachée, la part KV, le nombre de séquences, le surcoût et la bande passante mémoire, et donne la mémoire totale nécessaire, la mémoire des poids et du cache KV, une limite haute de vitesse et le cache par jeton.

Comment se fait le calcul

  • Saisissez le nombre de paramètres en milliards et choisissez la précision des poids. Un modèle en 16 bits prend 2 octets par paramètre, et un modèle quantifié en 4 bits un demi-octet.
  • Saisissez la longueur du contexte, le nombre de couches, la taille cachée et la part de têtes KV. Ils figurent dans la fiche du modèle, et 1 signifie une attention complète.
  • Les poids prennent paramètres × octets. Le cache clé-valeur prend 2 × couches × taille cachée × part KV × 2 octets × jetons × séquences, et il est conservé en 16 bits.
  • Le calculateur ajoute un surcoût pour les activations et l’exécution, et donne une limite haute de vitesse de génération, égale à la bande passante mémoire divisée par la taille des poids, puisque chaque jeton doit lire tous les poids.

Exemple

Un modèle de 7 milliards de paramètres en 16 bits demande 7 × 2 = 14 Go pour les poids. Avec 32 couches, une taille cachée de 4 096 et une attention complète, chaque jeton ajoute 2 × 32 × 4 096 × 2 octets = 0,524 Mo au cache, donc 8 192 jetons prennent 4,29 Go. Avec un surcoût de 10 %, le total est (14 + 4,29) × 1,1 = 20,1 Go, ce qui tient sur une carte de 24 Go. Sur un GPU de 1 008 Go/s, la vitesse ne peut pas dépasser 1 008 ÷ 14 = 72 jetons par seconde. En 4 bits, les poids tombent à 3,5 Go.

Pourquoi c’est utile

La mémoire est la première limite quand on fait tourner ou affiner un modèle en local, et elle décide si un modèle demande une seule carte graphique, deux cartes ou un serveur. Un calcul rapide avant de télécharger des dizaines de gigaoctets fait gagner du temps, et montre l’effet de la quantification et de la longueur du contexte sur le budget.

À savoir

L’estimation ne couvre que l’inférence. L’entraînement et l’affinage demandent bien plus de mémoire pour les gradients et les états de l’optimiseur. Les frameworks réels diffèrent par leurs surcoûts, et certains utilisent des caches paginés ou d’autres dispositions. Prenez le résultat comme une première estimation et gardez une marge de quelques gigaoctets. Les tailles utilisent des Go de 10⁹ octets, comme les fabricants de cartes.

Outils liés

Le calculateur de coût de stockage en nuage chiffre les fichiers, celui du coût d’un serveur domestique couvre une machine à la maison, celui de capacité d’un serveur dimensionne les charges de requêtes, et celui de rentabilité du minage de bitcoin compare un autre usage des GPU.

Questions fréquentes

Qu’est-ce qui prend de la mémoire pour faire tourner un modèle de langage ?

Trois choses : les poids, fixés par le nombre de paramètres et leur précision, le cache clé-valeur, qui grandit avec la longueur du texte et le nombre de séquences, et la mémoire de travail pour les activations et l’exécution. Les poids dominent en général pour les contextes courts, et le cache pour les longs.

Qu’est-ce que la quantification ?

La quantification stocke les poids avec moins de bits, comme 8 ou 4, au lieu de 16. Elle réduit la mémoire de moitié ou des trois quarts et accélère aussi la génération, puisque moins de données sont lues par jeton, au prix d’une petite perte de qualité. Le cache est souvent conservé en 16 bits, ce que suppose ce calculateur.

Qu’est-ce que l’attention par requêtes groupées ?

Dans l’attention standard, chaque tête d’attention a ses propres clés et valeurs. L’attention par requêtes groupées les partage entre plusieurs têtes, donc le cache est plus petit selon le rapport entre têtes KV et têtes d’attention. Un modèle avec 8 têtes KV et 32 têtes d’attention a un rapport de 0,25 et un cache quatre fois plus petit.

Comment trouve-t-on la limite de vitesse ?

Pour produire chaque jeton, un GPU doit lire tous les poids en mémoire. Le nombre de jetons par seconde ne peut pas dépasser la bande passante mémoire divisée par la taille des poids. Les vitesses réelles sont plus basses à cause du calcul, des surcoûts et du cache, mais cette borne montre pourquoi la bande passante compte plus que la puissance de calcul brute pour la génération.

Ce calculateur vous a-t-il été utile ?

Merci pour votre avis !

Résultats indicatifs fournis à titre d'information. Ils ne remplacent pas l'avis d'un professionnel.