Saltar al contenido
Omnikalc

Calculadora de memoria de un LLM: ¿cuánta memoria de GPU necesita un modelo de lenguaje?

Introduce el tamaño del modelo, la precisión, la longitud del contexto y la arquitectura para obtener la memoria de los pesos, de la caché KV y el total, con un límite de velocidad.

Actualizado el
Tus datos

Valor fuera de rango

tokens

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

%

Valor fuera de rango

GB/s

Valor fuera de rango

Resultados

Memoria total necesaria

20,1 GB

Cabe en una tarjeta gráfica de consumo de 24 GB
Memoria para los pesos
14,0 GB
Memoria para la caché KV
4,29 GB
Límite superior de velocidad de generación (una secuencia)
72,0 tokens/s
Caché KV por token
0,524 MB

Ejecutar un modelo de lenguaje en tu propia GPU empieza con una pregunta: ¿cabe? La calculadora de memoria de un LLM toma el tamaño del modelo, la precisión, la longitud del contexto, las capas, el tamaño oculto, la proporción KV, el número de secuencias, el sobrecoste y el ancho de banda de memoria, y da la memoria total necesaria, la memoria de los pesos y de la caché KV, un límite superior de velocidad y la caché por token.

Cómo se hace el cálculo

  • Introduce el número de parámetros en miles de millones y elige la precisión de los pesos. Un modelo en 16 bits ocupa 2 bytes por parámetro, y un modelo cuantizado en 4 bits, medio byte.
  • Introduce la longitud del contexto, el número de capas, el tamaño oculto y la proporción de cabezas KV. Figuran en la ficha del modelo, y 1 significa atención completa.
  • Los pesos ocupan parámetros × bytes. La caché de clave-valor ocupa 2 × capas × tamaño oculto × proporción KV × 2 bytes × tokens × secuencias, y se mantiene en 16 bits.
  • La calculadora añade un sobrecoste para las activaciones y la ejecución, y da un límite superior de velocidad de generación, igual al ancho de banda de memoria dividido por el tamaño de los pesos, ya que cada token debe leer todos los pesos.

Ejemplo

Un modelo de 7000 millones de parámetros en 16 bits necesita 7 × 2 = 14 GB para los pesos. Con 32 capas, un tamaño oculto de 4096 y atención completa, cada token añade 2 × 32 × 4096 × 2 bytes = 0,524 MB a la caché, así que 8192 tokens ocupan 4,29 GB. Con un sobrecoste del 10 %, el total es (14 + 4,29) × 1,1 = 20,1 GB, lo que cabe en una tarjeta de 24 GB. En una GPU de 1008 GB/s, la velocidad no puede superar 1008 ÷ 14 = 72 tokens por segundo. En 4 bits, los pesos bajan a 3,5 GB.

Por qué es útil

La memoria es el primer límite al ejecutar o ajustar un modelo en local, y decide si un modelo necesita una sola tarjeta gráfica, dos tarjetas o un servidor. Un cálculo rápido antes de descargar decenas de gigabytes ahorra tiempo, y muestra el efecto de la cuantización y de la longitud del contexto en el presupuesto.

Conviene saber

La estimación solo cubre la inferencia. El entrenamiento y el ajuste fino necesitan mucha más memoria para los gradientes y los estados del optimizador. Los entornos de ejecución reales difieren en sus sobrecostes, y algunos usan cachés paginadas u otras disposiciones. Toma el resultado como una primera estimación y deja un margen de unos cuantos gigabytes. Los tamaños usan GB de 10⁹ bytes, como los fabricantes de tarjetas.

Herramientas relacionadas

La calculadora del coste de almacenamiento en la nube valora los archivos, la del coste de un servidor doméstico cubre una máquina en casa, la de capacidad de un servidor dimensiona las cargas de peticiones, y la de rentabilidad de la minería de bitcoin compara otro uso de las GPU.

Preguntas frecuentes

¿Qué ocupa memoria al ejecutar un modelo de lenguaje?

Tres cosas: los pesos, fijados por el número de parámetros y su precisión; la caché de clave-valor, que crece con la longitud del texto y el número de secuencias; y la memoria de trabajo para las activaciones y la ejecución. Los pesos suelen dominar en los contextos cortos, y la caché en los largos.

¿Qué es la cuantización?

La cuantización almacena los pesos con menos bits, como 8 o 4, en lugar de 16. Reduce la memoria a la mitad o a una cuarta parte y también acelera la generación, ya que se leen menos datos por token, a costa de una pequeña pérdida de calidad. La caché suele mantenerse en 16 bits, que es lo que supone esta calculadora.

¿Qué es la atención por consultas agrupadas?

En la atención estándar, cada cabeza de atención tiene sus propias claves y valores. La atención por consultas agrupadas los comparte entre varias cabezas, así que la caché es más pequeña según la relación entre cabezas KV y cabezas de atención. Un modelo con 8 cabezas KV y 32 cabezas de atención tiene una relación de 0,25 y una caché cuatro veces más pequeña.

¿Cómo se halla el límite de velocidad?

Para producir cada token, una GPU debe leer todos los pesos de la memoria. El número de tokens por segundo no puede superar el ancho de banda de memoria dividido por el tamaño de los pesos. Las velocidades reales son más bajas por el cálculo, los sobrecostes y la caché, pero este límite muestra por qué el ancho de banda importa más que la potencia de cálculo bruta en la generación.

¿Te ha resultado útil esta calculadora?

¡Gracias por tu opinión!

Resultados orientativos con fines informativos. No sustituyen el consejo de un profesional.