Ejecutar un modelo de lenguaje en tu propia GPU empieza con una pregunta: ¿cabe? La calculadora de memoria de un LLM toma el tamaño del modelo, la precisión, la longitud del contexto, las capas, el tamaño oculto, la proporción KV, el número de secuencias, el sobrecoste y el ancho de banda de memoria, y da la memoria total necesaria, la memoria de los pesos y de la caché KV, un límite superior de velocidad y la caché por token.
Cómo se hace el cálculo
- Introduce el número de parámetros en miles de millones y elige la precisión de los pesos. Un modelo en 16 bits ocupa 2 bytes por parámetro, y un modelo cuantizado en 4 bits, medio byte.
- Introduce la longitud del contexto, el número de capas, el tamaño oculto y la proporción de cabezas KV. Figuran en la ficha del modelo, y 1 significa atención completa.
- Los pesos ocupan parámetros × bytes. La caché de clave-valor ocupa 2 × capas × tamaño oculto × proporción KV × 2 bytes × tokens × secuencias, y se mantiene en 16 bits.
- La calculadora añade un sobrecoste para las activaciones y la ejecución, y da un límite superior de velocidad de generación, igual al ancho de banda de memoria dividido por el tamaño de los pesos, ya que cada token debe leer todos los pesos.
Ejemplo
Un modelo de 7000 millones de parámetros en 16 bits necesita 7 × 2 = 14 GB para los pesos. Con 32 capas, un tamaño oculto de 4096 y atención completa, cada token añade 2 × 32 × 4096 × 2 bytes = 0,524 MB a la caché, así que 8192 tokens ocupan 4,29 GB. Con un sobrecoste del 10 %, el total es (14 + 4,29) × 1,1 = 20,1 GB, lo que cabe en una tarjeta de 24 GB. En una GPU de 1008 GB/s, la velocidad no puede superar 1008 ÷ 14 = 72 tokens por segundo. En 4 bits, los pesos bajan a 3,5 GB.
Por qué es útil
La memoria es el primer límite al ejecutar o ajustar un modelo en local, y decide si un modelo necesita una sola tarjeta gráfica, dos tarjetas o un servidor. Un cálculo rápido antes de descargar decenas de gigabytes ahorra tiempo, y muestra el efecto de la cuantización y de la longitud del contexto en el presupuesto.
Conviene saber
La estimación solo cubre la inferencia. El entrenamiento y el ajuste fino necesitan mucha más memoria para los gradientes y los estados del optimizador. Los entornos de ejecución reales difieren en sus sobrecostes, y algunos usan cachés paginadas u otras disposiciones. Toma el resultado como una primera estimación y deja un margen de unos cuantos gigabytes. Los tamaños usan GB de 10⁹ bytes, como los fabricantes de tarjetas.
Herramientas relacionadas
La calculadora del coste de almacenamiento en la nube valora los archivos, la del coste de un servidor doméstico cubre una máquina en casa, la de capacidad de un servidor dimensiona las cargas de peticiones, y la de rentabilidad de la minería de bitcoin compara otro uso de las GPU.