Saltar al contenido
Omnikalc

Calculadora del tamaño de una tabla de incrustaciones

Introduce el tamaño del vocabulario, la dimensión de las incrustaciones, la longitud del contexto y la precisión para obtener los parámetros y la memoria de las tablas de tokens y de posiciones y su parte dentro del modelo.

Actualizado el
Tus datos
tokens

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

millones de parámetros

Valor fuera de rango

Resultados

Parámetros de la tabla o tablas de tokens

38.597.376

Memoria de la tabla o tablas de tokens
154,4 MB
Parámetros de la tabla de posiciones
786.432
Parámetros de incrustación en total
39.383.808
Parte del modelo completo
31,8 %
Las incrustaciones son una parte menor del modelo
Memoria por token (una fila)
3072 bytes

La calculadora del tamaño de una tabla de incrustaciones da los parámetros y la memoria de la tabla de incrustaciones de tokens de un modelo de lenguaje, junto con la tabla de posiciones y la parte del modelo completo.

Cómo se hace el cálculo

  • Introduce el tamaño del vocabulario, la dimensión de las incrustaciones y la longitud del contexto.
  • Elige la precisión y si la capa de salida está ligada a la tabla.
  • Introduce el tamaño total del modelo.
  • La calculadora da los parámetros y la memoria de la tabla de tokens, los parámetros de posiciones, el total y la parte del modelo.

Ejemplo

Un vocabulario de 50.257 tokens con 768 dimensiones tiene 50.257 × 768 = 38.597.376 parámetros, es decir, 154,4 MB en 32 bits. Una tabla de posiciones para 1024 posiciones añade 786.432 parámetros. Las incrustaciones suman 39.383.808, el 31,8 % de un modelo de 124 millones de parámetros. Cada token cuesta 3072 bytes.

Por qué es útil

La calculadora ayuda a estudiantes de aprendizaje automático, a ingenieros que entrenan o comprimen modelos de lenguaje pequeños y a todo el que quiera saber por qué el tamaño del vocabulario influye en el tamaño del modelo.

Qué tener en cuenta

En los modelos pequeños, la tabla de incrustaciones supone una parte grande de los parámetros, lo que explica el uso de técnicas como la ligadura de pesos, las incrustaciones factorizadas o los vocabularios reducidos. Los modelos con posiciones rotatorias no tienen tabla de posiciones aprendida, así que pon la longitud del contexto a 0 para ellos. Los modelos multilingües necesitan vocabularios grandes para cubrir los sistemas de escritura, lo que lleva la tabla a cientos de millones de parámetros. Cuantizar la tabla es posible, pero afecta más a los tokens poco frecuentes. En un dispositivo con poca memoria, la tabla a veces puede quedarse en el almacenamiento y leerse fila a fila, ya que solo se usan unas pocas filas por token. La memoria indicada se refiere solo a los pesos.

Herramientas relacionadas

La calculadora del número de parámetros de una red neuronal trata las capas densas, la de memoria de los modelos de lenguaje grandes dimensiona modelos completos, la de razón tipo-token mide la riqueza del vocabulario y la de entropía de Shannon mide la información de un texto.

Preguntas frecuentes

¿Qué tamaño tiene una tabla de incrustaciones?

Tiene una fila por token del vocabulario y una columna por dimensión, es decir, vocabulario × dimensión parámetros. Un vocabulario de 50.257 tokens con 768 dimensiones da 38,6 millones de parámetros, unos 154 MB en 32 bits.

¿Qué significa ligar la capa de salida?

La matriz que transforma el estado oculto final en una puntuación para cada token tiene la misma forma que la tabla de incrustaciones. Muchos modelos reutilizan los mismos pesos para ambas, lo que ahorra vocabulario × dimensión parámetros. Elige separada para contar las dos matrices.

¿Por qué importa el tamaño del vocabulario?

Un vocabulario mayor acorta las secuencias, porque las palabras frecuentes pasan a ser un solo token, pero agranda la tabla y deja mal entrenados los tokens poco frecuentes. En los modelos pequeños, la tabla puede suponer un tercio o más de todos los parámetros.

¿Te ha resultado útil esta calculadora?

¡Gracias por tu opinión!

Resultados orientativos con fines informativos. No sustituyen el consejo de un profesional.