La calculadora del tamaño de una tabla de incrustaciones da los parámetros y la memoria de la tabla de incrustaciones de tokens de un modelo de lenguaje, junto con la tabla de posiciones y la parte del modelo completo.
Cómo se hace el cálculo
- Introduce el tamaño del vocabulario, la dimensión de las incrustaciones y la longitud del contexto.
- Elige la precisión y si la capa de salida está ligada a la tabla.
- Introduce el tamaño total del modelo.
- La calculadora da los parámetros y la memoria de la tabla de tokens, los parámetros de posiciones, el total y la parte del modelo.
Ejemplo
Un vocabulario de 50.257 tokens con 768 dimensiones tiene 50.257 × 768 = 38.597.376 parámetros, es decir, 154,4 MB en 32 bits. Una tabla de posiciones para 1024 posiciones añade 786.432 parámetros. Las incrustaciones suman 39.383.808, el 31,8 % de un modelo de 124 millones de parámetros. Cada token cuesta 3072 bytes.
Por qué es útil
La calculadora ayuda a estudiantes de aprendizaje automático, a ingenieros que entrenan o comprimen modelos de lenguaje pequeños y a todo el que quiera saber por qué el tamaño del vocabulario influye en el tamaño del modelo.
Qué tener en cuenta
En los modelos pequeños, la tabla de incrustaciones supone una parte grande de los parámetros, lo que explica el uso de técnicas como la ligadura de pesos, las incrustaciones factorizadas o los vocabularios reducidos. Los modelos con posiciones rotatorias no tienen tabla de posiciones aprendida, así que pon la longitud del contexto a 0 para ellos. Los modelos multilingües necesitan vocabularios grandes para cubrir los sistemas de escritura, lo que lleva la tabla a cientos de millones de parámetros. Cuantizar la tabla es posible, pero afecta más a los tokens poco frecuentes. En un dispositivo con poca memoria, la tabla a veces puede quedarse en el almacenamiento y leerse fila a fila, ya que solo se usan unas pocas filas por token. La memoria indicada se refiere solo a los pesos.
Herramientas relacionadas
La calculadora del número de parámetros de una red neuronal trata las capas densas, la de memoria de los modelos de lenguaje grandes dimensiona modelos completos, la de razón tipo-token mide la riqueza del vocabulario y la de entropía de Shannon mide la información de un texto.