La calculadora de softmax con temperatura convierte cuatro logits en probabilidades, y da la entropía y el número de opciones efectivas, para ver cómo la temperatura endurece o aplana una distribución.
Cómo se hace el cálculo
- Introduce los cuatro logits.
- Introduce la temperatura.
- La calculadora da las cuatro probabilidades, la entropía en bits y el número de opciones efectivas.
Ejemplo
Los logits 2, 1, 0,1 y −1 a la temperatura 1 dan exponenciales de 7,39, 2,72, 1,11 y 0,37, de suma 11,58. Las probabilidades son 63,81 %, 23,47 %, 9,54 % y 3,18 %. La entropía es de 1,386 bits, igual a 2,61 opciones igualmente probables. Bajar la temperatura a 0,5 da a la primera opción una parte mucho mayor.
Por qué es útil
La calculadora ayuda a estudiantes de aprendizaje automático, a desarrolladores que ajustan el muestreo de un modelo de lenguaje y a quien quiera entender cómo las puntuaciones se convierten en probabilidades. Es un contenido habitual en las asignaturas de aprendizaje automático y de redes neuronales de los grados de Informática y de Ciencia de Datos.
Conviene saber
En los modelos de lenguaje, la temperatura se aplica a los logits antes del sorteo. Valores en torno a 0,2 dan un texto centrado y reproducible, en torno a 1 un texto variado, y por encima de 1,5 la salida se vuelve errática. Métodos como el muestreo de los k mejores y el muestreo por núcleo recortan la cola de la distribución antes del sorteo. El softmax es también la capa de salida de los clasificadores, donde se asocia a la entropía cruzada. No es una probabilidad calibrada por sí mismo: un modelo puede estar demasiado seguro de sí, y una temperatura ajustada con datos de validación es un remedio clásico. El número de opciones efectivas, la exponencial de la entropía, es la perplejidad de la distribución. Con logits iguales, vale el número de opciones, aquí 4.
Herramientas relacionadas
La calculadora de entropía de Shannon explica esta medida, la de probabilidad de la regresión logística cubre el caso de dos clases, la de memoria de los modelos de lenguaje dimensiona los modelos y la de probabilidad trata las probabilidades sencillas.