Saltar al contenido
Omnikalc

Calculadora de softmax con temperatura

Introduce cuatro logits y una temperatura para obtener las probabilidades del softmax, la entropía en bits y el número de opciones efectivas, como al elegir la palabra siguiente en un modelo de lenguaje.

Actualizado el
Tus datos

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Valor fuera de rango

Resultados

Probabilidad de la opción 1

63,81 %

Probabilidad de la opción 2
23,47 %
Probabilidad de la opción 3
9,54 %
Probabilidad de la opción 4
3,18 %
Entropía de la distribución
1,386 bits
Número de opciones efectivas
2,61
Varias opciones siguen siendo plausibles

La calculadora de softmax con temperatura convierte cuatro logits en probabilidades, y da la entropía y el número de opciones efectivas, para ver cómo la temperatura endurece o aplana una distribución.

Cómo se hace el cálculo

  • Introduce los cuatro logits.
  • Introduce la temperatura.
  • La calculadora da las cuatro probabilidades, la entropía en bits y el número de opciones efectivas.

Ejemplo

Los logits 2, 1, 0,1 y −1 a la temperatura 1 dan exponenciales de 7,39, 2,72, 1,11 y 0,37, de suma 11,58. Las probabilidades son 63,81 %, 23,47 %, 9,54 % y 3,18 %. La entropía es de 1,386 bits, igual a 2,61 opciones igualmente probables. Bajar la temperatura a 0,5 da a la primera opción una parte mucho mayor.

Por qué es útil

La calculadora ayuda a estudiantes de aprendizaje automático, a desarrolladores que ajustan el muestreo de un modelo de lenguaje y a quien quiera entender cómo las puntuaciones se convierten en probabilidades. Es un contenido habitual en las asignaturas de aprendizaje automático y de redes neuronales de los grados de Informática y de Ciencia de Datos.

Conviene saber

En los modelos de lenguaje, la temperatura se aplica a los logits antes del sorteo. Valores en torno a 0,2 dan un texto centrado y reproducible, en torno a 1 un texto variado, y por encima de 1,5 la salida se vuelve errática. Métodos como el muestreo de los k mejores y el muestreo por núcleo recortan la cola de la distribución antes del sorteo. El softmax es también la capa de salida de los clasificadores, donde se asocia a la entropía cruzada. No es una probabilidad calibrada por sí mismo: un modelo puede estar demasiado seguro de sí, y una temperatura ajustada con datos de validación es un remedio clásico. El número de opciones efectivas, la exponencial de la entropía, es la perplejidad de la distribución. Con logits iguales, vale el número de opciones, aquí 4.

Herramientas relacionadas

La calculadora de entropía de Shannon explica esta medida, la de probabilidad de la regresión logística cubre el caso de dos clases, la de memoria de los modelos de lenguaje dimensiona los modelos y la de probabilidad trata las probabilidades sencillas.

Preguntas frecuentes

¿Qué hace el softmax?

Transforma cualquier lista de puntuaciones, los logits, en probabilidades positivas cuya suma vale 1. Cada probabilidad es exp(z / T) dividido entre la suma de esos valores para todas las opciones, así que un logit más alto recibe siempre una probabilidad más alta.

¿Cómo cambia la temperatura el resultado?

Una temperatura baja endurece la distribución: la mejor opción recibe casi toda la probabilidad y la salida se vuelve más predecible. Una temperatura alta la aplana hacia probabilidades iguales. Con T = 1 los logits se usan tal cual, y cuando T tiende a 0 la elección se convierte en un simple máximo.

¿Por qué se resta el máximo?

Restar el valor mayor antes de la exponencial no cambia las probabilidades, ya que se cancela en el cociente, pero evita el desbordamiento cuando los logits son grandes. Esta calculadora lo hace, como la mayoría de las bibliotecas.

¿Te ha resultado útil esta calculadora?

¡Gracias por tu opinión!

Resultados orientativos con fines informativos. No sustituyen el consejo de un profesional.