Unas pocas palabras, como de, la y que, llenan la mayor parte de los textos, mientras que la mayoría de las palabras solo aparecen una o dos veces. La calculadora de la ley de Zipf toma el tamaño del vocabulario, la longitud del texto, el exponente de Zipf y un rango, y da la proporción del texto de la palabra de ese rango, su número esperado de apariciones, la proporción cubierta por las palabras más frecuentes y la razón respecto a la palabra más frecuente.
Cómo se hace el cálculo
- Introduce el tamaño del vocabulario, es decir, el número de palabras distintas, el número total de palabras del texto y el exponente de Zipf, próximo a 1 para la mayoría de las lenguas.
- Introduce el rango de la palabra, donde 1 es la palabra más frecuente, 2 la siguiente, y así sucesivamente.
- La ley de Zipf dice que la frecuencia de la palabra de rango r es proporcional a 1 / r^s. La calculadora divide entre la suma de 1 / k^s sobre todo el vocabulario para obtener una proporción.
- Lee la proporción del texto de esa palabra, su número esperado de apariciones, la proporción acumulada de las palabras hasta ese rango y la razón respecto a la palabra más frecuente.
Ejemplo
Un texto de 500.000 palabras tiene un vocabulario de 30.000 palabras y un exponente de Zipf de 1,1. La suma de normalización vale aproximadamente 7,01. La palabra de rango 50 ocupa 1 / (50^1,1 × 7,01) = 0,193 % del texto, es decir, unas 964 apariciones. Las 50 primeras palabras cubren juntas aproximadamente el 54,5 % del texto, y la primera palabra es 73,9 veces más frecuente que la palabra de rango 50.
Por qué es útil
La ley de Zipf explica por qué funcionan las listas de palabras. Ayuda a quienes aprenden idiomas a decidir cuántas palabras dan una cobertura determinada, ayuda a dimensionar los índices de búsqueda, los diccionarios de teclado y los modelos de compresión, y aparece en el tamaño de las ciudades, el tráfico web y muchas otras series ordenadas. La calculadora da una expectativa para comparar con los recuentos reales.
Qué conviene saber
La ley ideal es una primera aproximación. Las tablas de frecuencias reales se curvan en ambos extremos, el exponente depende de la lengua y del género del texto, y las palabras raras siguen otras leyes. La suma aproximada es la menos precisa para vocabularios muy pequeños o exponentes grandes. Toma las cifras como valores típicos y no como recuentos exactos.
Herramientas relacionadas
La calculadora de objetivo de vocabulario planifica cuántas palabras aprender, la de tiempo de lectura estima la duración de un texto, la de índice de legibilidad puntúa la dificultad de un texto, y la de la ley de Pareto cubre una ley vecina de cola pesada.