Un LLM (Large Language Model o modelo de lenguaje grande) es una IA entrenada con enormes cantidades de texto (libros, artículos, webs, código…) para aprender patrones del lenguaje.
Cómo funciona
1. Muy sencillo. Se entrena leyendo muchísimos textos y aprendiendo a predecir la siguiente “pieza” de texto (un token, que puede ser una palabra o parte de una palabra).
2. Cuando lo usas, le das un texto (contexto) y el modelo calcula cuál sería el siguiente token más probable.
3. Va añadiendo tokens uno tras otro, y así genera frases y respuestas.
Ejemplo: si ve “La tierra es…”, suele predecir que “redonda” es una buena continuación porque lo ha visto muchísimas veces en su entrenamiento.
Un token es una pieza pequeñita de texto que el modelo usa como “bloques” para leer y escribir.
- A veces un token es una palabra completa: cielo
- A veces es parte de una palabra: im- posi- ble
- A veces es un signo o un espacio: , .
Los LLMs funcionan prediciendo el siguiente token (la siguiente pieza) una y otra vez, hasta formar la respuesta.
Calculadora de token para LLMs
Lo de “1 token ≈ 4 caracteres” es una regla aproximada (sobre todo para inglés). 1 token suele ser ~4 caracteres.
Por eso dicen: 100 tokens ≈ 75 palabras (aprox.).
En español puede variar un poco (palabras más largas, tildes, etc.).
https://platform.openai.com/tokenizer
Por qué importa esto
- Porque los modelos tienen un límite de tokens (lo que “cabe” en el contexto).
- Y en APIs, muchas veces el coste y el tamaño se calculan en tokens.