¿Qué son los tokens?
Los modelos no ven palabras. Ven tokens, los fragmentos en los que se miden los precios, los límites de contexto y la velocidad.
La versión corta
- → Un token es un trozo de texto, a menudo un fragmento de palabra o una palabra común.
- → Una regla aproximada para el inglés: un token son unos cuatro caracteres, o tres cuartos de palabra.
- → Los tokens son la unidad de los precios, de los límites de contexto y de la velocidad a la que llegan las respuestas.
Los modelos de lenguaje no procesan palabras enteras ni letras sueltas. Dividen el texto en tokens, trozos que suelen ser parte de una palabra, una palabra corta entera o un signo de puntuación. La palabra inglesa «unbelievable» podría quedar en «un», «bel», «iev», «able».
Parece un detalle técnico, pero es la unidad con la que se mide todo lo demás. El coste, los límites de contexto y la velocidad se cuentan en tokens, no en palabras.
Por qué dividir en tokens
Un vocabulario fijo de palabras completas sería enorme y aun así se perdería las palabras nuevas o poco comunes. Dividir en fragmentos frecuentes mantiene el vocabulario manejable y permite al modelo construir cualquier palabra a partir de piezas, incluso las que nunca ha visto. Es un término medio práctico entre las letras y las palabras enteras.
Las equivalencias aproximadas
En inglés, un token tiene de media unos cuatro caracteres, y 100 tokens son unas 75 palabras. Así que una página de texto ronda los 500 tokens, y un documento largo puede tener miles. El código, otros idiomas y los formatos poco habituales se dividen de otra manera, a veces de forma mucho menos eficiente.
Por qué se cobra por tokens
Cada token, en tu prompt y en la respuesta, tiene que procesarse por toda la red, así que los tokens se traducen directamente en computación. Por eso los proveedores cobran por token y cuentan en los dos sentidos. Una conversación larga cuesta más porque en cada turno se vuelve a procesar toda la conversación como contexto.
Los tokens marcan los límites
La ventana de contexto, lo máximo que el modelo puede tener en cuenta a la vez, se mide en tokens. La velocidad de generación se suele dar en tokens por segundo. En cuanto piensas en tokens, los precios, los límites y el ritmo del modelo encajan.
Una analogía
Piensa en los tokens como las sílabas con las que lee y habla un modelo. No capta palabras enteras de un vistazo ni deletrea letra a letra. Trabaja con estos trozos intermedios, y los cuenta todo el rato.
Dónde encaja Berges AI
Nunca tienes que contar tokens para usar Berges AI, pero explican lo que notas: por qué un mensaje tiene un límite de 4.000 caracteres y por qué un prompt conciso recibe una respuesta más rápida. Quitar el relleno es bueno para ti y para el modelo.
Conceptos relacionados
¿Qué es un LLM?
El tipo de IA que hay detrás de los asistentes de chat, explicado sin jerga: qué es, cómo produce texto y dónde se queda corto. Leer →
Lo que nos suelen preguntar
¿Cuántas palabras es un token?
De media, en inglés un token son unos tres cuartos de palabra, o unos cuatro caracteres. Así que 1.000 tokens son unas 750 palabras. Varía según el texto concreto.
¿Los espacios y los signos de puntuación cuentan como tokens?
Sí. Los espacios suelen ir pegados a la palabra que sigue, y los signos de puntuación suelen ser tokens propios. Todo lo que hay en el texto suma.
¿Por qué el mismo texto cuesta más en otro idioma?
Los tokenizadores suelen estar optimizados para el inglés. Otros idiomas y alfabetos pueden dividirse en más tokens por palabra, así que el mismo significado gasta más tokens, y por tanto más dinero y más contexto.