Contador de Tokens IA

La ventana de contexto es el número máximo de tokens que un modelo de IA puede procesar en una sola interacción, incluyendo tanto tu entrada (prompt + historial de conversación + documentos) como la salida del modelo. Límites comunes: GPT-4o admite 128K tokens, Claude 3.5 Sonnet admite 200K tokens, Gemini 1.5 Flash admite 1M tokens. Si tu entrada excede la ventana de contexto, la API devuelve un error. Para conversaciones largas o análisis de documentos, el seguimiento del uso de tokens evita alcanzar estos límites inesperadamente. Esta herramienta muestra cuántos tokens usa tu texto para que puedas planificar en consecuencia.

El contador utiliza un algoritmo de aproximación de estilo BPE (Byte Pair Encoding) que imita de cerca cómo funcionan los tokenizadores de los principales modelos. Los resultados suelen estar dentro del 1-5% del recuento exacto de los tokenizadores oficiales. Para cuentas precisas, usa la biblioteca tiktoken de OpenAI (para modelos GPT) o el método endpoint/SDK de tokenize para Claude. Para fines de estimación de costos y planificación de ventana de contexto, esta aproximación es lo suficientemente fiable para la toma de decisiones.

Las API de modelos de IA cobran por separado por los tokens de entrada (todo lo que envías al modelo: prompt del sistema, historial de conversación, documentos, mensaje del usuario) y los tokens de salida (la respuesta del modelo). Los tokens de salida suelen ser de 2 a 5 veces más caros que los de entrada. Por ejemplo, GPT-4o cobra aproximadamente $2.50 por millón de tokens de entrada y $10 por millón de tokens de salida. Esto es importante para la optimización: reducir la longitud del prompt del sistema (entrada) tiene un efecto multiplicador en cada llamada a la API, mientras que generar respuestas más cortas (salida) ahorra los tokens más costosos.

Estrategias clave: acorta tu prompt del sistema (se envía con cada llamada a la API, por lo que cada token ahorrado se multiplica en todas las llamadas); resume el historial de conversaciones largas en lugar de enviar la transcripción completa; usa fragmentación (chunking) para documentos grandes (divídelos y procésalos por separado); elimina ejemplos redundantes de los prompts few-shot; utiliza prompts más específicos que requieran menos seguimientos aclaratorios; y elige un modelo con menor costo para tareas más simples (GPT-4o mini o Claude Haiku son 10-20 veces más baratos que sus contrapartes insignia).

Cada familia de modelos utiliza un tokenizador diferente entrenado en datos diferentes con diferentes tamaños de vocabulario. Los modelos GPT usan tiktoken con cl100k_base (para GPT-4) o o200k_base (para GPT-4o). Claude usa su propio tokenizador. Llama 3 usa un vocabulario diferente. La misma frase en inglés podría producir 100 tokens en un tokenizador y 95 en otro. El código, las URLs y el texto que no es inglés tienden a mostrar diferencias más grandes entre tokenizadores. Esta herramienta proporciona una aproximación razonable para todos los modelos compatibles.

El texto en inglés se beneficia de una tokenización altamente optimizada porque los datos de entrenamiento estaban predominantemente en inglés. El texto que no es inglés, especialmente los sistemas de escritura no latinos como el chino, japonés, árabe y coreano, generalmente requiere más tokens por carácter porque el vocabulario cubre menos combinaciones. Un carácter chino podría ser su propio token o dividirse en múltiples tokens de bytes UTF-8. En la práctica, esto significa que los prompts que no son en inglés cuestan entre 2 y 4 veces más por carácter que los prompts equivalentes en inglés. Esta es una limitación conocida de la tokenización actual que los proveedores de modelos están trabajando activamente para solucionar.

No. Todo el conteo de tokens y el cálculo de costos ocurren completamente en tu navegador usando JavaScript. Tus prompts, documentos y texto de conversación nunca salen de tu dispositivo. Puedes contar tokens con seguridad para prompts de negocios confidenciales, contenido propietario o cualquier cosa que no quieras compartir externamente.