Contatore Token IA

La context window è il numero massimo di token che un modello AI può elaborare in una singola interazione — inclusi sia il tuo input (prompt + cronologia della conversazione + documenti) che l'output del modello. Limiti comuni: GPT-4o supporta 128K token, Claude 3.5 Sonnet supporta 200K token, Gemini 1.5 Flash supporta 1M token. Se il tuo input supera la context window, l'API restituisce un errore. Per conversazioni lunghe o analisi di documenti, monitorare l'utilizzo dei token evita di superare questi limiti inaspettatamente. Questo strumento mostra quanti token utilizza il tuo testo, così puoi pianificare di conseguenza.

Il contatore utilizza un algoritmo di approssimazione in stile BPE (Byte Pair Encoding) che imita da vicino il funzionamento dei principali tokenizer dei modelli. I risultati sono generalmente entro l'1-5% della conta esatta dei tokenizer ufficiali. Per conteggi precisi, usa la libreria tiktoken di OpenAI (per i modelli GPT) o il metodo endpoint/SDK di tokenize per Claude. Per scopi di stima dei costi e pianificazione della context window, questa approssimazione è sufficientemente affidabile per il processo decisionale.

Le API dei modelli AI addebitano separatamente per i token di input (tutto ciò che invii al modello: system prompt, cronologia della conversazione, documenti, messaggio dell'utente) e per i token di output (la risposta del modello). I token di output sono tipicamente 2-5 volte più costosi dei token di input. Ad esempio, GPT-4o addebita circa $2.50 per milione di token di input e $10 per milione di token di output. Questo è importante per l'ottimizzazione: ridurre la lunghezza del system prompt (input) ha un effetto moltiplicatore su ogni chiamata API, mentre generare risposte più brevi (output) risparmia i token più costosi.

Strategie chiave: accorcia il tuo system prompt (viene inviato con ogni chiamata API, quindi ogni token risparmiato si moltiplica su tutte le chiamate); riassumi la cronologia delle conversazioni lunghe invece di inviare la trascrizione completa; usa il chunking per documenti grandi (dividi e processa separatamente); rimuovi esempi ridondanti dai few-shot prompt; usa prompt più specifici che richiedano meno follow-up di chiarimento; e scegli un modello con costi inferiori per compiti semplici (GPT-4o mini o Claude Haiku sono 10-20 volte più economici rispetto alle loro controparti flagship).

Ogni famiglia di modelli utilizza un tokenizer diverso addestrato su dati diversi con diverse dimensioni di vocabolario. I modelli GPT usano tiktoken con cl100k_base (per GPT-4) o o200k_base (per GPT-4o). Claude usa il proprio tokenizer. Llama 3 usa un vocabolario diverso. La stessa frase in inglese potrebbe produrre 100 token in un tokenizer e 95 in un altro. Il codice, gli URL e il testo non in inglese tendono a mostrare differenze maggiori tra i tokenizer. Questo strumento fornisce una ragionevole approssimazione per tutti i modelli supportati.

Il testo in inglese beneficia di una tokenizzazione altamente ottimizzata perché i dati di addestramento erano prevalentemente in inglese. Il testo non in inglese, specialmente gli script non latini come cinese, giapponese, arabo e coreano, richiede tipicamente più token per carattere perché il vocabolario copre meno combinazioni. Un carattere cinese potrebbe essere un token a sé stante o suddiviso in più token byte UTF-8. In pratica, questo significa che i prompt non in inglese sono 2-4 volte più costosi per carattere rispetto ai prompt equivalenti in inglese. Questa è una limitazione nota della tokenizzazione attuale che i fornitori di modelli stanno cercando attivamente di risolvere.

No. Tutto il conteggio dei token e il calcolo dei costi avvengono interamente nel tuo browser utilizzando JavaScript. I tuoi prompt, documenti e testi della conversazione non lasciano mai il tuo dispositivo. Puoi contare in sicurezza i token per prompt aziendali sensibili, contenuti proprietari o qualsiasi cosa tu non voglia condividere esternamente.