AI Token Sayaç

Context window, bir AI modelinin tek bir etkileşimde işleyebileceği maksimum token sayısıdır; bu hem sizin girdinizi (prompt + konuşma geçmişi + dokümanlar) hem de modelin çıktısını içerir. Yaygın sınırlar: GPT-4o 128K token destekler, Claude 3.5 Sonnet 200K token destekler, Gemini 1.5 Flash 1M token destekler. Girdiniz context window'u aşarsa, API bir hata döndürür. Uzun konuşmalar veya doküman analizi için token kullanımını takip etmek, bu sınırlara beklenmedik şekilde takılmanızı önler. Bu araç, metninizin kaç token kullandığını göstererek buna göre planlama yapmanızı sağlar.

Sayaç, ana model tokenizer'larının çalışma şeklini yakından taklit eden BPE-style (Byte Pair Encoding) yaklaşık algoritmasını kullanır. Sonuçlar genellikle resmi tokenizer'lardan alınan kesin sayının %1-5 içerisindedir. Kesin sayılar için OpenAI'ın tiktoken kütüphanesini (GPT modelleri için) veya Claude için tokenize endpoint/SDK yöntemini kullanın. Maliyet tahmini ve context window planlama amaçları için bu yaklaşım, karar verme için yeterince güvenilirdir.

AI model API'leri girdi token'leri (modele gönderdiğiniz her şey: sistem prompt'u, konuşma geçmişi, dokümanlar, kullanıcı mesajı) ve çıktı token'leri (modelin yanıtı) için ayrı ayrı ücret alır. Çıktı token'leri genellikle girdi token'lerinden 2-5 kat daha pahalıdır. Örneğin, GPT-4o her milyon girdi token'i için yaklaşık $2.50, her milyon çıktı token'i için ise $10 ücret alır. Bu durum optimizasyon için önemlidir: sistem prompt'u uzunluğunu azaltmak (girdi), her API çağrısında çarpan etkisi yaratırken, daha kısa yanıtlar üretmek (çıktı) en pahalı token'lerden tasarruf sağlar.

Temel stratejiler: sistem prompt'unuzu kısaltın (her API çağrısıyla birlikte gönderilir, bu yüzden kaydedilen her token tüm çağrılarda katlanır); tam dökümü göndermek yerine uzun konuşma geçmişini özetleyin; büyük dokümanlar için chunking kullanın (ayrı ayrı bölün ve işleyin); few-shot prompt'larından gereksiz örnekleri çıkarın; daha az açıklayıcı takip işlemi gerektiren daha spesifik prompt'lar kullanın; ve basit görevler için daha düşük maliyetli bir model seçin (GPT-4o mini veya Claude Haiku, kendi amiral gemisi modellerinden 10-20 kat daha ucuzdur).

Her model ailesi, farklı veri setleri üzerinde eğitilmiş ve farklı sözcük dairelerine (vocabulary sizes) sahip farklı bir tokenizer kullanır. GPT modelleri cl100k_base (GPT-4 için) veya o200k_base (GPT-4o için) ile tiktoken kullanır. Claude kendi tokenizer'ını kullanır. Llama 3 farklı bir sözcük dairesi kullanır. Aynı İngilizce cümle, bir tokenizer'da 100 token, diğerinde 95 token üretebilir. Kodlar, URL'ler ve İngilizce dışındaki metinler arasında tokenizer'lar arası daha büyük farklar gösterme eğilimindedir. Bu araç, desteklenen tüm modeller için makul bir yaklaşım sağlar.

İngilizce metinler, eğitim verileri İngilizce ağırlıklı olduğu için yüksek derecede optimize edilmiş tokenization'dan faydalanır. İngilizce dışındaki metinler, özellikle Çince, Japonca, Arapça ve Korece gibi Latin dışı alfabeler, sözcük dairesi daha az kombinasyonu kapsadığı için genellikle karakter başına daha fazla token gerektirir. Bir Çince karakter kendi başına bir token olabilir veya birden fazla UTF-8 byte token'ine bölünebilir. Pratik olarak bu, İngilizce dışındaki prompt'ların eşdeğer İngilizce prompt'lara göre karakter başına 2-4 kat daha pahalı olduğu anlamına gelir. Bu, model sağlayıcılarının aktif olarak çözmek için çalıştığı mevcut tokenization'ın bilinen bir sınırıdır.

Hayır. Tüm token sayımı ve maliyet hesaplaması tamamen tarayıcınızda JavaScript kullanarak gerçekleşir. Prompt'larınız, dokümanlarınız ve konuşma metinleriniz cihazınızdan asla ayrılmaz. Hassas iş prompt'ları, tescilli içerikler veya dışarıyla paylaşmak istemeyeceğiniz herhangi bir şey için güvenle token sayabilirsiniz.