Pembilang Token AI

Tetingkap konteks adalah jumlah maksimum token yang boleh diproses oleh model AI dalam satu interaksi — termasuk input anda (prompt + sejarah perbualan + dokumen) dan output model. Had biasa: GPT-4o menyokong 128K token, Claude 3.5 Sonnet menyokong 200K token, Gemini 1.5 Flash menyokong 1M token. Jika input anda melebihi tetingkap konteks, API akan mengembalikan ralat. Untuk perbualan panjang atau analisis dokumen, menjejaki penggunaan token menghalang anda daripada terkena had ini secara tidak sengaja. Alat ini menunjukkan berapa banyak token yang digunakan oleh teks anda supaya anda boleh merancang dengan sewajarnya.

Pengira ini menggunakan algoritma anggaran gaya BPE (Byte Pair Encoding) yang meniru dengan rapat cara kerja tokenizer model utama. Keputusannya biasanya dalam julat 1-5% daripada kiraan tepat daripada tokenizer rasmi. Untuk kiraan tepat, gunakan pustaka tiktoken OpenAI (untuk model GPT), atau kaedah endpoint/SDK tokenize untuk Claude. Untuk tujuan anggaran kos dan perancangan tetingkap konteks, anggaran ini cukup dipercayai untuk pembuatan keputusan.

API model AI mengenakan caj berasingan untuk token input (semuanya yang anda hantar ke model: sistem prompt, sejarah perbualan, dokumen, mesej pengguna) dan token output (respon model). Token output biasanya 2-5 kali lebih mahal daripada token input. Sebagai contoh, GPT-4o mengenakan caj kira-kira $2.50 setiap satu juta token input dan $10 setiap satu juta token output. Ini penting untuk pengoptimuman: mengurangkan panjang sistem prompt (input) mempunyai kesan pengganda merentasi setiap panggilan API, manakala menjana respon yang lebih pendek (output) menjimatkan token yang paling mahal.

Strategi utama: pendekkan sistem prompt anda (ia dihantar dengan setiap panggilan API, jadi setiap token yang dijimatkan akan berganda merentasi semua panggilan); ringkaskan sejarah perbualan panjang dan bukannya menghantar transkrip penuh; gunakan chunking untuk dokumen besar (bahagikan dan proses secara berasingan); buang contoh yang tidak perlu daripada prompt few-shot; gunakan prompt yang lebih spesifik yang memerlukan kurang tindakan susulan penjelasan; dan pilih model dengan kos lebih rendah untuk tugasan mudah (GPT-4o mini atau Claude Haiku adalah 10-20 kali ganda lebih murah daripada rakan sekelas flagship mereka).

Setiap keluarga model menggunakan tokenizer yang berbeza yang dilatih pada data yang berbeza dengan saiz kosa kata yang berbeza. Model GPT menggunakan tiktoken dengan cl100k_base (untuk GPT-4) atau o200k_base (untuk GPT-4o). Claude menggunakan tokenizer miliknya sendiri. Llama 3 menggunakan kosa kata yang berbeza. Ayat bahasa Inggeris yang sama mungkin menghasilkan 100 token dalam satu tokenizer dan 95 dalam yang lain. Kod, URL, dan teks bukan bahasa Inggeris cenderung menunjukkan perbezaan yang lebih besar antara tokenizer. Alat ini menyediakan anggaran yang munasabah merentasi semua model yang disokong.

Teks bahasa Inggeris mendapat manfaat daripada tokenisasi yang sangat optimum kerana data latihan adalah sebahagian besar bahasa Inggeris. Teks bukan bahasa Inggeris, terutamanya skrip bukan Latin seperti Cina, Jepun, Arab, dan Korea, biasanya memerlukan lebih banyak token per aksara kerana kosa kata merangkumi kurang kombinasi. Satu aksara Cina mungkin menjadi token tersendiri atau dibahagikan kepada beberapa token bait UTF-8. Secara praktikal, ini bermakannya prompt bukan bahasa Inggeris adalah 2-4 kali ganda lebih mahal per aksara berbanding prompt bahasa Inggeris yang setara. Ini adalah had yang diketahui dalam tokenisasi semasa yang pembekal model sedang berusaha aktif untuk menangani.

Tidak. Semua pengiraan token dan pengiraan kos berlaku sepenuhnya di dalam pelayar anda menggunakan JavaScript. Prompt, dokumen, dan teks perbualan anda tidak pernah meninggalkan peranti anda. Anda boleh dengan selamat mengira token untuk prompt perniagaan yang sensitif, kandungan proprietari, atau apa sahaja yang anda tidak mahu dikongsi secara luaran.