Cara Mengira Token AI: Panduan Lengkap untuk ChatGPT, Claude & Gemini (2026)

Apa itu Token AI?

Token ialah unit teks asas yang diproses oleh model bahasa besar (LLM). Ia bukan sekadar perkataan atau aksara — ia adalah bahagian teks yang ditentukan oleh algoritma tokenizer model. Pendekatan yang paling banyak digunakan ialah Byte-Pair Encoding (BPE), yang memecah teks kepada jujukan aksara yang kerap berulang.

Untuk teks Inggeris standard, secara amalan:

• 1 token ≈ 4 aksara
• 1 token ≈ 0.75 perkataan
• 1,000 perkataan ≈ 1,333 token

Mengapa Token Penting

1. Tetingkap Konteks

Setiap model AI mempunyai bilangan token maksimum yang boleh diproses dalam satu perbualan. Jika had ini terlampaui, bahagian lama dipotong atau permintaan gagal.

• GPT-4o: 128,000 token
• Claude 3.5 Sonnet: 200,000 token
• Gemini 1.5 Pro: 1,000,000 token

2. Kos API

API AI komersial mengenakan bayaran per juta token. Token input dan output dibilkan secara berasingan; output biasanya 3–5 kali lebih mahal daripada input.

Tips Mengurangkan Penggunaan Token

• Ringkaskan prompt sistem — Dihantar semula pada setiap panggilan API
• Rumuskan perbualan panjang — Jimat 60–80% token dalam sesi panjang
• Buang pemformatan yang tidak perlu — Minifikasi JSON, buang ruang tambahan
• Minta output ringkas — "Jawab dalam 2–3 ayat" mengurangkan token output
• Pilih model yang sesuai — Model kecil 10–20 kali lebih murah untuk tugas mudah