ตัวนับ Token AI

Context window คือจำนวนโทเคนสูงสุดที่โมเดล AI สามารถประมวลผลได้ในการโต้ตอบเพียงครั้งเดียว ซึ่งรวมถึงทั้งอินพุตของคุณ (prompt + ประวัติการสนทนา + เอกสาร) และเอาต์พุตของโมเดล ขีดจำกัดทั่วไป: GPT-4o รองรับ 128K tokens, Claude 3.5 Sonnet รองรับ 200K tokens, Gemini 1.5 Flash รองรับ 1M tokens หากอินพุตของคุณเกิน context window API จะส่งค่าความผิดพลาดกลับมา สำหรับการสนทนาที่ยาวหรือการวิเคราะห์เอกสาร การติดตามการใช้งานโทเคนจะช่วยป้องกันไม่ให้คุณไปถึงขีดจำกัดเหล่านี้โดยไม่คาดคิด เครื่องมือนี้จะแสดงจำนวนโทเคนที่ข้อความของคุณใช้เพื่อให้คุณสามารถวางแผนได้อย่างเหมาะสม

เครื่องมือนับนี้ใช้อัลกอริทึมการประมาณค่าแบบ BPE-style (Byte Pair Encoding) ซึ่งเลียนแบบวิธีการทำงานของ tokenizer ของโมเดลหลักอย่างใกล้ชิด ผลลัพธ์มักจะอยู่ในช่วง 1-5% ของจำนวนที่แน่นอนจาก official tokenizers สำหรับการนับที่แม่นยำ ให้ใช้ไลบรารี tiktoken ของ OpenAI (สำหรับโมเดล GPT) หรือวิธี tokenize endpoint/SDK สำหรับ Claude สำหรับวัตถุประสงค์ในการประมาณค่าใช้จ่ายและการวางแผน context window การประมาณนี้มีความน่าเชื่อถือเพียงพอสำหรับการตัดสินใจ

API ของโมเดล AI คิดค่าบริการแยกกันสำหรับ input tokens (ทุกอย่างที่คุณส่งไปยังโมเดล: system prompt, ประวัติการสนทนา, เอกสาร, ข้อความของผู้ใช้) และ output tokens (การตอบกลับของโมเดล) โดยปกติแล้ว output tokens จะแพงกว่า input tokens ประมาณ 2-5 เท่า ตัวอย่างเช่น GPT-4o คิดค่าบริการประมาณ $2.50 ต่อหนึ่งล้าน input tokens และ $10 ต่อหนึ่งล้าน output tokens สิ่งนี้สำคัญสำหรับการหาจุดเหมาะสมที่สุด: การลดความยาวของ system prompt (input) จะส่งผลแบบทวีคูณในการเรียก API ทุกครั้ง ในขณะที่การสร้างการตอบกลับที่สั้นลง (output) จะช่วยประหยัดโทเคนที่แพงที่สุด

กลยุทธ์สำคัญ: ย่อระบบ prompt ของคุณ (ซึ่งถูกส่งไปกับการเรียก API ทุกครั้ง ดังนั้นทุกโทเคนที่ประหยัดได้จะคูณขยายไปในทุกการเรียก); สรุปประวัติการสนทนาที่ยาวแทนที่จะส่งบทสนทนาทั้งหมด; ใช้การ chunking สำหรับเอกสารขนาดใหญ่ (แบ่งและประมวลผลแยกกัน); นำตัวอย่างส่วนเกินออกจาก few-shot prompts; ใช้ prompt ที่เฉพาะเจาะจงมากขึ้นเพื่อให้ต้องการการถามตอบเพื่อความชัดเจนน้อยลง; และเลือกโมเดลที่มีค่าใช้จ่ายต่ำกว่าสำหรับงานที่ง่ายกว่า (GPT-4o mini หรือ Claude Haiku ถูกกว่ารุ่นเรือธงของพวกเขา 10-20 เท่า)

แต่ละตระกูลโมเดลใช้ tokenizer ที่แตกต่างกันซึ่งฝึกฝนบนข้อมูลที่ต่างกันและมีขนาดคำศัพท์ที่ต่างกัน โมเดล GPT ใช้ tiktoken พร้อม cl100k_base (สำหรับ GPT-4) หรือ o200k_base (สำหรับ GPT-4o) Claude ใช้ tokenizer ของตัวเอง Llama 3 ใช้คำศัพท์ที่แตกต่างออกไป ประโยคภาษาอังกฤษเดียวกันอาจให้โทเคน 100 ตัวใน tokenizer หนึ่ง และ 95 ตัวในอีกตัวหนึ่ง โค้ด, URLs และข้อความที่ไม่ใช่ภาษาอังกฤษมักจะแสดงความแตกต่างระหว่าง tokenizer ที่ชัดเจนขึ้น เครื่องมือนี้ให้การประมาณค่าที่สมเหตุสมผลสำหรับทุกโมเดลที่รองรับ

ข้อความภาษาอังกฤษได้รับประโยชน์จากการทำ tokenization ที่ปรับแต่งมาอย่างดีเพราะข้อมูลที่ใช้ฝึกฝนเน้นหนักไปที่ภาษาอังกฤษ ข้อความที่ไม่ใช่ภาษาอังกฤษ โดยเฉพาะสคริปต์ที่ไม่ใช่ละติน เช่น จีน, ญี่ปุ่น, อาหรับ และเกาหลี มักจะต้องการโทเคนต่อตัวอักษรมากกว่าเพราะคำศัพท์ครอบคลุมการผสมผสานน้อยกว่า ตัวอักษรจีนหนึ่งตัวอาจเป็นโทเคนของตัวเองหรือถูกแบ่งออกเป็นหลายๆ UTF-8 byte tokens ในทางปฏิบัติ นี่หมายความว่า prompt ที่ไม่ใช่ภาษาอังกฤษจะมีราคาแพงกว่า 2-4 เท่าต่อตัวอักษรเมื่อเทียบกับ prompt ภาษาอังกฤษที่เท่ากัน นี่คือข้อจำกัดที่เป็นที่รู้จักของการทำ tokenization ในปัจจุบัน ซึ่งผู้ให้บริการโมเดลกำลังพยายามแก้ไขอย่างจริงจัง

ไม่เลย การนับโทเคนและการคำนวณค่าใช้จ่ายทั้งหมดเกิดขึ้นในเบราว์เซอร์ของคุณโดยใช้ JavaScript เท่านั้น Prompt, เอกสาร และข้อความการสนทนาของคุณจะไม่หลุดออกจากอุปกรณ์ของคุณ คุณสามารถนับโทเคนสำหรับ prompt ทางธุรกิจที่ละเอียดอ่อน, เนื้อหาที่เป็นกรรมสิทธิ์ หรืออะไรก็ตามที่คุณไม่ต้องการให้แชร์ออกไปภายนอกได้อย่างปลอดภัย