AIトークンカウンター

GPT、Claude、Llama、GeminiのトークンをカウントしAPIコストを見積もる

AIトークンカウンター GPT-4o

AIモデルを選択

テキストを入力または貼り付け

トークン数はBPE方式のアルゴリズムによる概算値です。実際の値はモデルによってわずかに異なる場合があります。

トークン統計

0
トークン

文字数

単語数

Context Window 128K context

— tokens left

推定コスト（100万トークン当たり）

入力コスト $0.000000

出力コスト $0.000000

すべての処理はブラウザ内で行われます。テキストはサーバーに送信されません。

使用例

プロンプトコスト確認

システムプロンプトやユーザーメッセージを貼り付けて、何トークン使うか、さまざまなAIモデルでいくらかかるかを確認できます。

会話予算計算

マルチターン会話の合計トークンを見積もり、API使用量を計画して予算内に収めましょう。

ドキュメント分析

長いドキュメントがモデルのコンテキストウィンドウに収まるか確認し、送信前に処理コストを計算できます。

機能

リアルタイムカウント

入力中にトークン数とコストが即座に更新。ボタンクリック不要

コスト見積もり

公式価格に基づき、対応する各モデルの入力・出力コストを計算

マルチモデル対応

GPT-4o、GPT-4o mini、GPT-3.5、Claude 3.5 Sonnet、Claude 3 Haiku、Llama 3.1 70B、Gemini 1.5 Flash

プライバシー重視

すべての処理はブラウザ内でローカルに実行。プロンプトがデバイスから出ることはありません

使い方

モデルを選択

ドロップダウンメニューから使用するAIモデルを選択します。料金は自動的に更新されます。

テキストを入力

プロンプトまたはドキュメントを入力または貼り付けます。トークン数とコスト見積もりがリアルタイムで更新されます。

結果を確認

統計パネルでトークン数、文字数、単語数、推定入力・出力コストを確認します。

よくある質問

AI言語モデルはテキストを文字単位や単語単位で処理するのではなく、トークンという単位に分割して処理します。トークンとは頻繁に一緒に現れる文字の塊のことです。「the」や「and」のような一般的な単語は通常1つのトークンになります。あまり一般的でない単語は複数のトークンに分割されることがあります（例：「tokenization」は [「token」, 「ization」] になるなど）。数字、句読点、スペースもそれぞれトークンとして消費されます。便利な目安としては、英語の場合、1トークンは概ね4文字または0.75単語程度です。非英語のテキストやコードは、トークナイザーによって異なる境界で分割されるため、1単語あたりのトークン数が多くなる傾向があります。

コンテキストウィンドウとは、AIモデルが一度のやり取りで処理できる最大トークン数（あなたの入力［プロンプト＋会話履歴＋ドキュメント］とモデルの出力の両方を含む）のことです。一般的な制限は、GPT-4oが128Kトークン、Claude 3.5 Sonnetが200Kトークン、Gemini 1.5 Flashが1Mトークンです。入力がコンテキストウィンドウを超えると、APIはエラーを返します。長い会話やドキュメント分析の場合、トークン使用量を追跡することで、予期せぬ制限への到達を防げます。このツールはテキストがどれくらいのトークンを使用するかを表示し、計画的な利用を可能にします。

このカウンターは、主要なモデルのトークナイザーの動作を密接に模倣したBPEスタイル（Byte Pair Encoding）近似アルゴリズムを使用しています。結果は通常、公式トークナイザーの正確なカウントと1〜5%以内の誤差に収まります。正確なカウントが必要な場合は、OpenAIのtiktokenライブラリ（GPTモデル用）、またはClaudeのtokenizeエンドポイント/SDKメソッドを使用してください。コスト見積もりやコンテキストウィンドウの計画目的であれば、この近似値は意思決定に十分信頼できるものです。

AIモデルのAPIは、入力トークン（システムプロンプト、会話履歴、ドキュメント、ユーザーメッセージなど、モデルに送信するすべてのもの）と出力トークン（モデルの回答）を別々に請求します。通常、出力トークンは入力トークンよりも2〜5倍高くなります。例えば、GPT-4oは入力トークン100万あたり約$2.50、出力トークン100万あたり$10を請求します。これは最適化において重要です。システムプロンプトの長さを短縮（入力）することはすべてのAPI呼び出しに対して乗算的な効果がありますが、より短い回答（出力）を生成することで最も高価なトークンを節約できます。

主な戦略は以下の通りです：システムプロンプトを短くする（すべてのAPI呼び出しで送信されるため、節約されたトークンはすべての呼び出しに積み重なります）、全文を送信する代わりに長い会話履歴を要約する、大きなドキュメントにはチャンク化（分割して個別に処理）を使用する、few-shotプロンプトから重複する例を削除する、より具体的なプロンプトを使用して補足のやり取りを減らす、そして単純なタスクには低コストなモデルを選択する（GPT-4o miniやClaude Haikuはフラグシップモデルよりも10〜20倍安価です）。

各モデルファミリーは、異なるデータでトレーニングされ、異なる語彙サイズを持つ異なるトークナイザーを使用しているためです。GPTモデルはcl100k_base（GPT-4用）またはo200k_base（GPT-4o用）を備えたtiktokenを使用します。Claudeは独自のトークナイザーを使用し、Llama 3は別の語彙を使用します。同じ英語の文章でも、あるトークナイザーでは100トークン、別のトークナイザーでは95トークンになることがあります。コード、URL、および非英語テキストは、トークナイザー間での差がより顕著に現れる傾向があります。このツールは、サポートされているすべてのモデルで妥当な近似値を提供します。

英語のテキストは、トレーニングデータが英語に偏っていたため、高度に最適化されたトークン化の恩恵を受けています。非英語のテキスト、特に中国語、日本語、アラビア語、韓国語などの非ラテン文字の場合、語彙がより少ない組み合わせをカバーしているため、通常1文字あたりにより多くのトークンが必要です。中国の漢字は独自のトークンになることもあれば、複数のUTF-8バイトトークンに分割されることもあります。実用上、これは非英語のプロンプトが同等の英語プロンプトよりも1文字あたり2〜4倍高くなることを意味します。これは現在のトークン化における既知の制限であり、モデルプロバイダーはこれに対処するために積極的に取り組んでいます。

いいえ。すべてのトークンカウントとコスト計算は、JavaScriptを使用して完全にあなたのブラウザ内で行われます。あなたのプロンプト、ドキュメント、および会話テキストがデバイスから外へ出ることはありません。機密性の高いビジネス用プロンプト、独自のコンテンツ、または外部と共有したくないあらゆる内容のトークンを安全にカウントできます。