使い方
- 本文や プロンプトを貼り付けます。
- 必要なら トークン上限を入れて、どれくらい使うかを見ます。
- 日本語や中国語が多いときは CJK 調整の概算を目安にします。
便利ツール
本文サイズを モデルや運用上限の前に下見する
厳密な トークナイザーではありませんが、原稿整理や プロンプト予算の下見には十分使えます。
どのページと使い分けるか
クエリ文字列パーサー や JSON フォーマッター は構造化データを見るページです。このページは plain text の量や概算トークンを見たいときに使います。
よくある質問
このページでは何を数えますか？
文字数、空白抜き文字数、単語数、行数、バイト数、CJK文字数、概算トークン数を確認できます。
概算トークンが2種類あるのはなぜですか？
一般的な概算と、CJKが多い文章で極端にずれにくい概算を並べています。どちらも モデル固有の厳密 トークナイザーではありません。
共有URLに本文は入りますか？
入りません。共有URLに入るのは トークン上限の設定だけで、本文はブラウザ内に残ります。
厳密な トークナイザーの代わりになりますか？
料金計算や厳密な上限確認には専用 トークナイザーを使ってください。このページは下見や原稿整理のための概算用です。