使い方
- 本文や prompt を貼り付けます。
- 必要なら token 上限を入れて、どれくらい使うかを見ます。
- 日本語や中国語が多いときは CJK 調整の概算を目安にします。
Wave 40 幅拡張
本文サイズを model や運用上限の前に下見する
厳密な tokenizer ではありませんが、原稿整理や prompt 予算の下見には十分使えます。
どのページと使い分けるか
クエリ文字列パーサー や JSON フォーマッター は構造化データを見るページです。このページは plain text の量や概算 token を見たいときに使います。
よくある質問
このページでは何を数えますか？
文字数、空白抜き文字数、単語数、行数、バイト数、CJK 文字数、概算 token 数を確認できます。
概算 token が2種類あるのはなぜですか？
一般的な概算と、CJK が多い文章で極端にずれにくい概算を並べています。どちらも model 固有の厳密 tokenizer ではありません。
共有URLに本文は入りますか？
入りません。共有URLに入るのは token 上限の設定だけで、本文はブラウザ内に残ります。
厳密な tokenizer の代わりになりますか？
料金計算や厳密な上限確認には専用 tokenizer を使ってください。このページは下見や原稿整理のための概算用です。