Token-teller

Telle tegn, ord, bytes og grove tokens for blandet engelsk og CJK-tekst før du flytter til rask budsjettering eller innholdsopprydding.

Teksten forlater aldri nettleseren din. Den valgfrie delings-URLen lagrer bare tokenbudsjettet.

Andre språk 日本語 | English | 繁體中文 | 한국어 | Svenska | Suomi | Dansk | Norsk bokmål | Italiano

Hvordan bruke

  1. Lim inn utkastet, forespørselen eller dokumentfragmentet.
  2. Angi et symbolbudsjett hvis du vil ha en rask bruksprosent.
  3. Bruk det CJK-justerte anslaget når teksten blander japansk, kinesisk eller koreansk tungt.

Anslå tekststørrelsen før den når en modell eller arbeidsflytgrense

Denne siden er med vilje grov. Det er for planlegging og triage, ikke for faktureringsmodellregnskap.

Lim inn tekst for å gjennomgå tegntellinger, ordtellinger og grove tokenanslag.

Hvordan velge mellom nærliggende sider

Bruk Spørrestrengparser eller JSON-formater når spørsmålet er strukturert nyttelastinspeksjon. Bruk denne siden når spørsmålet er ren tekstlengde, grov forespørselsstørrelse eller redaksjonell budsjettering.

Vanlige spørsmål

Hvilke tellinger viser denne siden?

Den viser tegn, tegn uten mellomrom, ord, linjer, byte, antall CJK-tegn og to grove token-anslag.

Hvorfor er det to token estimater?

Det ene anslaget er en generell grov tilnærming, og det andre er justert for å være mindre misvisende for CJK-tung tekst. Heller ikke modellspesifikk.

Inkluderer delings-URL-en teksten jeg limte inn?

Nei. Delings-URLen beholder bare det valgfrie tokenbudsjettet. Teksten blir værende i nettleseren din.

Når bør jeg bruke denne siden i stedet for en modellspesifikk tokenizer?

Bruk denne siden for rask planlegging, redaksjonelle kontroller og grov budsjettering. Bruk en modellspesifikk tokenizer når fakturerings- eller promptgrensenøyaktighet må samsvare med én eksakt modell.