AI žetonų skaičiuoklė
Apskaičiuokite apytikslį teksto žetonų (tokens) skaičių populiariausiems kalbos modeliams.
Apie šį įrankį
Dirbtinio intelekto (AI) žetonas (angl. token) yra bazinis teksto matavimo vienetas, kurį naudoja didieji kalbos modeliai (LLM), tokie kaip OpenAI (ChatGPT), Anthropic (Claude) ar Google (Gemini). Priešingai nei įprasti žodžiai, žetonai nėra vienodo ilgio. Anglų kalboje vienas žetonas atitinka maždaug 4 simbolius arba 0.75 žodžio (pvz., žodis 'hamburger' gali būti padalintas į žetonus 'ham', 'bur', ir 'ger'). Kitose kalbose, įskaitant lietuvių, dėl specifinių raidžių ir galūnių vienas žodis dažnai išskaidomas į kelis žetonus, todėl tekstas ne anglų kalba paprastai sunaudoja daugiau žetonų.
Ši skaičiuoklė padeda programuotojams įvertinti tekstinių duomenų apimtį prieš siunčiant API užklausas. Kadangi AI modeliai turi griežtus konteksto lango (context window) apribojimus (pvz., 8K, 16K ar 128K žetonų vienai užklausai) ir kainodara priklauso nuo sunaudotų žetonų skaičiaus, ši informacija leidžia geriau planuoti resursus ir išvengti perpildymo klaidų. Svarbu atkreipti dėmesį: ši skaičiuoklė pateikia tik apytikslį įvertinimą. Skirtingi modeliai naudoja skirtingus tokenizacijos algoritmus (pvz., BPE, SentencePiece), todėl tikslus sunaudotų žetonų kiekis API atsakyme gali šiek tiek skirtis nuo rodomo čia. Šis įrankis yra nemokamas ir nereikalauja registracijos.
Visi skaičiavimai atliekami lokaliai naršyklėje. Įvedami tekstai nėra siunčiami į išorinius serverius, todėl konfidenciali informacija išlieka saugi.