Co to znamená v praxi
Když vy čtete text, vidíte písmena a slova. Když text čte umělá inteligence (LLM model), rozseká si ho na menší kousky, které se jmenují tokeny.
V angličtině platí zhruba pravidlo, že 1 token = 3/4 slova. Krátké slovo (jako „pes”) je jeden token. Dlouhé slovo (jako „nesrozumitelný”) se může rozsekat na 3 nebo 4 tokeny. V češtině je to trochu horší – kvůli diakritice a skloňování modely často spotřebují na jedno české slovo víc tokenů než na anglické.
Proč to firmy musí znát
Pro běžného zaměstnance, který si platí ChatGPT Plus za 20 eur měsíčně, tokeny nejsou důležité. Pro firmu, která chce AI integrovat do svých procesů, jsou tokeny synonymem pro peníze.
- Cenovka za AI. Když propojíte váš firemní systém přes API s modely od OpenAI nebo Anthropicu, neplatíte měsíční paušál. Platíte za spotřebu – přesněji, platíte za každý jeden token, který do AI pošlete (vstup), a za každý token, který AI vygeneruje (výstup).
- Limit paměti (Context Window). Každý model má svůj limit, kolik tokenů si dokáže naráz zapamatovat. Když má model limit 128 000 tokenů, znamená to, že mu do jednoho promptu můžete vložit zhruba 300stránkovou knihu. Když vložíte víc, model začne „zapomínat” to, co bylo na začátku.
- Čeština je dražší. Protože AI modely rozsekávají český text na víc tokenů než anglický, zpracování českého dokumentu vás může stát o 30 až 50 % víc než zpracování stejně dlouhého anglického dokumentu.
Příklad z praxe
Představte si, že chcete, aby AI shrnula každý příchozí e-mail do vašeho zákaznického systému. Jeden průměrný e-mail má 500 tokenů. Když vám denně přijde 1000 e-mailů, spotřebujete 500 000 tokenů denně.
Když si na tuhle úlohu vyberete ten nejdražší model, může vás to stát stovky eur měsíčně. Když si vyberete menší, levnější model (který na jednoduché shrnutí bohatě stačí), účet může být jen pár eur.
Na našich firemních AI trénincích ukazujeme nejen to, jak AI používat, ale i to, jak odhadnout náklady a vybrat správný model tak, aby automatizace dávala ekonomický smysl.