AI Dictionary › Fondamenti AI
Tokenizzazione
Tokenization is the process of splitting text into minimal units called tokens that a model can process numerically. A token isn't always a whole word: it can be a word, a syllable, a single character, or a fragment like a suffix. Picture cutting a necklace into beads: each bead is a token, and the model counts and orders beads rather than reading the continuous thread. Methods like Byte-Pair Encoding build a vocabulary of recurring fragments, so even rare or invented words are composed from known pieces. Each token becomes an ID number, the bridge between human language and computation.
Understanding tokenization is practical: API costs and context limits are measured in tokens, not words. Languages with long compound words consume more tokens, and text heavy with symbols or code can fragment unexpectedly, affecting both price and performance.
La tokenizzazione è il processo con cui un testo viene spezzato in unità minime, chiamate token, che il modello può elaborare numericamente. Un token non coincide sempre con una parola: può essere una parola intera, una sillaba, un singolo carattere o un frammento come un suffisso. Immagina di tagliare una collana in tante perline: ogni perlina è un token, e il modello lavora contando e ordinando queste perline anziché leggere il filo continuo. Algoritmi diffusi come Byte-Pair Encoding costruiscono un vocabolario di frammenti ricorrenti, così da rappresentare anche parole rare o inventate componendole da pezzi noti. Ogni token viene poi convertito in un numero identificativo, il ponte tra linguaggio umano e calcolo.
Capire la tokenizzazione è pratico: il costo delle API e i limiti di contesto si misurano in token, non in parole. Una lingua ricca di parole lunghe o composte consuma più token, e testi con molti simboli o codice possono frammentarsi in modo inatteso, influenzando prezzo e prestazioni.
From our network
AGORÀ Intelligence — Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Visit agora-intelligence.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.