Dizionario AI › Fondamenti AI

Tokenizzatore

Tokenizer

Il tokenizzatore è il componente che spezza il testo in unità minime chiamate token, prima che il modello possa elaborarle. Immagina un cuoco che, prima di cucinare, taglia gli ingredienti in pezzi standard: non lavora con la carota intera, ma con rondelle di dimensione prevedibile. Allo stesso modo il tokenizzatore trasforma "intelligenza" magari in "intelli" + "genza", oppure una parola comune in un solo token e una rara in molti frammenti. Ogni token viene poi convertito in un numero che il modello sa gestire. La scelta di come tagliare (per parole, sotto-parole o caratteri) influenza quanto testo entra nella memoria del modello e quanto costa elaborarlo.

Definizione

Capire il tokenizzatore conta perché i costi delle API e i limiti di lunghezza si misurano in token, non in parole. Lingue diverse dall'inglese, emoji e codice possono consumare molti più token del previsto, rendendo una richiesta più cara o troncandola.

Termini correlati

• Token
• Context Window
• Embedding
• Perplessità
• Context caching (cache del contesto)

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.