Scuola AI › Com’è fatta dentro · Lezione 63 di 130
Il testo viene spezzato in tanti pezzetti chiamati token.
Quando mangi una tavoletta di cioccolato, non la ingoi tutta intera: la spezzi nei quadretti. L'AI fa la stessa cosa con le parole. Prima di poter lavorare su una frase, la taglia in pezzetti chiamati token. Un token può essere una parola intera come "gatto", oppure un pezzo di parola come "gatt" e "ino" per "gattino", o perfino un solo simbolo come il punto. È come tagliare una frase con le forbici in tante tesserine, così l'AI può maneggiarle una alla volta invece di ingoiare tutto in un boccone.
Perché spezzettare? Perché così l'AI gestisce anche parole che non ha mai visto. Se incontra "supermegabello", non va in tilt: la divide in pezzi conosciuti e se la cava. Contare i token è importante anche per un altro motivo: le AI hanno un limite di quanti token possono leggere e scrivere in una volta, un po' come uno zaino che ci sta solo un certo numero di libri. Frasi più lunghe usano più token, e ogni token costa un pochino di lavoro al computer. Quindi, la prossima volta che scrivi a un'AI, ricorda: lei non vede "parole", vede una fila di tesserine da incastrare.
Prendi una frase lunga e spezzala a matita in pezzetti di 3-4 lettere: ecco come l'AI vede i token.
Text gets chopped into little pieces called tokens.
Grace's free AI School teaches kids, parents and teachers what AI is, how it works and how to use it safely — 130 lessons, starting from zero.
← Lezione 62: Gli strati della rete · Lezione 64: Le parole diventano numeri →
From our network
Magellano GPS — Fleet Tracking Made Simple
Real-time GPS tracking, remote engine lock, fuel and CO₂ reporting for your fleet.
Visit magellanogps.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.