Scuola AI › Com’è fatta dentro · Lezione 63 di 130

🧩 Cosa sono i token

Il testo viene spezzato in tanti pezzetti chiamati token.

Quando mangi una tavoletta di cioccolato, non la ingoi tutta intera: la spezzi nei quadretti. L'AI fa la stessa cosa con le parole. Prima di poter lavorare su una frase, la taglia in pezzetti chiamati token. Un token può essere una parola intera come "gatto", oppure un pezzo di parola come "gatt" e "ino" per "gattino", o perfino un solo simbolo come il punto. È come tagliare una frase con le forbici in tante tesserine, così l'AI può maneggiarle una alla volta invece di ingoiare tutto in un boccone.

Perché spezzettare? Perché così l'AI gestisce anche parole che non ha mai visto. Se incontra "supermegabello", non va in tilt: la divide in pezzi conosciuti e se la cava. Contare i token è importante anche per un altro motivo: le AI hanno un limite di quanti token possono leggere e scrivere in una volta, un po' come uno zaino che ci sta solo un certo numero di libri. Frasi più lunghe usano più token e ogni token costa un pochino di lavoro al computer. Quindi, la prossima volta che scrivi a un'AI, ricorda: lei non vede "parole", vede una fila di tesserine da incastrare.

🎒 Prova in classe (o a casa)

Prendi una frase lunga e spezzala a matita in pezzetti di 3-4 lettere: ecco come l'AI vede i token.

← Lezione 62: Gli strati della rete · Lezione 64: Le parole diventano numeri →

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.