Dizionario AI › Modelli AI
Vocabulary
Il vocabolario di un modello linguistico è l'insieme finito e predefinito di token che il modello è in grado di riconoscere in ingresso e produrre in uscita. Ogni parola, sottoparola, carattere o simbolo speciale che il modello può gestire deve avere una voce corrispondente in questo elenco, a cui è associato un identificatore numerico univoco.
Il vocabolario viene costruito prima dell'addestramento tramite un algoritmo di tokenizzazione applicato a un ampio corpus di testo, che individua le unità più frequenti e utili da includere come voci separate. La dimensione del vocabolario è una scelta di progettazione: un vocabolario più ampio riduce il numero di token necessari per rappresentare un testo ma aumenta la dimensione degli strati di embedding e di output del modello.
Il vocabolario determina direttamente come un testo viene scomposto in token prima di essere elaborato, influenzando l'efficienza con cui il modello gestisce lingue diverse, termini tecnici, codice sorgente o caratteri non latini. Modelli pensati per essere multilingue tendono ad avere vocabolari più ampi per coprire in modo efficiente più lingue contemporaneamente.
Il concetto riprende il senso comune della parola "vocabolario" come elenco di termini noti, applicato qui non al linguaggio umano nel suo insieme ma all'insieme chiuso di unità testuali che un particolare modello è stato addestrato a riconoscere.
Dalla nostra rete
AGORÀ Intelligence: Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Vai su agora-intelligence.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.