Dizionario AI › Modelli AI
Embedding Layer
Il livello di embedding è il primo strato di una rete neurale che elabora dati discreti, come le parole di un testo, e ha il compito di convertire ogni elemento discreto in un vettore numerico denso. È il punto di ingresso in cui simboli come i token di un vocabolario vengono tradotti in una forma che la rete può effettivamente elaborare con operazioni matematiche.
Tecnicamente, il livello di embedding è una tabella di ricerca: a ogni identificatore numerico di token corrisponde una riga di una matrice di parametri appresi durante l'addestramento. Recuperare l'embedding di un token significa semplicemente selezionare la riga corrispondente. Durante l'addestramento questi vettori si organizzano in modo che elementi con significato o utilizzo simile finiscano vicini nello spazio vettoriale.
È presente in tutti i modelli che lavorano su dati discreti: modelli linguistici, sistemi di raccomandazione che rappresentano utenti e prodotti come vettori, modelli che elaborano categorie o identificatori. Nei modelli linguistici, il livello di embedding è spesso condiviso o strettamente collegato allo strato finale che produce le probabilità sul vocabolario, riducendo il numero di parametri da apprendere.
Il termine deriva dal concetto matematico più generale di "immersione" (embedding) di uno spazio in un altro, applicato qui alla rappresentazione di simboli discreti come punti in uno spazio vettoriale continuo, un'idea che ha guadagnato importanza centrale con la diffusione delle reti neurali nel trattamento del linguaggio naturale.
Dalla nostra rete
INDACO TMS: Transport Management for European Logistics
Shipment tracking, multi-carrier EDI and automated invoicing in one cloud platform. Invoices generated in under 10 seconds.
Vai su indacotms.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.