Dizionario AI › Modelli AI
Cross-Entropy
L'entropia incrociata è una funzione matematica usata per misurare quanto la distribuzione di probabilità prevista da un modello si discosti dalla distribuzione corretta attesa, ed è la funzione di perdita più comunemente usata nei problemi di classificazione, incluso l'addestramento dei modelli linguistici a prevedere il token successivo.
Quando un modello produce, per esempio, la probabilità che il prossimo token sia ciascuna delle parole del vocabolario, l'entropia incrociata confronta questa distribuzione con quella "corretta", in cui il token effettivamente osservato ha probabilità massima e tutti gli altri probabilità nulla. Il valore risultante è tanto più basso quanto più il modello assegna alta probabilità al token corretto, e tanto più alto quanto più il modello sbaglia con sicurezza.
È la funzione di perdita usata nell'addestramento della quasi totalità dei modelli linguistici moderni durante la fase di pre-addestramento, dove a ogni passo il modello viene addestrato a minimizzare l'entropia incrociata tra la sua previsione e il token effettivamente presente nel testo di addestramento. È inoltre alla base della misura di perplessità usata per valutare la qualità di un modello linguistico.
Il termine deriva dal concetto di entropia della teoria dell'informazione, che misura l'incertezza media di una distribuzione di probabilità; l'entropia "incrociata" estende questa idea al confronto tra due distribuzioni diverse, ed è stata adottata nel machine learning come misura naturale della distanza tra previsioni del modello e realtà osservata.
Dalla nostra rete
Kaimaki Web: Websites That Win Customers
Custom websites, web apps and digital marketing for growing businesses.
Vai su kaimakiweb.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.