Dizionario AI › Modelli AI
Learning Rate
Il tasso di apprendimento è l'iperparametro che determina di quanto vengono modificati i parametri di un modello a ogni passo di addestramento, in base al gradiente calcolato dall'algoritmo di ottimizzazione. È uno dei valori di configurazione più influenti nell'addestramento di qualunque rete neurale: regola la dimensione del "passo" che il modello compie verso la riduzione dell'errore.
Un tasso di apprendimento troppo alto può far sì che gli aggiornamenti dei parametri siano così grandi da superare il punto ottimale a ogni passo, impedendo al modello di convergere e rendendo l'addestramento instabile o addirittura divergente. Un tasso troppo basso rende invece l'addestramento estremamente lento, richiedendo moltissimi passi per ottenere miglioramenti modesti. Nella pratica si usano spesso strategie che fanno variare il tasso di apprendimento nel tempo, aumentandolo gradualmente all'inizio e riducendolo progressivamente verso la fine dell'addestramento.
È un parametro centrale nell'addestramento di ogni tipo di rete neurale, dai piccoli modelli di classificazione ai grandi modelli linguistici, dove la scelta del tasso di apprendimento iniziale e della sua evoluzione nel tempo è spesso oggetto di sperimentazione approfondita prima di lanciare un addestramento su vasta scala.
Il termine descrive direttamente il suo ruolo: definisce il "tasso", cioè la velocità, con cui il modello incorpora ciò che apprende dai dati a ogni iterazione, un concetto centrale fin dalle prime formulazioni degli algoritmi di discesa del gradiente applicati alle reti neurali.
Dalla nostra rete
INDACO TMS: Transport Management for European Logistics
Shipment tracking, multi-carrier EDI and automated invoicing in one cloud platform. Invoices generated in under 10 seconds.
Vai su indacotms.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.