Dizionario AI › Fondamenti AI
Learning Rate Warm-up
Il warm-up è una tecnica di addestramento in cui il tasso di apprendimento parte da un valore molto basso e viene aumentato gradualmente nelle prime fasi del training, prima di seguire il suo andamento normale. Serve a evitare che il modello riceva aggiornamenti troppo bruschi quando i suoi pesi sono ancora casuali e instabili. È una pratica comune nell'addestramento di reti neurali profonde e di grandi modelli linguistici.
All'inizio dell'addestramento i gradienti calcolati possono essere molto rumorosi, perché il modello non ha ancora imparato nulla. Un tasso di apprendimento alto in questa fase rischia di causare aggiornamenti instabili o divergenza. Il warm-up aumenta il tasso di apprendimento in modo lineare o graduale per un certo numero di passi iniziali, dando al modello il tempo di stabilizzarsi prima di procedere a piena velocità.
È largamente usato nell'addestramento dei transformer e di altre architetture profonde, spesso combinato con una fase successiva di decadimento del tasso di apprendimento. È uno degli iperparametri configurati nella pianificazione dell'addestramento, insieme al numero di passi di warm-up e al valore massimo del tasso di apprendimento.
È una pratica ingegneristica consolidata nell'addestramento di reti neurali profonde, diventata particolarmente rilevante con l'aumento delle dimensioni dei modelli e con l'adozione diffusa degli ottimizzatori adattivi.
Dalla nostra rete
AGORÀ Intelligence: Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Vai su agora-intelligence.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.