Dizionario AI › Fondamenti AI
Gradient Accumulation
L'accumulo del gradiente è una tecnica che permette di simulare un batch di addestramento più grande di quello che la memoria disponibile consentirebbe direttamente. Invece di aggiornare i pesi dopo ogni piccolo batch, i gradienti calcolati su più batch successivi vengono sommati, e l'aggiornamento dei pesi avviene solo dopo aver accumulato un numero prestabilito di batch. Questo consente di ottenere gli effetti di un batch grande usando hardware con memoria limitata.
A ogni passo il modello calcola i gradienti su un batch piccolo, ma invece di applicarli subito li aggiunge a quelli dei passi precedenti. Solo dopo un certo numero di passi accumulati l'ottimizzatore applica l'aggiornamento complessivo ai pesi, come se fosse stato calcolato su un unico batch più grande.
È particolarmente utile quando si addestrano modelli di grandi dimensioni su GPU con memoria limitata, permettendo di mantenere la stabilità di addestramento tipica dei batch grandi senza dover disporre di hardware più costoso. È una tecnica comune nell'addestramento distribuito e nel fine-tuning di modelli linguistici di grandi dimensioni.
È una soluzione ingegneristica pratica emersa per superare i limiti di memoria hardware nell'addestramento di reti neurali sempre più grandi.
Dalla nostra rete
Kaimaki Web: Websites That Win Customers
Custom websites, web apps and digital marketing for growing businesses.
Vai su kaimakiweb.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.