Dizionario AI › Modelli AI
Il gradient clipping è una tecnica che limita il valore massimo che i gradienti calcolati durante l'addestramento di una rete neurale possono assumere, tagliandoli quando superano una soglia stabilita. Serve a evitare che aggiornamenti dei parametri eccessivamente grandi, causati da gradienti anomali, destabilizzino l'addestramento facendo divergere il modello invece di farlo migliorare.
Durante l'addestramento, l'algoritmo di discesa del gradiente calcola per ogni parametro quanto e in che direzione modificarlo per ridurre l'errore. In alcune situazioni, in particolare nelle reti molto profonde o ricorrenti, questi gradienti possono crescere in modo esplosivo, un fenomeno noto come esplosione del gradiente. Il gradient clipping interviene riscalando o troncando i gradienti che superano una certa norma massima, prima che vengano usati per aggiornare i pesi.
È una pratica standard nell'addestramento di modelli linguistici di grandi dimensioni e di reti ricorrenti, dove contribuisce a mantenere l'addestramento stabile su lunghi periodi di calcolo che possono durare settimane e coinvolgere un numero enorme di passi di aggiornamento, riducendo il rischio di dover riavviare l'addestramento da un punto precedente a causa di una divergenza improvvisa.
Il nome descrive letteralmente l'operazione: i gradienti vengono "tagliati" (clipped) quando eccedono una soglia, un accorgimento pratico diventato via via più rilevante man mano che le reti neurali addestrate sono cresciute in profondità e complessità.
Dalla nostra rete
HSE Genius: AI for Safety Data Sheets
Extract SDS data, H phrases and ECHA compliance checks in seconds, powered by AI.
Vai su hsegenius.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.