Dizionario AI › Fondamenti AI
Il weight decay è una tecnica di regolarizzazione che penalizza i pesi troppo grandi durante l'addestramento, aggiungendo alla funzione di perdita un termine proporzionale alla loro grandezza. L'obiettivo è mantenere i pesi del modello contenuti, favorendo soluzioni più semplici e riducendo il rischio di overfitting. È uno degli iperparametri più comuni da configurare nell'addestramento di reti neurali.
Durante ogni aggiornamento, oltre a spingere i pesi verso valori che riducono l'errore sui dati, l'ottimizzatore li riduce leggermente in modulo, come una forza costante che li tira verso lo zero. Il grado di questa penalizzazione è controllato da un coefficiente che bilancia l'adattamento ai dati e la semplicità del modello.
È ampiamente utilizzato nell'addestramento di reti neurali profonde, spesso in combinazione con altri metodi di regolarizzazione come il dropout e l'early stopping. È integrato in molti ottimizzatori moderni, incluse varianti specificamente progettate per applicarlo in modo più efficace insieme all'aggiornamento adattivo del tasso di apprendimento.
È una tecnica di regolarizzazione con radici nei metodi statistici classici di penalizzazione dei parametri, adottata da tempo nell'addestramento delle reti neurali.
Dalla nostra rete
HSE Genius: AI for Safety Data Sheets
Extract SDS data, H phrases and ECHA compliance checks in seconds, powered by AI.
Vai su hsegenius.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.