Dizionario AI › Fondamenti AI
Momentum (in optimization)
Il momentum è una tecnica usata negli algoritmi di ottimizzazione per accelerare e stabilizzare la discesa del gradiente, tenendo conto degli aggiornamenti precedenti oltre che del gradiente corrente. L'idea si ispira alla fisica: come un oggetto in movimento tende a mantenere la propria direzione, gli aggiornamenti dei pesi accumulano una sorta di inerzia che li rende meno sensibili alle oscillazioni locali della funzione di perdita.
Invece di aggiornare i pesi usando solo il gradiente calcolato al passo corrente, il momentum mantiene una media mobile dei gradienti passati e la usa per determinare la direzione dell'aggiornamento. Questo permette di attraversare più velocemente le zone piatte della funzione di perdita e di ridurre le oscillazioni nelle direzioni con curvatura elevata.
È un componente centrale di molti ottimizzatori usati nell'addestramento di reti neurali profonde, incluse varianti più sofisticate che combinano momentum e adattamento del tasso di apprendimento per ciascun parametro. Contribuisce a rendere l'addestramento più rapido e stabile, specialmente su superfici di perdita complesse.
È un concetto mutuato dalla fisica classica e applicato all'ottimizzazione numerica, diventato uno degli elementi standard degli algoritmi di addestramento delle reti neurali.
Dalla nostra rete
Kaimaki Web: Websites That Win Customers
Custom websites, web apps and digital marketing for growing businesses.
Vai su kaimakiweb.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.