AI Dictionary › Fondamenti AI
Momentum (nell'ottimizzazione)
Momentum is a technique used in optimization algorithms to accelerate and stabilize gradient descent, taking previous updates into account in addition to the current gradient. The idea is inspired by physics: just as a moving object tends to keep its direction, weight updates accumulate a kind of inertia that makes them less sensitive to local oscillations in the loss function.
Momentum is a technique used in optimization algorithms to accelerate and stabilize gradient descent, taking previous updates into account in addition to the current gradient. The idea is inspired by physics: just as a moving object tends to keep its direction, weight updates accumulate a kind of inertia that makes them less sensitive to local oscillations in the loss function.
Instead of updating weights using only the gradient computed at the current step, momentum keeps a moving average of past gradients and uses it to determine the direction of the update. This allows faster movement through flat regions of the loss function and reduces oscillations in directions with high curvature.
It is a core component of many optimizers used in training deep neural networks, including more sophisticated variants that combine momentum with per-parameter learning-rate adaptation. It helps make training faster and more stable, especially on complex loss surfaces.
It is a concept borrowed from classical physics and applied to numerical optimization, now one of the standard building blocks of neural network training algorithms.
Il momentum è una tecnica usata negli algoritmi di ottimizzazione per accelerare e stabilizzare la discesa del gradiente, tenendo conto degli aggiornamenti precedenti oltre che del gradiente corrente. L'idea si ispira alla fisica: come un oggetto in movimento tende a mantenere la propria direzione, gli aggiornamenti dei pesi accumulano una sorta di inerzia che li rende meno sensibili alle oscillazioni locali della funzione di perdita.
Invece di aggiornare i pesi usando solo il gradiente calcolato al passo corrente, il momentum mantiene una media mobile dei gradienti passati e la usa per determinare la direzione dell'aggiornamento. Questo permette di attraversare più velocemente le zone piatte della funzione di perdita e di ridurre le oscillazioni nelle direzioni con curvatura elevata.
È un componente centrale di molti ottimizzatori usati nell'addestramento di reti neurali profonde, incluse varianti più sofisticate che combinano momentum e adattamento del tasso di apprendimento per ciascun parametro. Contribuisce a rendere l'addestramento più rapido e stabile, specialmente su superfici di perdita complesse.
È un concetto mutuato dalla fisica classica e applicato all'ottimizzazione numerica, diventato uno degli elementi standard degli algoritmi di addestramento delle reti neurali.
From our network
AGORÀ Intelligence — Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Visit agora-intelligence.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.