AI Dictionary › Fondamenti AI
Discesa del gradiente
Gradient descent is the optimization method a neural network uses to find parameter values that minimize error. Imagine standing on a mountain in fog, wanting to reach the valley floor: unable to see far, you feel the ground and step in the steepest downhill direction. The gradient is that direction, computed by backpropagation, and the loss function is the altitude to minimize. Repeating small steps, the model gradually descends toward a low-error configuration. The step size, called the learning rate, sets the pace: too large and you overshoot the minimum, too small and progress crawls.
Variants like stochastic gradient descent or Adam make the process faster and more stable on huge datasets. Understanding it clarifies why training needs many iterations and why choices like the learning rate shape the final result.
La discesa del gradiente è il metodo di ottimizzazione con cui una rete neurale trova i valori dei parametri che minimizzano l'errore. Immagina di essere su una montagna nella nebbia e voler raggiungere il fondovalle: senza vedere lontano, tasti il terreno e fai un passo nella direzione di massima pendenza in discesa. Il gradiente è proprio quella direzione, calcolata dalla backpropagation, e la funzione di perdita è l'altitudine da minimizzare. Ripetendo piccoli passi, il modello scende progressivamente verso una configurazione di parametri con errore basso. La lunghezza del passo, chiamata tasso di apprendimento, decide la velocità: troppo grande e si rischia di saltare oltre il minimo, troppo piccola e la discesa è lentissima.
Varianti come la discesa stocastica o Adam rendono il processo più veloce e stabile su enormi dataset. Capirla aiuta a intuire perché l'addestramento richiede molte iterazioni e perché scelte come il tasso di apprendimento influenzano tanto il risultato finale.
From our network
Kaimaki Web — Websites That Win Customers
Custom websites, web apps and digital marketing for growing businesses.
Visit kaimakiweb.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.