AI Dictionary › Modelli AI
Tasso di apprendimento
The learning rate is the hyperparameter that determines how much a model's parameters are changed at each training step, based on the gradient computed by the optimization algorithm. It is one of the most influential configuration values in training any neural network: it regulates the size of the "step" the model takes toward reducing error.
The learning rate is the hyperparameter that determines how much a model's parameters are changed at each training step, based on the gradient computed by the optimization algorithm. It is one of the most influential configuration values in training any neural network: it regulates the size of the "step" the model takes toward reducing error.
A learning rate that is too high can cause parameter updates so large that they overshoot the optimal point at every step, preventing the model from converging and making training unstable or even divergent. A learning rate that is too low, on the other hand, makes training extremely slow, requiring a great many steps for modest improvements. In practice, strategies that vary the learning rate over time are often used, gradually increasing it at the start and progressively reducing it toward the end of training.
It is a central parameter in training every type of neural network, from small classification models to large language models, where the choice of the initial learning rate and how it evolves over time is often the subject of extensive experimentation before launching a large-scale training run.
The term directly describes its role: it defines the "rate", meaning the speed, at which the model incorporates what it learns from the data at each iteration, a concept central since the earliest formulations of gradient descent algorithms applied to neural networks.
Il tasso di apprendimento è l'iperparametro che determina di quanto vengono modificati i parametri di un modello a ogni passo di addestramento, in base al gradiente calcolato dall'algoritmo di ottimizzazione. È uno dei valori di configurazione più influenti nell'addestramento di qualunque rete neurale: regola la dimensione del "passo" che il modello compie verso la riduzione dell'errore.
Un tasso di apprendimento troppo alto può far sì che gli aggiornamenti dei parametri siano così grandi da superare il punto ottimale a ogni passo, impedendo al modello di convergere e rendendo l'addestramento instabile o addirittura divergente. Un tasso troppo basso rende invece l'addestramento estremamente lento, richiedendo moltissimi passi per ottenere miglioramenti modesti. Nella pratica si usano spesso strategie che fanno variare il tasso di apprendimento nel tempo, aumentandolo gradualmente all'inizio e riducendolo progressivamente verso la fine dell'addestramento.
È un parametro centrale nell'addestramento di ogni tipo di rete neurale, dai piccoli modelli di classificazione ai grandi modelli linguistici, dove la scelta del tasso di apprendimento iniziale e della sua evoluzione nel tempo è spesso oggetto di sperimentazione approfondita prima di lanciare un addestramento su vasta scala.
Il termine descrive direttamente il suo ruolo: definisce il "tasso", cioè la velocità, con cui il modello incorpora ciò che apprende dai dati a ogni iterazione, un concetto centrale fin dalle prime formulazioni degli algoritmi di discesa del gradiente applicati alle reti neurali.
From our network
AGORÀ Intelligence — Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Visit agora-intelligence.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.