AI Dictionary › Fondamenti AI
Early stopping is a technique that halts a model's training before it reaches the planned maximum number of epochs, when performance on validation data stops improving. It prevents overfitting, the situation where a model keeps improving on training data but its ability to generalize gets worse. It is one of the simplest and most widely used regularization techniques.
Early stopping is a technique that halts a model's training before it reaches the planned maximum number of epochs, when performance on validation data stops improving. It prevents overfitting, the situation where a model keeps improving on training data but its ability to generalize gets worse. It is one of the simplest and most widely used regularization techniques.
During training, a metric computed on a validation set separate from the training data is periodically monitored. When this metric stops improving for a certain number of consecutive checks, training is stopped and the checkpoint corresponding to the best-performing point is kept.
It is common practice when training many types of neural networks, including those used for classification, regression and generation tasks. It is often combined with other regularization techniques such as dropout or weight penalties, to obtain models that generalize better to unseen data.
It is an established regularization technique in machine learning practice, widely adopted for its low implementation cost and its effectiveness in preventing overfitting.
L'early stopping è una tecnica che interrompe l'addestramento di un modello prima che raggiunga il numero massimo di epoche previsto, quando le prestazioni sui dati di validazione smettono di migliorare. Serve a evitare l'overfitting, cioè la situazione in cui il modello continua a migliorare sui dati di addestramento ma peggiora sulla sua capacità di generalizzare. È una delle tecniche di regolarizzazione più semplici e diffuse.
Durante l'addestramento si monitora periodicamente una metrica calcolata su un insieme di validazione separato dai dati di training. Quando questa metrica smette di migliorare per un certo numero di controlli consecutivi, l'addestramento viene fermato e si conserva il checkpoint corrispondente al momento in cui le prestazioni erano migliori.
È una pratica comune nell'addestramento di reti neurali di molti tipi, incluse quelle usate per compiti di classificazione, regressione e generazione. Viene spesso combinata con altre tecniche di regolarizzazione come il dropout o la penalizzazione dei pesi, per ottenere modelli che generalizzano meglio su dati mai visti.
È una tecnica di regolarizzazione affermata nella pratica del machine learning, adottata ampiamente per il suo basso costo implementativo e la sua efficacia nel prevenire l'overfitting.
From our network
Magellano GPS — Fleet Tracking Made Simple
Real-time GPS tracking, remote engine lock, fuel and CO₂ reporting for your fleet.
Visit magellanogps.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.