AI Dictionary › Modelli AI
Dropout is a regularization technique that, during the training of a neural network, randomly deactivates a portion of a layer's neurons at each training step, temporarily preventing them from contributing to the computation. The goal is to stop the model from becoming excessively dependent on specific neurons or particular combinations of them.
Dropout is a regularization technique that, during the training of a neural network, randomly deactivates a portion of a layer's neurons at each training step, temporarily preventing them from contributing to the computation. The goal is to stop the model from becoming excessively dependent on specific neurons or particular combinations of them.
At each training iteration, every neuron in a layer with dropout has a certain probability of being switched off, meaning it produces an output of zero regardless of its input. Because the combination of active neurons changes at every step, the network is forced to spread information more redundantly across the available neurons, rather than relying on a few very specific pathways. During inference, dropout is turned off and all neurons contribute normally.
It is one of the most widely used techniques for countering overfitting in deep neural networks, and it is used both in convolutional networks for computer vision and in the feed-forward layers of attention-based architectures, although in the latter its use is often more limited than other forms of regularization.
The name literally describes the mechanism: neurons that are randomly "dropped out" of the computation at each iteration, an idea that gained wide adoption in the second half of the 2010s as a simple and effective method for improving models' generalization ability.
Il dropout è una tecnica di regolarizzazione che, durante l'addestramento di una rete neurale, disattiva casualmente una parte dei neuroni di uno strato a ogni passo di addestramento, impedendo loro di contribuire temporaneamente al calcolo. L'obiettivo è impedire che il modello diventi eccessivamente dipendente da specifici neuroni o da combinazioni particolari di essi.
A ogni iterazione dell'addestramento, ciascun neurone di uno strato con dropout ha una certa probabilità di essere spento, cioè di produrre un output pari a zero indipendentemente dal suo input. Poiché la combinazione di neuroni attivi cambia a ogni passo, la rete è costretta a distribuire l'informazione in modo più ridondante tra i neuroni disponibili, invece di fare affidamento su pochi percorsi molto specifici. Durante l'inferenza il dropout viene disattivato e tutti i neuroni contribuiscono normalmente.
È una delle tecniche più diffuse per contrastare l'overfitting nelle reti neurali profonde, ed è utilizzata sia nelle reti convoluzionali per la visione artificiale sia negli strati feed-forward delle architetture basate su attenzione, anche se in queste ultime il suo utilizzo è spesso più limitato rispetto ad altre forme di regolarizzazione.
Il nome descrive letteralmente il meccanismo: neuroni che vengono fatti "cadere fuori" (drop out) dal calcolo in modo casuale a ogni iterazione, un'idea che ha guadagnato ampia diffusione nella seconda metà degli anni 2010 come metodo semplice ed efficace per migliorare la capacità di generalizzazione dei modelli.
From our network
AGORÀ Intelligence — Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Visit agora-intelligence.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.