Dizionario AI › Modelli AI
Il dropout è una tecnica di regolarizzazione che, durante l'addestramento di una rete neurale, disattiva casualmente una parte dei neuroni di uno strato a ogni passo di addestramento, impedendo loro di contribuire temporaneamente al calcolo. L'obiettivo è impedire che il modello diventi eccessivamente dipendente da specifici neuroni o da combinazioni particolari di essi.
A ogni iterazione dell'addestramento, ciascun neurone di uno strato con dropout ha una certa probabilità di essere spento, cioè di produrre un output pari a zero indipendentemente dal suo input. Poiché la combinazione di neuroni attivi cambia a ogni passo, la rete è costretta a distribuire l'informazione in modo più ridondante tra i neuroni disponibili, invece di fare affidamento su pochi percorsi molto specifici. Durante l'inferenza il dropout viene disattivato e tutti i neuroni contribuiscono normalmente.
È una delle tecniche più diffuse per contrastare l'overfitting nelle reti neurali profonde, ed è utilizzata sia nelle reti convoluzionali per la visione artificiale sia negli strati feed-forward delle architetture basate su attenzione, anche se in queste ultime il suo utilizzo è spesso più limitato rispetto ad altre forme di regolarizzazione.
Il nome descrive letteralmente il meccanismo: neuroni che vengono fatti "cadere fuori" (drop out) dal calcolo in modo casuale a ogni iterazione, un'idea che ha guadagnato ampia diffusione nella seconda metà degli anni 2010 come metodo semplice ed efficace per migliorare la capacità di generalizzazione dei modelli.
Dalla nostra rete
INDACO TMS: Transport Management for European Logistics
Shipment tracking, multi-carrier EDI and automated invoicing in one cloud platform. Invoices generated in under 10 seconds.
Vai su indacotms.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.