Dizionario AI › Modelli AI
Adam Optimizer
Adam è un algoritmo di ottimizzazione usato per aggiornare i parametri di una rete neurale durante l'addestramento, combinando i vantaggi di due tecniche precedenti: l'uso di una media mobile dei gradienti passati per rendere gli aggiornamenti più stabili, e l'adattamento automatico del tasso di apprendimento per ciascun parametro individualmente, in base alla sua storia recente di aggiornamenti.
A ogni passo di addestramento, Adam mantiene per ogni parametro due quantità che si aggiornano nel tempo: una stima della direzione media recente del gradiente e una stima della sua variabilità recente. Combinando queste due informazioni, l'algoritmo calcola un aggiornamento che tende ad essere più grande per i parametri che cambiano poco e più prudente per quelli che oscillano molto, permettendo una convergenza generalmente più rapida e robusta rispetto alla discesa del gradiente semplice.
È l'ottimizzatore più utilizzato nell'addestramento delle reti neurali profonde moderne, inclusi i grandi modelli linguistici, spesso nella sua variante che introduce una correzione per la regolarizzazione dei pesi. La sua adozione diffusa è dovuta alla combinazione di buone prestazioni pratiche e relativa insensibilità alla scelta iniziale degli iperparametri rispetto ad altri metodi.
Il nome è un acronimo che fa riferimento alla stima adattiva dei momenti (adaptive moment estimation) su cui si basa l'algoritmo, proposto nella prima metà degli anni 2010 come evoluzione dei metodi di ottimizzazione precedenti usati nell'addestramento delle reti neurali.
Dalla nostra rete
AGORÀ Intelligence: Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Vai su agora-intelligence.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.