Dizionario AI › Modelli AI
Layer Normalization
La normalizzazione dei livelli è una tecnica che riscala i valori all'interno di ogni singolo strato di una rete neurale in modo che abbiano media e varianza controllate, prima di passarli allo strato successivo. Lo scopo è mantenere stabile il flusso dei valori numerici attraverso reti molto profonde, evitando che i numeri crescano o si riducano in modo incontrollato mano a mano che attraversano molti strati.
A differenza di altre tecniche di normalizzazione che calcolano statistiche su un intero batch di esempi, la normalizzazione dei livelli calcola media e varianza sui valori di un singolo esempio all'interno di uno stesso strato, rendendola indipendente dalla dimensione del batch usato durante l'addestramento o l'inferenza. Dopo la normalizzazione, due parametri appresi permettono al modello di riscalare e traslare nuovamente i valori se necessario.
È presente in ogni blocco delle architetture moderne basate su attenzione, tipicamente prima o dopo i sottostrati di attenzione e di rete feed-forward, e contribuisce in modo determinante alla possibilità di addestrare reti con decine o centinaia di strati senza che l'addestramento diventi instabile.
È stata proposta come alternativa alla normalizzazione per batch nei casi in cui quest'ultima risultava meno efficace, in particolare per l'elaborazione di sequenze di lunghezza variabile, ed è diventata lo standard nelle architetture sequenziali basate su attenzione.
Dalla nostra rete
AGORÀ Intelligence: Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Vai su agora-intelligence.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.