AI Dictionary › Modelli AI
Normalizzazione dei livelli
Layer normalization is a technique that rescales the values within each individual layer of a neural network so they have controlled mean and variance before being passed to the next layer. Its purpose is to keep the flow of numerical values stable across very deep networks, preventing numbers from growing or shrinking uncontrollably as they pass through many layers.
Layer normalization is a technique that rescales the values within each individual layer of a neural network so they have controlled mean and variance before being passed to the next layer. Its purpose is to keep the flow of numerical values stable across very deep networks, preventing numbers from growing or shrinking uncontrollably as they pass through many layers.
Unlike other normalization techniques that compute statistics over an entire batch of examples, layer normalization computes mean and variance over the values of a single example within the same layer, making it independent of the batch size used during training or inference. After normalization, two learned parameters let the model rescale and shift the values again if needed.
It is present in every block of modern attention-based architectures, typically before or after the attention and feed-forward sublayers, and contributes decisively to the ability to train networks with dozens or hundreds of layers without training becoming unstable.
It was proposed as an alternative to batch normalization in cases where the latter proved less effective, particularly for processing sequences of variable length, and has become the standard in sequential attention-based architectures.
La normalizzazione dei livelli è una tecnica che riscala i valori all'interno di ogni singolo strato di una rete neurale in modo che abbiano media e varianza controllate, prima di passarli allo strato successivo. Lo scopo è mantenere stabile il flusso dei valori numerici attraverso reti molto profonde, evitando che i numeri crescano o si riducano in modo incontrollato mano a mano che attraversano molti strati.
A differenza di altre tecniche di normalizzazione che calcolano statistiche su un intero batch di esempi, la normalizzazione dei livelli calcola media e varianza sui valori di un singolo esempio all'interno di uno stesso strato, rendendola indipendente dalla dimensione del batch usato durante l'addestramento o l'inferenza. Dopo la normalizzazione, due parametri appresi permettono al modello di riscalare e traslare nuovamente i valori se necessario.
È presente in ogni blocco delle architetture moderne basate su attenzione, tipicamente prima o dopo i sottostrati di attenzione e di rete feed-forward, e contribuisce in modo determinante alla possibilità di addestrare reti con decine o centinaia di strati senza che l'addestramento diventi instabile.
È stata proposta come alternativa alla normalizzazione per batch nei casi in cui quest'ultima risultava meno efficace, in particolare per l'elaborazione di sequenze di lunghezza variabile, ed è diventata lo standard nelle architetture sequenziali basate su attenzione.
From our network
HSE Genius — AI for Safety Data Sheets
Extract SDS data, H phrases and ECHA compliance checks in seconds, powered by AI.
Visit hsegenius.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.