AI Dictionary › Modelli AI
Normalizzazione per batch
Batch normalization is a technique that rescales the values produced by a neural network layer by computing mean and variance across all examples in the same training batch, rather than over the values of a single example. Its purpose is to reduce unwanted variation in the distribution of values flowing through the network, making training more stable and often faster.
Batch normalization is a technique that rescales the values produced by a neural network layer by computing mean and variance across all examples in the same training batch, rather than over the values of a single example. Its purpose is to reduce unwanted variation in the distribution of values flowing through the network, making training more stable and often faster.
During training, for each mini-batch of examples processed together, the layer computes the mean and variance of the output values and normalizes them accordingly, then applies two learned parameters that let the network rescale and shift the values again if beneficial. During inference, when examples are often processed one at a time, running statistics accumulated during training are used instead of the current batch's statistics.
For years it was a standard component of convolutional neural networks used in computer vision, helping make much deeper networks trainable than before. It is less suited to models that process sequences of variable length or small batch sizes, contexts where techniques such as layer normalization are generally more effective.
The name describes the mechanism exactly: normalization is computed over the "batch", meaning the group of examples processed together in a single training step, an idea that had a significant impact on the speed and stability of training deep networks starting in the mid-2010s.
La normalizzazione per batch è una tecnica che riscala i valori prodotti da uno strato di una rete neurale calcolando media e varianza su tutti gli esempi presenti in uno stesso batch di addestramento, anziché sui valori di un singolo esempio. Lo scopo è ridurre le variazioni indesiderate nella distribuzione dei valori che attraversano la rete, rendendo l'addestramento più stabile e spesso più veloce.
Durante l'addestramento, per ogni mini-batch di esempi processati insieme, lo strato calcola la media e la varianza dei valori in uscita e li normalizza di conseguenza, per poi applicare due parametri appresi che permettono alla rete di riscalare e traslare nuovamente i valori se risulta vantaggioso. Durante l'inferenza, quando gli esempi vengono spesso elaborati uno alla volta, si usano statistiche medie accumulate durante l'addestramento anziché quelle del batch corrente.
È stata per anni una componente standard delle reti neurali convoluzionali usate nella visione artificiale, contribuendo a rendere addestrabili reti molto più profonde rispetto al passato. È meno adatta a modelli che elaborano sequenze di lunghezza variabile o batch di dimensione ridotta, contesti in cui tecniche come la normalizzazione dei livelli risultano generalmente più efficaci.
Il nome descrive esattamente il meccanismo: la normalizzazione viene calcolata sul "batch", cioè sul gruppo di esempi elaborati insieme in un singolo passo di addestramento, un'idea che ha avuto un impatto significativo sulla velocità e stabilità dell'addestramento delle reti profonde a partire dalla metà degli anni 2010.
From our network
Magellano GPS — Fleet Tracking Made Simple
Real-time GPS tracking, remote engine lock, fuel and CO₂ reporting for your fleet.
Visit magellanogps.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.