AI Dictionary › Fondamenti AI
Normalizzazione dei dati
Data normalization is the technique of rescaling the numeric variables of a dataset into a common range, typically between 0 and 1, so that no feature dominates the others just because it is expressed in larger numbers. A model comparing annual income, in thousands, with age, in a couple of dozen units, risks giving excessive weight to income purely because of its scale, not its real importance.
Data normalization is the technique of rescaling the numeric variables of a dataset into a common range, typically between 0 and 1, so that no feature dominates the others just because it is expressed in larger numbers. A model comparing annual income, in thousands, with age, in a couple of dozen units, risks giving excessive weight to income purely because of its scale, not its real importance.
The most common method, called min-max scaling, transforms each value by subtracting the variable's minimum and dividing by the difference between maximum and minimum, producing a range exactly between 0 and 1. The transformation must be computed on the training data and then applied identically to the test data and to future data, to avoid letting information from the test set indirectly influence training. It is sensitive to extreme values: a single outlier can compress all other values into a very narrow range.
It is an almost mandatory data preparation step for algorithms sensitive to variable scale, such as neural networks, k-nearest neighbors and support vector machines, while tree-based models, such as random forest and gradient boosting, are largely indifferent to scale and do not need it. It is applied systematically in computer vision, where pixel values are normalized before being fed into a neural network.
The idea of bringing different variables to comparable scales belongs to classical statistics well before machine learning, and the term normalization, from the Latin norma, rule, describes the idea of bringing different quantities under a shared rule. With the spread of neural networks from the 1980s and 90s onward, normalizing input data became standard practice, essential for making the training process stable and fast.
La normalizzazione dei dati è la tecnica che riscala le variabili numeriche di un dataset in un intervallo comune, tipicamente tra 0 e 1, in modo che nessuna caratteristica domini le altre solo perché espressa con numeri più grandi. Un modello che confronta il reddito annuo, espresso in migliaia, con l'età, espressa in poche decine, rischia di dare peso eccessivo al reddito solo per la sua scala, non per la sua reale importanza.
Il metodo più comune, detto min-max, trasforma ogni valore sottraendo il minimo della variabile e dividendo per la differenza tra massimo e minimo, ottenendo così un intervallo compreso esattamente tra 0 e 1. La trasformazione va calcolata sui dati di addestramento e poi applicata identica ai dati di test e a quelli futuri, per evitare che informazioni sul test set influenzino indirettamente l'addestramento. È sensibile ai valori estremi, un singolo outlier può comprimere tutti gli altri valori in un intervallo molto stretto.
È un passo di preparazione dati quasi obbligatorio per algoritmi sensibili alla scala delle variabili, come le reti neurali, il k-nearest neighbors e le support vector machine, mentre modelli basati su alberi decisionali, come random forest e gradient boosting, sono in gran parte indifferenti alla scala e non ne hanno bisogno. È applicata sistematicamente nella computer vision, dove i valori dei pixel vengono normalizzati prima di essere dati in ingresso a una rete neurale.
Il concetto di riportare variabili a scale comparabili appartiene alla statistica classica ben prima del machine learning, e il termine normalizzazione, dal latino norma, regola, descrive l'idea di riportare grandezze diverse a una regola condivisa. Con la diffusione delle reti neurali a partire dagli anni '80 e '90, la normalizzazione dei dati in ingresso è diventata una pratica standard, indispensabile per rendere stabile e veloce il processo di addestramento.
From our network
AGORÀ Intelligence — Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Visit agora-intelligence.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.