Dizionario AI › Fondamenti AI
Data normalization
La normalizzazione dei dati è la tecnica che riscala le variabili numeriche di un dataset in un intervallo comune, tipicamente tra 0 e 1, in modo che nessuna caratteristica domini le altre solo perché espressa con numeri più grandi. Un modello che confronta il reddito annuo, espresso in migliaia, con l'età, espressa in poche decine, rischia di dare peso eccessivo al reddito solo per la sua scala, non per la sua reale importanza.
Il metodo più comune, detto min-max, trasforma ogni valore sottraendo il minimo della variabile e dividendo per la differenza tra massimo e minimo, ottenendo così un intervallo compreso esattamente tra 0 e 1. La trasformazione va calcolata sui dati di addestramento e poi applicata identica ai dati di test e a quelli futuri, per evitare che informazioni sul test set influenzino indirettamente l'addestramento. È sensibile ai valori estremi, un singolo outlier può comprimere tutti gli altri valori in un intervallo molto stretto.
È un passo di preparazione dati quasi obbligatorio per algoritmi sensibili alla scala delle variabili, come le reti neurali, il k-nearest neighbors e le support vector machine, mentre modelli basati su alberi decisionali, come random forest e gradient boosting, sono in gran parte indifferenti alla scala e non ne hanno bisogno. È applicata sistematicamente nella computer vision, dove i valori dei pixel vengono normalizzati prima di essere dati in ingresso a una rete neurale.
Il concetto di riportare variabili a scale comparabili appartiene alla statistica classica ben prima del machine learning, e il termine normalizzazione, dal latino norma, regola, descrive l'idea di riportare grandezze diverse a una regola condivisa. Con la diffusione delle reti neurali a partire dagli anni '80 e '90, la normalizzazione dei dati in ingresso è diventata una pratica standard, indispensabile per rendere stabile e veloce il processo di addestramento.
Dalla nostra rete
Kaimaki Web: Websites That Win Customers
Custom websites, web apps and digital marketing for growing businesses.
Vai su kaimakiweb.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.