Dizionario AI › Fondamenti AI
Missing values
I valori mancanti sono le celle vuote o assenti in un dataset, punti in cui un'osservazione non ha un dato registrato per una particolare caratteristica: un cliente che non ha indicato l'età, un sensore che ha smesso di funzionare per qualche minuto, un campo lasciato vuoto in un modulo. Sono uno dei problemi più comuni e più insidiosi nella pratica reale del machine learning, perché la maggior parte degli algoritmi non sa come gestirli direttamente.
Prima ancora di decidere come trattarli, è importante capire perché mancano: un valore può mancare in modo completamente casuale, oppure la sua assenza può dipendere da altre variabili osservate o persino dal valore stesso che manca, per esempio le persone con redditi molto alti che tendono a non dichiararlo. Le strategie di gestione più comuni sono l'eliminazione delle righe o colonne con troppi valori mancanti, quando sono poche e non sistematiche, e l'imputazione, cioè la sostituzione dei valori assenti con stime plausibili, che vanno dalla semplice media o mediana della variabile a modelli predittivi più sofisticati che stimano il valore mancante sulla base delle altre caratteristiche disponibili.
Nell'AI applicata la gestione dei valori mancanti è un passaggio quasi obbligato prima dell'addestramento: molti algoritmi, come le reti neurali e le support vector machine, falliscono semplicemente se ricevono dati incompleti, mentre alcuni modelli basati su alberi, come alcune implementazioni di gradient boosting, sanno gestirli nativamente. È un tema particolarmente delicato in ambito sanitario, dove un dato mancante può nascondere un pattern clinico rilevante, e in survey e sondaggi, dove il tasso di mancata risposta va sempre valutato con attenzione.
Lo studio sistematico dei dati mancanti appartiene alla statistica del secondo Novecento, con un contributo fondamentale del lavoro di Donald Rubin, che nel 1976 formalizzò la distinzione tra i diversi meccanismi con cui i dati possono mancare, una classificazione ancora oggi alla base di come statistici e data scientist ragionano sul problema. Con la diffusione del machine learning su dati reali, spesso incompleti e raccolti in condizioni non controllate, la gestione dei valori mancanti è diventata una competenza pratica indispensabile per chiunque lavori con i dati.
Dalla nostra rete
HSE Genius: AI for Safety Data Sheets
Extract SDS data, H phrases and ECHA compliance checks in seconds, powered by AI.
Vai su hsegenius.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.