Dizionario AI › Fondamenti AI

Data cleaning

Il data cleaning, o pulizia dei dati, è l'insieme delle operazioni con cui si individuano e si correggono errori, incoerenze, duplicati e valori mancanti in un dataset prima di usarlo per addestrare un modello di machine learning. È spesso la fase meno appariscente ma più determinante di un progetto di dati: un modello sofisticato addestrato su dati sporchi produce risultati inaffidabili, indipendentemente da quanto sia avanzato l'algoritmo scelto.

Definizione

Come funziona

Il processo comprende diverse attività tipiche: individuare e gestire i valori mancanti, rimuovere o correggere i record duplicati, uniformare formati incoerenti come date scritte in modi diversi, individuare valori palesemente errati o fuori scala, come un'età di 200 anni, e verificare la coerenza tra campi collegati tra loro. Spesso richiede anche di uniformare le unità di misura, correggere errori di battitura in campi testuali e risolvere ambiguità nella codifica delle categorie, per esempio quando la stessa città compare scritta in più modi diversi nello stesso dataset.

Applicazioni

Nell'AI applicata il data cleaning precede quasi sempre il feature engineering ed è responsabile, secondo diverse stime di settore, della maggior parte del tempo speso in un tipico progetto di data science, spesso più del tempo dedicato alla scelta e all'addestramento del modello vero e proprio. È particolarmente critico in settori regolamentati come sanità e finanza, dove dati sporchi possono tradursi in decisioni automatizzate scorrette con conseguenze dirette su persone reali.

Storia ed etimologia

Il concetto di verificare e correggere la qualità dei dati appartiene alla statistica applicata e all'elaborazione dati aziendale ben prima del machine learning, con radici nelle pratiche di controllo qualità dei censimenti e delle rilevazioni statistiche del Novecento. Con la crescita esponenziale dei volumi di dati raccolti automaticamente dagli anni '90 in poi, il data cleaning si è affermato come disciplina distinta all'interno della più ampia data governance, con strumenti e metodologie dedicate.

Termini correlati

• Valori mancanti (Missing Values)
• Outlier (Valore anomalo)
• Dataset
• Feature engineering
• Data Governance

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.