Dizionario AI › Fondamenti AI

Data Pipeline

Una data pipeline è una sequenza automatizzata di passaggi che sposta e trasforma i dati da una sorgente a una destinazione: raccolta, pulizia, arricchimento, caricamento. Come un acquedotto per le informazioni, fa fluire i dati grezzi dai punti di origine fino ai sistemi dove diventano utili, in modo ripetibile e controllato.

Definizione

Come funziona

Ogni stadio della pipeline riceve l'output del precedente: un connettore estrae i dati da un database o un'API, trasformazioni successive li validano, li normalizzano e li aggregano, infine il risultato viene caricato in un data warehouse, un data lake o un indice. Orchestratori come Apache Airflow, Prefect o Dagster gestiscono dipendenze, pianificazione, retry sui fallimenti e monitoraggio.

Applicazioni

Nell'AI le pipeline sono il sistema circolatorio: preparano i dataset di addestramento (deduplicazione, filtraggio, tokenizzazione), alimentano gli indici vettoriali del RAG con documenti aggiornati e trasportano i log di produzione verso i sistemi di valutazione dei modelli. Fuori dall'AI muovono i dati di vendite, sensori e transazioni verso report e dashboard aziendali.

Storia ed etimologia

La metafora viene dalla pipeline petrolifera, la conduttura che trasporta greggio attraverso stadi successivi. In informatica il concetto ha un padre nobile: Douglas McIlroy dei Bell Labs, che nel 1973 introdusse le pipe di Unix, il meccanismo per concatenare programmi facendo scorrere l'output dell'uno nell'input del successivo. Da quell'idea, comporre passaggi semplici in flussi complessi, discendono le moderne pipeline di dati.

Come si usa in Grace

Il percorso Grace funziona come una pipeline di competenze: i 1515 corsi forniscono la materia prima, la palestra quotidiana la raffina con il punteggio 0-100 e l'esame di certificazione con URL verificabile è l'output finale. Negli scenari data-driven, il termine ti serve per descrivere flussi di dati all'AI con precisione.

Termini correlati

• ETL
• Data Lake
• Streaming
• Batch Processing
• Dati di addestramento (Training Data)

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.