Dizionario AI › Fondamenti AI

Gradient boosting

Il gradient boosting è una tecnica di ensemble che costruisce un modello potente combinando in sequenza molti modelli deboli, tipicamente piccoli alberi decisionali, dove ogni nuovo modello viene addestrato specificamente per correggere gli errori commessi da quelli precedenti. A differenza del random forest, dove gli alberi sono indipendenti e votano insieme, nel gradient boosting gli alberi si costruiscono uno dopo l'altro, ciascuno concentrato sui casi in cui i predecessori hanno sbagliato di più.

Definizione

Come funziona

Il meccanismo funziona per approssimazioni successive: si parte con una previsione semplice, si calcola l'errore residuo rispetto ai valori reali e si addestra un nuovo albero per prevedere proprio quel residuo. Il nuovo albero viene aggiunto al modello complessivo con un peso ridotto, controllato da un parametro detto tasso di apprendimento, che rallenta il processo per evitare correzioni troppo aggressive. Il nome gradient deriva dal fatto che, formalmente, ogni nuovo modello viene scelto seguendo la direzione che riduce più rapidamente una funzione di errore, lo stesso principio della discesa del gradiente applicato però alla scelta di un intero modello anziché di un singolo parametro.

Applicazioni

È tra le tecniche più efficaci per i dati tabellari e domina regolarmente le competizioni di data science: previsione della domanda nel retail, scoring del rischio creditizio, sistemi di ranking nei motori di ricerca e nella pubblicità online, rilevamento di anomalie. Implementazioni ottimizzate come XGBoost, LightGBM e CatBoost hanno reso il gradient boosting uno degli strumenti più usati in produzione per problemi con dati strutturati, spesso superando anche modelli più complessi.

Storia ed etimologia

Le basi teoriche del boosting, l'idea di combinare modelli deboli per ottenerne uno forte, risalgono ai primi anni '90 con i lavori di Robert Schapire e Yoav Freund, che portarono all'algoritmo AdaBoost nel 1995. La formulazione del gradient boosting come discesa del gradiente nello spazio delle funzioni si deve principalmente a Jerome Friedman, statistico di Stanford, che la pubblicò in una serie di articoli tra la fine degli anni '90 e il 2001, gettando le basi delle implementazioni oggi più diffuse.

Termini correlati

• Random forest
• Albero decisionale
• Ensemble learning
• Hyperparameter tuning (Ottimizzazione degli iperparametri)
• Discesa del gradiente

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.