AI Dictionary › Fondamenti AI
Gradient boosting is an ensemble technique that builds a powerful model by combining many weak models in sequence, typically small decision trees, where each new model is trained specifically to correct the errors made by the previous ones. Unlike random forest, where the trees are independent and vote together, in gradient boosting the trees are built one after another, each focused on the cases the predecessors got most wrong.
Gradient boosting is an ensemble technique that builds a powerful model by combining many weak models in sequence, typically small decision trees, where each new model is trained specifically to correct the errors made by the previous ones. Unlike random forest, where the trees are independent and vote together, in gradient boosting the trees are built one after another, each focused on the cases the predecessors got most wrong.
The mechanism works through successive approximations: it starts with a simple prediction, computes the residual error against the true values, and trains a new tree to predict exactly that residual. The new tree is added to the overall model with a reduced weight, controlled by a parameter called the learning rate, which slows the process down to avoid overly aggressive corrections. The name gradient comes from the fact that, formally, each new model is chosen by following the direction that most rapidly reduces an error function, the same principle as gradient descent, applied here to the choice of an entire model rather than a single parameter.
It is among the most effective techniques for tabular data and regularly dominates data science competitions: demand forecasting in retail, credit risk scoring, ranking systems in search engines and online advertising, anomaly detection. Optimized implementations such as XGBoost, LightGBM and CatBoost have made gradient boosting one of the most widely used tools in production for problems with structured data, often outperforming even more complex models.
The theoretical foundations of boosting, the idea of combining weak models into a strong one, trace back to the early 1990s with the work of Robert Schapire and Yoav Freund, which led to the AdaBoost algorithm in 1995. The formulation of gradient boosting as gradient descent in function space is mainly credited to Jerome Friedman, a Stanford statistician, who published it in a series of papers between the late 1990s and 2001, laying the groundwork for today's most widespread implementations.
Il gradient boosting è una tecnica di ensemble che costruisce un modello potente combinando in sequenza molti modelli deboli, tipicamente piccoli alberi decisionali, dove ogni nuovo modello viene addestrato specificamente per correggere gli errori commessi da quelli precedenti. A differenza del random forest, dove gli alberi sono indipendenti e votano insieme, nel gradient boosting gli alberi si costruiscono uno dopo l'altro, ciascuno concentrato sui casi in cui i predecessori hanno sbagliato di più.
Il meccanismo funziona per approssimazioni successive: si parte con una previsione semplice, si calcola l'errore residuo rispetto ai valori reali, e si addestra un nuovo albero per prevedere proprio quel residuo. Il nuovo albero viene aggiunto al modello complessivo con un peso ridotto, controllato da un parametro detto tasso di apprendimento, che rallenta il processo per evitare correzioni troppo aggressive. Il nome gradient deriva dal fatto che, formalmente, ogni nuovo modello viene scelto seguendo la direzione che riduce più rapidamente una funzione di errore, lo stesso principio della discesa del gradiente applicato però alla scelta di un intero modello anziché di un singolo parametro.
È tra le tecniche più efficaci per i dati tabellari e domina regolarmente le competizioni di data science: previsione della domanda nel retail, scoring del rischio creditizio, sistemi di ranking nei motori di ricerca e nella pubblicità online, rilevamento di anomalie. Implementazioni ottimizzate come XGBoost, LightGBM e CatBoost hanno reso il gradient boosting uno degli strumenti più usati in produzione per problemi con dati strutturati, spesso superando anche modelli più complessi.
Le basi teoriche del boosting, l'idea di combinare modelli deboli per ottenerne uno forte, risalgono ai primi anni '90 con i lavori di Robert Schapire e Yoav Freund, che portarono all'algoritmo AdaBoost nel 1995. La formulazione del gradient boosting come discesa del gradiente nello spazio delle funzioni si deve principalmente a Jerome Friedman, statistico di Stanford, che la pubblicò in una serie di articoli tra la fine degli anni '90 e il 2001, gettando le basi delle implementazioni oggi più diffuse.
From our network
Kaimaki Web — Websites That Win Customers
Custom websites, web apps and digital marketing for growing businesses.
Visit kaimakiweb.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.