AI Dictionary › Fondamenti AI
Ensemble learning is the strategy of combining the predictions of multiple machine learning models to achieve an overall result more accurate and stable than any single model would achieve alone. It rests on an intuition as simple as it is powerful: different models often make different mistakes, and combining them appropriately tends to make individual errors cancel out.
Ensemble learning is the strategy of combining the predictions of multiple machine learning models to achieve an overall result more accurate and stable than any single model would achieve alone. It rests on an intuition as simple as it is powerful: different models often make different mistakes, and combining them appropriately tends to make individual errors cancel out.
There are several strategies for building an ensemble. Bagging trains many identical models on different random samples of the same data and averages their results, as random forest does with its decision trees. Boosting trains models in sequence, each focused on correcting the mistakes of the previous ones, as in gradient boosting. Stacking combines even very different models, for example a decision tree, a logistic regression and a neural network, using a further model that learns how to best weigh each one's predictions. In every case, diversity among the combined models is what makes the ensemble effective: identical models that all make the same mistakes add no value by voting together.
Ensembles dominate data science competitions on tabular data and are widely used in production wherever reliable predictions are needed: credit scoring, demand forecasting, fraud detection, recommendation systems. The price to pay is lower interpretability compared to a single simple model, and higher computational cost both in training and in production, since every prediction requires consulting multiple models instead of just one.
The idea of combining multiple estimates or judgments to achieve a result better than any single one is ancient, rooted in collective decision theory and classical statistics. In machine learning, ensemble learning developed as a systematic discipline starting in the 1990s, with foundational work on bagging by Leo Breiman in 1996 and on boosting by Robert Schapire and Yoav Freund in the mid-decade, which formally demonstrated how combining weak models could produce much stronger predictions.
L'ensemble learning è la strategia di combinare le previsioni di più modelli di machine learning per ottenere un risultato complessivo più accurato e stabile di quello che qualunque singolo modello otterrebbe da solo. Si basa su un'intuizione semplice quanto potente: modelli diversi commettono spesso errori diversi, e combinandoli in modo opportuno gli errori di ciascuno tendono a compensarsi.
Esistono diverse strategie per costruire un ensemble. Il bagging addestra molti modelli identici su campioni casuali diversi degli stessi dati e ne media i risultati, come fa il random forest con i suoi alberi decisionali. Il boosting addestra i modelli in sequenza, ciascuno concentrato a correggere gli errori dei precedenti, come nel gradient boosting. Lo stacking combina modelli anche molto diversi tra loro, per esempio un albero decisionale, una regressione logistica e una rete neurale, usando un ulteriore modello che impara come pesare al meglio le previsioni di ciascuno. In tutti i casi, la diversità tra i modelli combinati è ciò che rende l'ensemble efficace: modelli tutti uguali che sbagliano allo stesso modo non aggiungono valore votando insieme.
Gli ensemble dominano le competizioni di data science su dati tabellari e sono ampiamente usati in produzione ovunque servano previsioni affidabili: scoring del credito, previsione della domanda, rilevamento di frodi, sistemi di raccomandazione. Il prezzo da pagare è una minore interpretabilità rispetto a un singolo modello semplice, e un costo computazionale più alto sia in addestramento sia in produzione, poiché ogni previsione richiede di consultare più modelli invece di uno solo.
L'idea di combinare più stime o giudizi per ottenere un risultato migliore di ciascuno preso singolarmente è antica, radicata nella teoria delle decisioni collettive e nella statistica classica. Nel machine learning l'ensemble learning si sviluppa come disciplina sistematica a partire dagli anni '90, con lavori fondativi sul bagging di Leo Breiman nel 1996 e sul boosting di Robert Schapire e Yoav Freund a metà del decennio, che dimostrarono formalmente come combinare modelli deboli potesse produrre previsioni molto più forti.
From our network
Kaimaki Web — Websites That Win Customers
Custom websites, web apps and digital marketing for growing businesses.
Visit kaimakiweb.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.