AI Dictionary › Fondamenti AI

Random forest

Random forest is a machine learning model that combines the predictions of many different decision trees to achieve a more accurate and stable result than a single tree would produce. The underlying idea is that a large group of imperfect but diverse models, voting together, makes fewer mistakes than any single model, however well built.

Definition

What it is

Random forest is a machine learning model that combines the predictions of many different decision trees to achieve a more accurate and stable result than a single tree would produce. The underlying idea is that a large group of imperfect but diverse models, voting together, makes fewer mistakes than any single model, however well built.

How it works

Each tree in the forest is trained on a random sample of the data, drawn with replacement from the original dataset, and at each of its nodes it can consider only a random subset of the available features instead of all of them. This double injection of randomness makes the trees different from one another, preventing them from all making the same mistakes. The final prediction comes from having the trees vote in classification, or averaging their outputs in regression.

Applications

It is one of the most widely used models in production for tabular problems, data organized in rows and columns like a spreadsheet or database: fraud detection, customer churn prediction, insurance risk assessment, medical diagnosis based on lab tests. It delivers good performance without much tuning effort, holds up well against noisy data, and also provides an estimate of which features matter most in the decision.

History & etymology

The term random forest, literally a random forest, plays on the fact that many decision trees together form exactly that, a forest, and that the randomness in choosing data and features is what makes them collectively stronger. The algorithm took its definitive shape with the work of Leo Breiman, a statistician at the University of California, Berkeley, who published its finished formulation in a 2001 paper, building on earlier ideas of bagging and random feature selection developed in the second half of the 1990s.

Definizione (italiano)

Il random forest è un modello di machine learning che combina le previsioni di molti alberi decisionali diversi per ottenere un risultato più accurato e stabile di quello che otterrebbe un singolo albero. L'idea di fondo è che un gruppo numeroso di modelli imperfetti ma diversi tra loro, votando insieme, commetta meno errori di un solo modello, per quanto ben costruito.

Ogni albero della foresta viene addestrato su un campione casuale dei dati, estratto con ripetizione dal dataset originale, e a ogni suo nodo può considerare solo un sottoinsieme casuale delle caratteristiche disponibili invece di tutte. Questa doppia iniezione di casualità rende gli alberi tra loro diversi, evitando che commettano tutti gli stessi errori. La previsione finale si ottiene facendo votare gli alberi nella classificazione, o mediandone i risultati nella regressione.

È uno dei modelli più usati in produzione per problemi tabellari, dati organizzati in righe e colonne come quelli di un foglio di calcolo o di un database: rilevamento di frodi, previsione dell'abbandono clienti, valutazione del rischio assicurativo, diagnosi mediche basate su esami di laboratorio. Offre buone prestazioni senza bisogno di grande lavoro di ottimizzazione, resiste bene a dati rumorosi e fornisce anche una stima di quali caratteristiche contano di più nella decisione.

Il termine random forest, letteralmente foresta casuale, gioca sul fatto che molti alberi decisionali insieme formano appunto una foresta, e che la casualità nella scelta di dati e caratteristiche è ciò che li rende collettivamente più forti. L'algoritmo prende forma compiuta con il lavoro di Leo Breiman, statistico dell'Università della California a Berkeley, che ne pubblicò la formulazione definitiva in un articolo del 2001, costruendo su idee precedenti di bagging e selezione casuale delle caratteristiche sviluppate nella seconda metà degli anni '90.

Related terms

More in Fondamenti AI

Put it into practice

From our network

AGORÀ Intelligence — Enterprise AI Governance Platform

Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.

Visit agora-intelligence.com →

From the Agora Intelligence blog

More on agora-intelligence.com →

📱 Download the Android app (beta) iOS coming soon

Say what you mean. Get what you need.

Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.