Dizionario AI › Fondamenti AI

Compromesso bias-varianza

Bias-variance tradeoff

Il compromesso bias-varianza descrive una tensione fondamentale nel machine learning: un modello troppo semplice tende a sbagliare sistematicamente perché non riesce a catturare la vera complessità dei dati, un problema detto bias o distorsione, mentre un modello troppo complesso tende a inseguire ogni dettaglio e rumore casuale dei dati di addestramento, un problema detto varianza, e in entrambi i casi le prestazioni su dati nuovi ne risentono.

Definizione

Come funziona

Il bias è l'errore che deriva da assunzioni troppo rigide sul modello: una regressione lineare applicata a una relazione fortemente non lineare avrà sempre un bias elevato, indipendentemente da quanti dati riceve. La varianza è l'errore che deriva dall'eccessiva sensibilità del modello ai dati specifici di addestramento: un albero decisionale molto profondo può cambiare drasticamente le sue previsioni se addestrato su un campione leggermente diverso degli stessi dati. L'errore totale che un modello commette su dati nuovi è, semplificando, la somma di bias al quadrato, varianza e un errore irriducibile dovuto al rumore intrinseco dei dati: ridurre l'uno tende quasi sempre ad aumentare l'altro.

Applicazioni

Questo compromesso guida quasi ogni decisione pratica nel machine learning: quanto complesso rendere un modello, quanti dati raccogliere, quanto forte applicare la regolarizzazione, quando fermare l'addestramento. Un modello con bias alto soffre di underfitting, non impara abbastanza dai dati; un modello con varianza alta soffre di overfitting, impara troppo, incluso il rumore. La cross-validation è lo strumento pratico più usato per individuare il punto di equilibrio ottimale tra i due estremi per un problema specifico.

Storia ed etimologia

La scomposizione formale dell'errore di previsione in bias e varianza appartiene alla statistica classica, ma la sua formulazione esplicita nel contesto del machine learning e delle reti neurali si deve in particolare a un influente articolo di Stuart Geman, Elizabeth Bienenstock e René Doursat pubblicato nel 1992, che ne fece uno dei concetti guida più citati per capire perché i modelli generalizzano bene o male su dati mai visti.

Termini correlati

• Overfitting
• Regolarizzazione
• Cross-validation
• Albero decisionale
• Hyperparameter tuning (Ottimizzazione degli iperparametri)

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.