AI Dictionary › Fondamenti AI
Compromesso bias-varianza
The bias-variance tradeoff describes a fundamental tension in machine learning: a model that is too simple tends to be systematically wrong because it cannot capture the true complexity of the data, a problem called bias, while a model that is too complex tends to chase every detail and random noise in the training data, a problem called variance, and in both cases performance on new data suffers.
The bias-variance tradeoff describes a fundamental tension in machine learning: a model that is too simple tends to be systematically wrong because it cannot capture the true complexity of the data, a problem called bias, while a model that is too complex tends to chase every detail and random noise in the training data, a problem called variance, and in both cases performance on new data suffers.
Bias is the error that comes from overly rigid assumptions about the model: a linear regression applied to a strongly nonlinear relationship will always have high bias, regardless of how much data it receives. Variance is the error that comes from the model's excessive sensitivity to the specific training data: a very deep decision tree can change its predictions drastically if trained on a slightly different sample of the same data. The total error a model makes on new data is, roughly, the sum of squared bias, variance and an irreducible error due to the data's intrinsic noise: reducing one almost always tends to increase the other.
This tradeoff guides nearly every practical decision in machine learning: how complex to make a model, how much data to collect, how strongly to apply regularization, when to stop training. A model with high bias suffers from underfitting, not learning enough from the data; a model with high variance suffers from overfitting, learning too much, including the noise. Cross-validation is the most widely used practical tool for finding the optimal balance point between the two extremes for a specific problem.
The formal decomposition of prediction error into bias and variance belongs to classical statistics, but its explicit formulation in the context of machine learning and neural networks is particularly credited to an influential paper by Stuart Geman, Elizabeth Bienenstock and René Doursat published in 1992, which made it one of the most cited guiding concepts for understanding why models generalize well or poorly to unseen data.
Il compromesso bias-varianza descrive una tensione fondamentale nel machine learning: un modello troppo semplice tende a sbagliare sistematicamente perché non riesce a catturare la vera complessità dei dati, un problema detto bias o distorsione, mentre un modello troppo complesso tende a inseguire ogni dettaglio e rumore casuale dei dati di addestramento, un problema detto varianza, e in entrambi i casi le prestazioni su dati nuovi ne risentono.
Il bias è l'errore che deriva da assunzioni troppo rigide sul modello: una regressione lineare applicata a una relazione fortemente non lineare avrà sempre un bias elevato, indipendentemente da quanti dati riceve. La varianza è l'errore che deriva dall'eccessiva sensibilità del modello ai dati specifici di addestramento: un albero decisionale molto profondo può cambiare drasticamente le sue previsioni se addestrato su un campione leggermente diverso degli stessi dati. L'errore totale che un modello commette su dati nuovi è, semplificando, la somma di bias al quadrato, varianza e un errore irriducibile dovuto al rumore intrinseco dei dati: ridurre l'uno tende quasi sempre ad aumentare l'altro.
Questo compromesso guida quasi ogni decisione pratica nel machine learning: quanto complesso rendere un modello, quanti dati raccogliere, quanto forte applicare la regolarizzazione, quando fermare l'addestramento. Un modello con bias alto soffre di underfitting, non impara abbastanza dai dati; un modello con varianza alta soffre di overfitting, impara troppo, incluso il rumore. La cross-validation è lo strumento pratico più usato per individuare il punto di equilibrio ottimale tra i due estremi per un problema specifico.
La scomposizione formale dell'errore di previsione in bias e varianza appartiene alla statistica classica, ma la sua formulazione esplicita nel contesto del machine learning e delle reti neurali si deve in particolare a un influente articolo di Stuart Geman, Elizabeth Bienenstock e René Doursat pubblicato nel 1992, che ne fece uno dei concetti guida più citati per capire perché i modelli generalizzano bene o male su dati mai visti.
From our network
INDACO TMS — Transport Management for European Logistics
Shipment tracking, multi-carrier EDI and automated invoicing in one cloud platform. Invoices generated in under 10 seconds.
Visit indacotms.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.