Dizionario AI › Fondamenti AI

Regolarizzazione

Regularization

La regolarizzazione è un insieme di tecniche che scoraggiano un modello di machine learning dal diventare troppo complesso, aggiungendo un costo esplicito alla complessità durante l'addestramento. L'obiettivo non è più soltanto minimizzare l'errore sui dati di addestramento, ma trovare un equilibrio tra adattarsi bene ai dati conosciuti e restare abbastanza semplice da generalizzare su dati nuovi, contrastando direttamente il rischio di overfitting.

Definizione

Come funziona

Nei modelli lineari le tecniche più comuni sono la regolarizzazione L1 e L2: entrambe aggiungono alla funzione di errore un termine proporzionale alla grandezza dei coefficienti del modello, penalizzando pesi troppo grandi. La L2, chiamata anche ridge, riduce i coefficienti gradualmente senza mai azzerarli del tutto; la L1, chiamata lasso, tende invece ad azzerare completamente i coefficienti meno utili, effettuando implicitamente una selezione delle caratteristiche più rilevanti. Nelle reti neurali esistono forme diverse di regolarizzazione, come il dropout, che disattiva casualmente una parte dei neuroni durante l'addestramento per impedire al modello di affidarsi troppo a singoli percorsi.

Applicazioni

È una tecnica praticamente onnipresente nel machine learning applicato: dai modelli di regressione usati in finanza e assicurazioni alle grandi reti neurali per la visione artificiale e il linguaggio, la regolarizzazione è quasi sempre presente in una forma o nell'altra. Il grado di regolarizzazione applicato è di norma un iperparametro da scegliere con la cross-validation, cercando il punto in cui il modello è abbastanza flessibile da imparare, ma non così tanto da imparare a memoria.

Storia ed etimologia

Il termine deriva dal latino regula, regola, e descrive letteralmente l'idea di imporre una regola aggiuntiva che tiene sotto controllo la libertà del modello. Le tecniche di regolarizzazione hanno origine nella matematica applicata e nella statistica del Novecento, in particolare nei problemi inversi mal posti studiati dal matematico sovietico Andrey Tikhonov negli anni '40 e '50, la cui formulazione, oggi nota come regolarizzazione di Tikhonov, è alla base della moderna regressione ridge usata in machine learning.

Termini correlati

• Overfitting
• Compromesso bias-varianza
• Feature selection
• Hyperparameter tuning (Ottimizzazione degli iperparametri)
• Regressione lineare

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.