Dizionario AI › Fondamenti AI
Hyperparameter tuning
L'hyperparameter tuning è il processo di trovare la combinazione migliore di iperparametri, le impostazioni di un modello di machine learning che non vengono apprese dai dati ma decise prima dell'addestramento, come la profondità massima di un albero decisionale, il numero di alberi in una foresta o il tasso di apprendimento usato nella discesa del gradiente. A differenza dei parametri veri e propri, che il modello impara automaticamente, gli iperparametri vanno scelti dall'esterno, e la scelta giusta può fare una differenza enorme sulle prestazioni finali.
L'approccio più semplice, la grid search, prova sistematicamente tutte le combinazioni possibili di un insieme predefinito di valori per ciascun iperparametro, valutando ogni combinazione tipicamente con la cross-validation. È esaustivo ma diventa rapidamente troppo costoso quando gli iperparametri da esplorare sono molti. La random search campiona invece combinazioni casuali dallo spazio degli iperparametri, risultando spesso sorprendentemente efficiente perché esplora un ventaglio più ampio di valori con lo stesso numero di tentativi. Metodi più avanzati, come l'ottimizzazione bayesiana, usano i risultati dei tentativi precedenti per decidere in modo intelligente quale combinazione provare successivamente, concentrando la ricerca nelle zone più promettenti dello spazio di ricerca.
È un passaggio pressoché universale in ogni progetto serio di machine learning: dai modelli classici come random forest e gradient boosting, dove il numero di iperparametri da regolare è spesso considerevole, alle reti neurali profonde, dove il tuning riguarda architettura, tasso di apprendimento, dimensione dei batch e strategie di regolarizzazione. Piattaforme di machine learning automatico, note come AutoML, hanno reso questo processo sempre più automatizzato, riducendo il carico manuale su data scientist e ingegneri.
Il termine iperparametro, hyperparameter, distingue esplicitamente queste impostazioni esterne dai parametri, quelli interni che il modello stima durante l'addestramento, una distinzione consolidata nella letteratura statistica e bayesiana ben prima della diffusione del machine learning moderno. Il termine tuning, letteralmente accordatura, richiama la metafora dell'accordare uno strumento musicale fino a trovare il suono giusto, un'immagine che rende bene l'idea di un processo iterativo di aggiustamento fine.
Dalla nostra rete
HSE Genius: AI for Safety Data Sheets
Extract SDS data, H phrases and ECHA compliance checks in seconds, powered by AI.
Vai su hsegenius.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.