Dizionario AI › Fondamenti AI
Catastrophic Forgetting
L'oblio catastrofico è la tendenza di una rete neurale a dimenticare improvvisamente ciò che aveva imparato quando viene addestrata su un nuovo compito. Poiché l'apprendimento consiste nel modificare gli stessi parametri condivisi, adattarli a nuove informazioni può sovrascrivere quelle vecchie, cancellando competenze acquisite in precedenza. È come uno studente che, concentrandosi intensamente su una nuova materia, dimentica quasi tutto ciò che aveva studiato prima, perché ha 'riscritto' la stessa memoria invece di aggiungervi. Il fenomeno è particolarmente insidioso nell'apprendimento sequenziale, dove i compiti arrivano uno dopo l'altro.
Gestire l'oblio catastrofico è centrale quando si vuole aggiornare o specializzare un modello senza perderne le capacità generali, ad esempio durante il fine-tuning. Tecniche come il ripasso di dati vecchi, la protezione dei parametri più importanti o l'aggiunta di piccoli moduli dedicati aiutano il modello a imparare cose nuove conservando ciò che già sapeva.
Dalla nostra rete
HSE Genius: AI for Safety Data Sheets
Extract SDS data, H phrases and ECHA compliance checks in seconds, powered by AI.
Vai su hsegenius.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.