AI Dictionary › Fondamenti AI

Catastrophic Forgetting

Oblio catastrofico

Definition

Catastrophic forgetting is a neural network's tendency to suddenly forget what it had learned when trained on a new task. Because learning means modifying the same shared parameters, adapting them to new information can overwrite the old, erasing previously acquired skills. It's like a student who, focusing intensely on a new subject, forgets almost everything studied before, because they 'overwrote' the same memory instead of adding to it. The phenomenon is especially insidious in sequential learning, where tasks arrive one after another.

Managing catastrophic forgetting is central when updating or specializing a model without losing its general abilities, for instance during fine-tuning. Techniques like rehearsing old data, protecting the most important parameters, or adding small dedicated modules help the model learn new things while retaining what it already knew.

Definizione (italiano)

L'oblio catastrofico è la tendenza di una rete neurale a dimenticare improvvisamente ciò che aveva imparato quando viene addestrata su un nuovo compito. Poiché l'apprendimento consiste nel modificare gli stessi parametri condivisi, adattarli a nuove informazioni può sovrascrivere quelle vecchie, cancellando competenze acquisite in precedenza. È come uno studente che, concentrandosi intensamente su una nuova materia, dimentica quasi tutto ciò che aveva studiato prima, perché ha 'riscritto' la stessa memoria invece di aggiungervi. Il fenomeno è particolarmente insidioso nell'apprendimento sequenziale, dove i compiti arrivano uno dopo l'altro.

Gestire l'oblio catastrofico è centrale quando si vuole aggiornare o specializzare un modello senza perderne le capacità generali, ad esempio durante il fine-tuning. Tecniche come il ripasso di dati vecchi, la protezione dei parametri più importanti o l'aggiunta di piccoli moduli dedicati aiutano il modello a imparare cose nuove conservando ciò che già sapeva.

Related terms

• Transfer Learning
• Fine-tuning
• Parameters
• Neural Network
• Pre-training

More in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• AI Hallucination
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

📱 Download the Android app (beta) iOS coming soon

Say what you mean. Get what you need.

Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.