AI Dictionary › Fondamenti AI
Adapter layers are small additional modules inserted inside a pre-trained model to specialize it for a new task, without modifying the model's original weights. They are an alternative to full fine-tuning, designed to drastically reduce the number of parameters that need training while still achieving good adaptation.
Adapter layers are small additional modules inserted inside a pre-trained model to specialize it for a new task, without modifying the model's original weights. They are an alternative to full fine-tuning, designed to drastically reduce the number of parameters that need training while still achieving good adaptation.
During training, the base model's weights stay frozen, and only the adapter parameters, which are much smaller in size, get updated. These modules are inserted at specific points in the architecture, typically after the main blocks, and learn targeted transformations that adjust the model's behavior for the new task.
They are useful when handling many different tasks with the same base model, since they allow a separate, lightweight adapter to be kept for each task instead of maintaining full copies of the model. They are related to more recent techniques such as LoRA, which share the same goal of parameter-efficient adaptation.
They were proposed as an efficient transfer learning method, adapting large-scale models to new tasks while reducing computational and memory costs compared to full fine-tuning.
Gli adapter layers sono piccoli moduli aggiuntivi inseriti all'interno di un modello pre-addestrato per specializzarlo su un nuovo compito, senza modificare i pesi originali del modello. Sono un'alternativa al fine-tuning completo, pensata per ridurre drasticamente il numero di parametri da addestrare mantenendo comunque un buon livello di adattamento.
Durante l'addestramento, i pesi del modello base restano congelati e solo i parametri degli adapter, di dimensioni molto più contenute, vengono aggiornati. Questi moduli vengono inseriti in punti specifici dell'architettura, tipicamente dopo i blocchi principali, e imparano trasformazioni mirate che adattano il comportamento del modello al nuovo compito.
Sono utili quando si devono gestire molti compiti diversi con lo stesso modello di base, perché permettono di conservare un adapter separato e leggero per ciascun compito, invece di mantenere copie complete del modello. Sono un approccio imparentato con tecniche più recenti come LoRA, che ne condividono l'obiettivo di adattamento efficiente dei parametri.
Sono stati proposti come metodo di transfer learning efficiente, per adattare modelli di grandi dimensioni a nuovi compiti riducendo il costo computazionale e di memoria rispetto al fine-tuning completo.
From our network
AGORÀ Intelligence — Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Visit agora-intelligence.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.