Dizionario AI › Fondamenti AI
Gli adapter layers sono piccoli moduli aggiuntivi inseriti all'interno di un modello pre-addestrato per specializzarlo su un nuovo compito, senza modificare i pesi originali del modello. Sono un'alternativa al fine-tuning completo, pensata per ridurre drasticamente il numero di parametri da addestrare mantenendo comunque un buon livello di adattamento.
Durante l'addestramento, i pesi del modello base restano congelati e solo i parametri degli adapter, di dimensioni molto più contenute, vengono aggiornati. Questi moduli vengono inseriti in punti specifici dell'architettura, tipicamente dopo i blocchi principali, e imparano trasformazioni mirate che adattano il comportamento del modello al nuovo compito.
Sono utili quando si devono gestire molti compiti diversi con lo stesso modello di base, perché permettono di conservare un adapter separato e leggero per ciascun compito, invece di mantenere copie complete del modello. Sono un approccio imparentato con tecniche più recenti come LoRA, che ne condividono l'obiettivo di adattamento efficiente dei parametri.
Sono stati proposti come metodo di transfer learning efficiente, per adattare modelli di grandi dimensioni a nuovi compiti riducendo il costo computazionale e di memoria rispetto al fine-tuning completo.
Dalla nostra rete
Kaimaki Web: Websites That Win Customers
Custom websites, web apps and digital marketing for growing businesses.
Vai su kaimakiweb.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.