Dizionario AI › Fondamenti AI
LoRA è una tecnica di fine-tuning efficiente che permette di specializzare un modello pre-addestrato senza modificare tutti i suoi parametri originali. Invece di aggiornare l'intera matrice dei pesi, congela il modello di base e aggiunge piccole matrici addizionali che vengono addestrate al posto suo. Il risultato è un adattamento mirato che richiede una frazione della memoria e del tempo di calcolo di un fine-tuning completo.
Il funzionamento si basa sull'idea che le variazioni necessarie per specializzare un modello abbiano una struttura a basso rango, cioè possano essere rappresentate con matrici molto più piccole di quelle originali. Durante l'addestramento si aggiornano solo queste matrici aggiuntive, mentre i pesi del modello base restano invariati. A inferenza, i due contributi vengono combinati per produrre l'output finale.
LoRA è oggi molto diffusa per personalizzare grandi modelli linguistici e modelli di generazione immagini su compiti specifici, con hardware limitato rispetto al fine-tuning tradizionale. Consente inoltre di mantenere più adattatori leggeri per usi diversi, caricabili sullo stesso modello base senza duplicarlo interamente.
È stata proposta come metodo di adattamento efficiente dei parametri (parameter-efficient fine-tuning) per ridurre i costi computazionali del fine-tuning su modelli di grandi dimensioni.
Dalla nostra rete
Kaimaki Web: Websites That Win Customers
Custom websites, web apps and digital marketing for growing businesses.
Vai su kaimakiweb.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.