Dizionario AI › Fondamenti AI
Mixed Precision Training
L'addestramento a precisione mista è una tecnica che usa formati numerici a precisione ridotta per una parte dei calcoli durante il training, mantenendo una precisione più alta dove serve maggiore stabilità. L'obiettivo è velocizzare l'addestramento e ridurre la memoria richiesta, senza compromettere in modo significativo la qualità del modello finale. È una pratica ormai standard nell'addestramento di modelli di grandi dimensioni.
Invece di usare numeri a 32 bit per ogni calcolo, gran parte delle operazioni viene eseguita con numeri a 16 bit, più veloci da elaborare e più leggeri da memorizzare. Alcuni passaggi critici, come l'accumulo dei gradienti, vengono mantenuti a precisione più alta per evitare errori numerici che comprometterebbero la convergenza dell'addestramento.
È ampiamente utilizzata nell'addestramento di grandi modelli linguistici e reti profonde su hardware specializzato come GPU e TPU, che sono ottimizzati per eseguire calcoli a precisione ridotta molto più velocemente. Permette di addestrare modelli più grandi a parità di risorse hardware disponibili.
È diventata pratica comune con la diffusione di hardware capace di eseguire calcoli a precisione ridotta in modo efficiente, contribuendo a rendere sostenibile l'addestramento dei modelli di grandi dimensioni odierni.
Dalla nostra rete
AGORÀ Intelligence: Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Vai su agora-intelligence.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.