Dizionario AI › Modelli AI
Context Length
La lunghezza del contesto è il numero massimo di token che un modello linguistico può ricevere ed elaborare in un'unica sessione di inferenza, comprendendo sia il testo fornito in input sia, spesso, il testo che il modello genera in risposta. È un limite architetturale intrinseco al modello, deciso e fissato durante l'addestramento.
Questo limite dipende in larga parte dal meccanismo di attenzione, il cui costo computazionale e di memoria cresce rapidamente con la lunghezza della sequenza elaborata, poiché ogni token deve potenzialmente confrontarsi con ogni altro token della sequenza. Estendere la lunghezza del contesto oltre i valori usati in addestramento richiede tecniche specifiche, come schemi di codifica posizionale progettati per generalizzare oltre le lunghezze osservate durante l'addestramento, o adattamenti successivi mirati proprio ad ampliare questo limite.
È un parametro rilevante per ogni applicazione pratica dei modelli linguistici: determina quanto testo, quanta cronologia di conversazione o quanti documenti possono essere inclusi in un'unica richiesta senza dover ricorrere a tecniche di recupero o riassunto. Modelli con contesti più ampi possono elaborare direttamente documenti interi, lunghe conversazioni o grandi porzioni di codice sorgente in un solo passaggio.
Il termine è strettamente collegato al concetto più generale di finestra di contesto, e la sua importanza è cresciuta di pari passo con la diffusione di modelli linguistici capaci di gestire quantità di testo sempre maggiori senza perdita significativa di coerenza o accuratezza.
Dalla nostra rete
Magellano GPS: Fleet Tracking Made Simple
Real-time GPS tracking, remote engine lock, fuel and CO₂ reporting for your fleet.
Vai su magellanogps.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.