Dizionario AI › Fondamenti AI

Codifica posizionale

Positional Encoding

La codifica posizionale è il meccanismo che comunica a un transformer l'ordine delle parole in una sequenza. A differenza delle reti ricorrenti, il transformer elabora tutti i token contemporaneamente e da solo non saprebbe distinguere 'il cane morde l'uomo' da 'l'uomo morde il cane'. La codifica posizionale risolve questo aggiungendo a ogni token un'informazione numerica sulla sua posizione, come mettere un numero d'ordine su ciascun vagone di un treno affinché il modello sappia quale viene prima e quale dopo. Queste informazioni, spesso basate su funzioni matematiche periodiche o apprese durante l'addestramento, si sommano alle rappresentazioni dei token.

Definizione

Senza codifica posizionale, un modello di linguaggio perderebbe ogni nozione di sequenza, e con essa la grammatica e il significato. È un ingrediente semplice ma essenziale dei transformer, e le sue varianti moderne influenzano quanto bene un modello gestisca testi lunghi e generalizzi a contesti più ampi di quelli visti in addestramento.

Termini correlati

• Transformer
• Attention Mechanism
• Token
• Context Window
• Embedding

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.