Dizionario AI › Fondamenti AI

Attention Mechanism

Il meccanismo di attenzione (Attention Mechanism) è il componente chiave dell'architettura Transformer che permette al modello di "prestare attenzione" alle parti del testo più rilevanti per generare ogni token dell'output. In pratica, per produrre ogni parola della risposta, il modello calcola quanto ogni altra parola nell'input è rilevante per quella specifica posizione.

Definizione

L'attention è ciò che permette agli LLM di cogliere relazioni semantiche a lunga distanza nel testo: la parola "esso" a pagina 3 di un documento può essere collegata all'antecedente "il CEO" a pagina 1, anche con decine di paragrafi in mezzo. Questa capacità è alla base della comprensione contestuale dei modelli moderni.

L'estensione dell'attention a più "teste" parallele (Multi-Head Attention) permette al modello di cogliere simultaneamente diversi tipi di relazioni nel testo: grammaticali, semantiche, anafori, contribuendo alla ricchezza e coerenza degli output generati. Per i professionisti non tecnici, l'intuizione chiave è che l'attention è il motivo per cui i modelli moderni "capiscono" il contesto in modo sorprendentemente umano.

Termini correlati

• Transformer
• Neural Network
• LLM (Large Language Model)
• Context Window
• Embedding

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.