Dizionario AI › Modelli AI

Self-attention

Il self-attention è il meccanismo con cui ogni elemento di una sequenza (per esempio ogni token di un testo) calcola la propria rappresentazione confrontandosi con tutti gli altri elementi della stessa sequenza, inclusi se stesso. A differenza di un'attenzione che mette in relazione due sequenze diverse, qui input e riferimento coincidono: il modello impara quali parole della stessa frase sono rilevanti per interpretare una determinata parola.

Definizione

Come funziona

Tecnicamente, ogni token viene proiettato in tre vettori chiamati query, key e value. La query del token corrente viene confrontata con le key di tutti i token della sequenza per produrre punteggi di rilevanza, che vengono normalizzati e usati per calcolare una somma pesata dei value. Il risultato è una nuova rappresentazione del token che incorpora informazioni contestuali provenienti da tutta la sequenza, indipendentemente dalla distanza tra le parole.

Applicazioni

È il componente centrale delle architetture che elaborano testo, codice e altre sequenze in parallelo anziché in modo strettamente sequenziale: permette di catturare dipendenze a lungo raggio, come il legame tra un pronome e il sostantivo a cui si riferisce diverse frasi prima, senza dover attraversare passo dopo passo tutta la sequenza come avveniva nei modelli ricorrenti.

Storia ed etimologia

Il termine si è diffuso a partire dalla seconda metà degli anni 2010 nell'ambito della ricerca su architetture sequence-to-sequence basate esclusivamente su meccanismi di attenzione, in contrapposizione ai modelli ricorrenti e convoluzionali che dominavano fino ad allora il trattamento del linguaggio naturale.

Termini correlati

• Multi-head Attention
• Attention Mechanism
• Codifica posizionale
• Rete Feed-forward
• Transformer

Altri termini in Modelli AI

• ChatGPT
• Gemini
• Copilot
• Mistral
• Llama
• Claude
• GPT (Generative Pre-trained Transformer)
• DeepSeek

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.