Dizionario AI › Modelli AI

Architettura Decoder-only

Decoder-only Architecture

Un'architettura decoder-only è una configurazione di modello basato su attenzione che utilizza esclusivamente la parte decodificatrice dell'architettura originale encoder-decoder, elaborando il testo in un unico flusso in cui ogni token può guardare solo ai token che lo precedono, mai a quelli successivi. È la configurazione architetturale alla base della maggior parte dei moderni modelli linguistici generativi.

Definizione

Come funziona

A differenza di un'architettura encoder-decoder, che separa la comprensione di una sequenza di input dalla generazione di una sequenza di output, un modello decoder-only tratta input e output come un unico flusso continuo di token, addestrato a prevedere ogni token successivo sulla base di tutti quelli precedenti. Questo vincolo, detto attenzione causale o mascherata, impedisce a un token di "vedere" informazioni future durante l'addestramento, rendendo il modello adatto sia alla comprensione sia alla generazione di testo in modo naturale.

Applicazioni

È l'architettura scelta dalla grande maggioranza dei modelli linguistici di grandi dimensioni destinati a compiti generativi, dalla conversazione alla scrittura di codice, grazie alla sua semplicità concettuale e alla facilità con cui può essere addestrata su enormi quantità di testo semplicemente prevedendo il token successivo in un flusso continuo.

Storia ed etimologia

Il nome distingue questa configurazione da quella encoder-decoder originaria e da configurazioni encoder-only, usate principalmente per compiti di comprensione del testo: "decoder-only" indica che il modello utilizza solo il blocco decodificatore, quello progettato per generare sequenze un elemento alla volta.

Termini correlati

• Encoder-Decoder
• Self-attention
• GPT (Generative Pre-trained Transformer)
• Context Window
• Transformer

Altri termini in Modelli AI

• ChatGPT
• Gemini
• Copilot
• Mistral
• Llama
• Claude
• GPT (Generative Pre-trained Transformer)
• DeepSeek

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.