Dizionario AI › Fondamenti AI

Transformer

Il Transformer è l'architettura di rete neurale introdotta nel paper "Attention is All You Need" (Google, 2017) che ha rivoluzionato il campo dell'intelligenza artificiale e reso possibile i moderni modelli di linguaggio. GPT (Generative Pre-trained Transformer), BERT, Claude, Gemini, Mistral, tutti i principali LLM si basano sull'architettura Transformer.

Definizione

Il breakthrough del Transformer rispetto alle architetture precedenti (RNN, LSTM) è il meccanismo di Attention: invece di elaborare il testo in sequenza, il Transformer può analizzare le relazioni tra tutte le parole in parallelo, cogliendo dipendenze a lunga distanza nel testo con estrema efficienza. Questo permette di gestire testi molto più lunghi e di cogliere relazioni semantiche complesse.

Comprende il Transformer a livello concettuale, non necessariamente i dettagli matematici, aiuta i professionisti a capire perché i modelli AI eccelleono in certi compiti (ragionamento linguistico, traduzione, riassunto) e hanno difficoltà in altri (calcoli numerici precisi, ragionamento spaziale).

Termini correlati

• Neural Network
• Attention Mechanism
• LLM (Large Language Model)
• Embedding
• Inference

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.