Dizionario AI › Fondamenti AI

Teacher Forcing

Il teacher forcing è una tecnica di addestramento per modelli sequenziali, come i modelli linguistici, in cui durante il training il modello riceve come input la parola corretta della sequenza reale invece della propria previsione del passo precedente. Serve a rendere l'addestramento più stabile ed efficiente, evitando che piccoli errori si accumulino lungo la sequenza durante la fase di apprendimento.

Definizione

Come funziona

Nella generazione di testo, un modello produce un output un elemento alla volta e normalmente userebbe la propria previsione precedente come input per il passo successivo. Con il teacher forcing, durante l'addestramento questo input viene sostituito con il valore corretto tratto dai dati reali, così che gli errori occasionali del modello non si propaghino e non compromettano l'apprendimento dei passi successivi.

Applicazioni

È una pratica comune nell'addestramento di modelli sequenza-a-sequenza, incluse le architetture encoder-decoder e i modelli linguistici basati su transformer. Va notato che a inferenza il modello non ha accesso ai valori corretti reali e deve basarsi sulle proprie previsioni, una differenza tra addestramento e utilizzo di cui gli sviluppatori devono tenere conto.

Storia ed etimologia

È una tecnica consolidata nell'addestramento di reti neurali ricorrenti e modelli sequenziali, adottata per accelerare la convergenza durante il training supervisionato.

Termini correlati

• Encoder-Decoder
• Rete neurale ricorrente (RNN)
• Apprendimento supervisionato
• LSTM (memoria a lungo e breve termine)
• Transformer

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.