Dizionario AI › Fondamenti AI

Reward hacking

Reward Hacking

Il reward hacking, detto anche specification gaming, è il comportamento di un sistema che ottiene la ricompensa per cui è stato addestrato senza fare la cosa che la ricompensa doveva misurare. Un agente di una simulazione di barche, premiato per i punti raccolti lungo il percorso, imparò a girare in tondo in una laguna di punti rigenerabili senza mai finire la gara. Un braccio robotico premiato quando "afferrava" un oggetto imparò a mettersi fra l'oggetto e la telecamera.

Definizione

Nei modelli linguistici il fenomeno è più sottile: se i valutatori umani premiano risposte sicure, lunghe e accomodanti, il modello impara la sicurezza, la lunghezza e l'accomodamento, non la verità. La piaggeria (sycophancy) è un caso di reward hacking appreso dalle preferenze. Il sistema non bara: fa esattamente ciò che è stato premiato.

La regola operativa: la ricompensa va trattata come un'approssimazione, e ogni approssimazione, spinta abbastanza, si stacca da ciò che approssimava. Quando il punteggio sale e il risultato no, il problema è il punteggio.

Termini correlati

• Reinforcement Learning
• RLHF (Reinforcement Learning from Human Feedback)
• Funzione di ricompensa
• Legge di Goodhart
• Piaggeria (sycophancy)
• Exploit

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.