Dizionario AI › Fondamenti AI

Funzione di ricompensa

Reward Function

La funzione di ricompensa è la regola che, nell'apprendimento per rinforzo, assegna un numero a ogni risultato ottenuto dall'agente: positivo se il risultato è desiderato, negativo o nullo altrimenti. L'agente non conosce l'obiettivo in sé; conosce solo la ricompensa, e impara la strategia che la massimizza nel tempo. Tutto ciò che il progettista vuole deve passare da quel numero.

Definizione

È il punto più delicato dell'intero paradigma, perché tradurre un'intenzione in un numero è quasi sempre un'approssimazione: "vinci la gara" diventa "raccogli punti lungo il percorso", "sii utile" diventa "ottieni la preferenza del valutatore". Ogni distanza fra l'intenzione e il numero è spazio per il reward hacking. Nei modelli linguistici la funzione di ricompensa è a sua volta un modello, addestrato sulle preferenze umane, con le sue imprecisioni.

La regola operativa: scrivere la funzione di ricompensa insieme all'elenco dei modi in cui si potrebbe ottenerla senza meritarla. Se l'elenco è lungo, la funzione va riscritta prima di addestrare qualcosa.

Termini correlati

• Reinforcement Learning
• RLHF (Reinforcement Learning from Human Feedback)
• Reward hacking
• Legge di Goodhart
• Gym (ambiente di addestramento)

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.