Dizionario AI › Fondamenti AI

Task di valutazione (Evaluation Task)

Evaluation Task

Un task di valutazione è un compito specifico usato per misurare una capacità precisa di un modello AI, come rispondere a domande, riassumere un testo, tradurre o risolvere problemi matematici. È l'unità di base con cui si costruiscono i benchmark: ogni benchmark è tipicamente composto da molti task simili raggruppati per area di competenza. Definire bene il task, incluse le istruzioni e il formato atteso della risposta, è essenziale per ottenere una misura affidabile.

Definizione

Come funziona

Ogni task include un input, una richiesta chiara e un criterio per stabilire se la risposta del modello è corretta o di buona qualità. Il criterio può essere automatico, come il confronto con una risposta di riferimento, oppure richiedere una valutazione umana quando la correttezza è più sfumata. I risultati sui singoli task vengono spesso aggregati per ottenere un punteggio complessivo su un'area di competenza.

Applicazioni

I task di valutazione vengono usati per testare capacità mirate prima del rilascio di un modello, per diagnosticare in quali aree un sistema è più debole e per costruire suite di test personalizzate su esigenze aziendali specifiche. Sono anche lo strumento con cui si verificano eventuali regressioni dopo un aggiornamento del modello.

Storia ed etimologia

Il concetto affonda le radici nella tradizione della valutazione in linguistica computazionale e apprendimento automatico, dove compiti standardizzati venivano usati già prima della diffusione dei grandi modelli linguistici per confrontare sistemi diversi in modo oggettivo.

Come si usa in Grace

Ogni scenario di Grace è costruito come un task di valutazione: definisce un input, una richiesta chiara e criteri di correttezza su cui viene calcolato il punteggio dell'utente.

Termini correlati

• Benchmark
• Scenario
• Rubric / Rubrica di valutazione
• Valutazione del modello (Model Evaluation)
• Metriche di valutazione

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.