Dizionario AI › Fondamenti AI

Confronto a coppie (Pairwise Comparison)

Pairwise Comparison

Il confronto a coppie è un metodo di valutazione in cui a un giudice, umano o automatico, vengono mostrate due risposte generate da modelli diversi (o dallo stesso modello con impostazioni diverse) per la stessa domanda, chiedendo quale delle due sia migliore. È un'alternativa all'assegnazione di un punteggio assoluto, spesso più semplice e affidabile perché confrontare due opzioni è cognitivamente più facile che valutarne una da sola su una scala numerica.

Definizione

Come funziona

In pratica si raccolgono molte coppie di risposte su domande diverse e si registra la preferenza espressa per ciascun confronto. I risultati vengono poi aggregati con modelli statistici, simili a quelli usati nei sistemi di ranking sportivi, per ottenere una classifica complessiva dei modelli coinvolti. Più confronti vengono raccolti, più stabile diventa la classifica risultante.

Applicazioni

È molto usato nelle leaderboard pubbliche di modelli linguistici, dove gli utenti votano quale tra due risposte anonime preferiscono, e nei processi di allineamento dei modelli, dove le preferenze raccolte servono ad addestrare il sistema a produrre risposte migliori. È anche uno strumento pratico per test A/B tra versioni diverse di uno stesso prodotto AI.

Storia ed etimologia

È una tecnica che deriva dalla psicometria e dalla teoria delle scelte, dove i confronti a coppie sono usati da molto tempo per costruire scale di preferenza a partire da giudizi relativi più semplici da esprimere rispetto a punteggi assoluti.

Come si usa in Grace

Grace utilizza confronti a coppie in fase di test interno, mostrando a valutatori due risposte alternative per lo stesso scenario per calibrare le rubriche di punteggio.

Termini correlati

• Classifica di valutazione (Leaderboard)
• Valutazione umana (Human Evaluation)
• RLHF (Reinforcement Learning from Human Feedback)
• A/B testing per sistemi AI
• Score

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.