Dizionario AI › Modelli AI
LLM-as-Judge
LLM-as-judge è una tecnica di valutazione in cui un modello linguistico viene usato per giudicare la qualità delle risposte generate da un altro modello, al posto o in aggiunta a valutatori umani. Il modello giudice riceve la domanda originale, la risposta da valutare e criteri espliciti, e restituisce un punteggio o un confronto tra alternative. È diventata popolare perché permette di valutare grandi volumi di output senza il costo e i tempi della revisione umana.
In pratica si fornisce al modello giudice un prompt strutturato con le istruzioni di valutazione, spesso accompagnato da esempi di riferimento. Il modello analizza la risposta secondo criteri come correttezza, chiarezza o aderenza alle istruzioni e produce un giudizio motivato. Per aumentare l'affidabilità si possono usare più modelli giudice o confrontare i loro esiti con un campione valutato da persone.
È utilizzata per testare rapidamente nuove versioni di un modello, per confrontare output di sistemi diversi su larga scala e per creare pipeline di valutazione continua durante lo sviluppo di un prodotto AI. Va comunque usata con attenzione, perché il giudice può ereditare gli stessi limiti o pregiudizi dei modelli che valuta.
È una pratica emersa con la maturazione dei modelli linguistici di grandi dimensioni, quando le loro capacità di comprensione del testo sono diventate sufficientemente affidabili da essere impiegate anche in compiti di valutazione.
Grace sperimenta l'uso di LLM-as-judge per una prima valutazione automatica delle risposte aperte negli scenari, prima di un'eventuale revisione umana sui casi più incerti.
Dalla nostra rete
Magellano GPS: Fleet Tracking Made Simple
Real-time GPS tracking, remote engine lock, fuel and CO₂ reporting for your fleet.
Vai su magellanogps.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.