Dizionario AI › Fondamenti AI

Benchmark di Sicurezza

Safety Benchmark

Un benchmark di sicurezza è un set standardizzato di test usato per misurare in modo comparabile quanto un modello AI resista a richieste dannose, tentativi di manipolazione e situazioni rischiose, allo stesso modo in cui un benchmark tradizionale misura capacità come ragionamento matematico o comprensione del testo. A differenza dei benchmark di performance, che premiano un modello capace e utile, i benchmark di sicurezza premiano un modello che sa dire no al momento giusto senza diventare inutilmente restrittivo.

Definizione

Come funziona

Tecnicamente un benchmark di sicurezza è composto da grandi collezioni di prompt studiati per rappresentare categorie di rischio diverse, richieste esplicitamente dannose, tentativi di jailbreak noti, richieste ambigue al confine tra lecito e illecito, domande innocue che un modello troppo prudente potrebbe rifiutare per errore. Il modello viene fatto rispondere a ciascun prompt e le risposte vengono valutate, spesso con l'aiuto di altri modelli AI usati come giudici automatici, secondo criteri predefiniti di sicurezza e utilità.

Applicazioni

È uno strumento centrale per confrontare modelli diversi prima di adottarli in produzione, per tracciare i miglioramenti di un modello tra una versione e l'altra, e per soddisfare requisiti normativi che richiedono una valutazione documentata dei rischi prima del rilascio. Diversi benchmark di sicurezza sono oggi pubblici e ampiamente citati nei report tecnici dei principali laboratori AI, permettendo un confronto trasparente tra fornitori concorrenti.

Storia ed etimologia

Questi strumenti si sono sviluppati come categoria distinta a partire dal 2022-2023, quando la diffusione di massa dei chatbot pubblici ha reso necessario un modo sistematico e ripetibile di misurare la sicurezza di un modello, invece di affidarsi solo a test manuali caso per caso.

Termini correlati

• Benchmark
• Red teaming
• Addestramento al Rifiuto
• Safety Tuning
• Segnalazione degli Incidenti AI

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.