Dizionario AI › Prompting
Adversarial Prompt
Un prompt avversariale è un input costruito deliberatamente per confondere, ingannare o forzare un modello AI a comportarsi in modo diverso da quello previsto dai suoi vincoli di sicurezza. Il termine è l'ombrello sotto cui rientrano molte tecniche specifiche, jailbreak, prompt injection, prompt leaking, accomunate dall'intento di sfruttare i punti deboli del modello anziché usarlo nel modo previsto.
Gli attacchi avversariali sui modelli linguistici sfruttano la natura statistica delle risposte: frasi ambigue, giochi di ruolo, incapsulamento del testo malevolo dentro contesti innocui (traduzioni, poesie, codice) o sequenze di caratteri studiate per confondere il tokenizzatore. A differenza degli attacchi avversariali classici sulle reti neurali per immagini, che modificano pixel impercettibili all'occhio umano, quelli sui LLM lavorano quasi sempre a livello di linguaggio naturale, il che li rende più difficili da rilevare con semplici filtri automatici.
Nell'AI moderna la resistenza ai prompt avversariali è un criterio di valutazione standard prima del rilascio di un modello: i team di red teaming generano sistematicamente migliaia di varianti per misurare quanto facilmente le protezioni vengano aggirate. Anche i benchmark di sicurezza pubblici includono suite di prompt avversariali per confrontare modelli diversi.
Il concetto di esempio avversariale nasce nel machine learning applicato alla visione artificiale, prima della diffusione dei grandi modelli linguistici; con l'arrivo di ChatGPT e sistemi simili il termine si è esteso naturalmente al dominio del prompting testuale.
Dalla nostra rete
INDACO TMS: Transport Management for European Logistics
Shipment tracking, multi-carrier EDI and automated invoicing in one cloud platform. Invoices generated in under 10 seconds.
Vai su indacotms.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.