Dizionario AI › Prompting
Il Prompt Injection è un tipo di attacco informatico specifico per i sistemi basati su modelli di linguaggio, in cui un utente malintenzionato inserisce istruzioni nascoste o malevole nell'input dell'AI per sovrascrivere il System Prompt originale o far compiere al modello azioni non previste. È, in sostanza, l'equivalente dell'iniezione SQL per i sistemi AI.
Esempi di prompt injection includono: testi nascosti nei documenti processati dall'AI che istruiscono il modello a ignorare le istruzioni precedenti ("Ignora tutto quello che ti è stato detto finora e..."), istruzioni malevole incorporate in email che vengono analizzate da agenti AI o tentativi di far rivelare al modello informazioni riservate del System Prompt aziendale.
Il prompt injection è un rischio di sicurezza concreto, specialmente per le organizzazioni che usano agenti AI autonomi che processano input non trusted (email esterne, documenti di terze parti, contenuti web). La consapevolezza di questa vulnerabilità e la progettazione di sistemi AI con adeguate misure di protezione, è parte essenziale di un uso professionale e responsabile dell'AI.
Dalla nostra rete
Magellano GPS: Fleet Tracking Made Simple
Real-time GPS tracking, remote engine lock, fuel and CO₂ reporting for your fleet.
Vai su magellanogps.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.