Dizionario AI › Fondamenti AI

Red teaming

Il red teaming è la pratica di attaccare deliberatamente un sistema di IA per scoprirne le debolezze prima che lo facciano utenti malintenzionati o incidenti reali. Un gruppo di persone, il "red team", assume il ruolo dell'avversario e cerca in ogni modo di far sbagliare il modello: fargli generare contenuti pericolosi, aggirare le sue regole, estrarre informazioni riservate. È come assumere dei ladri professionisti per testare la sicurezza di una banca: meglio scoprire le falle in una simulazione controllata che in una rapina vera. Le tecniche vanno dalle domande subdole ai prompt camuffati fino ad attacchi automatizzati generati da altri modelli.

Definizione

Il red teaming conta perché nessun sistema è sicuro per progetto: i difetti emergono solo mettendolo sotto pressione con creatività ostile. È un passaggio ormai obbligato prima di rilasciare un modello, e i risultati guidano le successive protezioni e correzioni.

Termini correlati

• Jailbreak
• Allineamento
• Guardrails
• Data poisoning (avvelenamento dei dati)
• Constitutional AI

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.