Dizionario AI › Prompting

Classificatore di Contenuti Dannosi

Harmful Content Classifier

Un classificatore di contenuti dannosi è un modello, spesso più piccolo e specializzato rispetto al modello generativo principale, addestrato a etichettare un testo o un'immagine secondo categorie di rischio predefinite: violenza, incitamento all'odio, contenuti sessuali, autolesionismo, istruzioni per attività illegali. Il suo compito non è generare contenuto ma giudicarlo, restituendo un punteggio o un'etichetta che altri componenti del sistema usano per decidere se bloccare, segnalare o lasciar passare.

Definizione

Come funziona

Questi classificatori vengono addestrati con apprendimento supervisionato su grandi dataset di esempi etichettati da persone come dannosi o sicuri, spesso arricchiti con tecniche di data augmentation per coprire varianti linguistiche, sarcasmo, codici e riferimenti impliciti. Molti fornitori offrono questi classificatori come API separata rispetto al modello di generazione, in modo che chiunque costruisca un'applicazione possa integrarli senza doverli addestrare da zero.

Applicazioni

Sono il componente tecnico dietro molte funzioni di moderazione visibili all'utente finale: il rifiuto di un chatbot a rispondere a certe domande, il blocco di un'immagine generata prima che venga mostrata, la segnalazione automatica di un post su una piattaforma social. Vengono usati anche internamente dai laboratori AI per filtrare i dati di addestramento e ridurre la presenza di contenuti tossici nei modelli fin dalla fase di pre-addestramento.

Storia ed etimologia

Il concetto nasce nella content moderation dei social media, ben prima della diffusione dei grandi modelli linguistici, ed è stato adattato ai sistemi generativi via via che questi hanno iniziato a produrre contenuto su larga scala.

Termini correlati

• Filtro di Sicurezza
• Rilevamento della Tossicità
• Moderazione dei contenuti (AI)
• Mitigazione del Bias
• Filtraggio dell'Output

Altri termini in Prompting

• Prompt
• Prompting
• Role Assignment
• Zero-shot
• Few-shot
• Chain of Thought
• Prompt Engineering
• Output Format

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.