AI Dictionary › Prompting
Classificatore di Contenuti Dannosi
A harmful content classifier is a model, often smaller and more specialized than the main generative model, trained to label text or images according to predefined risk categories: violence, hate speech, sexual content, self-harm, instructions for illegal activities. Its job is not to generate content but to judge it, returning a score or label that other system components use to decide whether to block, flag, or allow it through.
A harmful content classifier is a model, often smaller and more specialized than the main generative model, trained to label text or images according to predefined risk categories: violence, hate speech, sexual content, self-harm, instructions for illegal activities. Its job is not to generate content but to judge it, returning a score or label that other system components use to decide whether to block, flag, or allow it through.
These classifiers are trained with supervised learning on large datasets of examples labeled by people as harmful or safe, often enriched with data augmentation techniques to cover linguistic variants, sarcasm, code words, and implicit references. Many providers offer these classifiers as a separate API from the generation model, so anyone building an application can integrate them without training one from scratch.
They are the technical component behind many moderation functions visible to the end user: a chatbot refusing to answer certain questions, a generated image being blocked before it is shown, a post on a social platform being automatically flagged. They are also used internally by AI labs to filter training data and reduce the presence of toxic content in models from the pre-training stage onward.
The concept originates in social media content moderation, well before the spread of large language models, and has been adapted to generative systems as these began producing content at scale.
Un classificatore di contenuti dannosi è un modello, spesso più piccolo e specializzato rispetto al modello generativo principale, addestrato a etichettare un testo o un'immagine secondo categorie di rischio predefinite: violenza, incitamento all'odio, contenuti sessuali, autolesionismo, istruzioni per attività illegali. Il suo compito non è generare contenuto ma giudicarlo, restituendo un punteggio o un'etichetta che altri componenti del sistema usano per decidere se bloccare, segnalare o lasciar passare.
Questi classificatori vengono addestrati con apprendimento supervisionato su grandi dataset di esempi etichettati da persone come dannosi o sicuri, spesso arricchiti con tecniche di data augmentation per coprire varianti linguistiche, sarcasmo, codici e riferimenti impliciti. Molti fornitori offrono questi classificatori come API separata rispetto al modello di generazione, in modo che chiunque costruisca un'applicazione possa integrarli senza doverli addestrare da zero.
Sono il componente tecnico dietro molte funzioni di moderazione visibili all'utente finale: il rifiuto di un chatbot a rispondere a certe domande, il blocco di un'immagine generata prima che venga mostrata, la segnalazione automatica di un post su una piattaforma social. Vengono usati anche internamente dai laboratori AI per filtrare i dati di addestramento e ridurre la presenza di contenuti tossici nei modelli fin dalla fase di pre-addestramento.
Il concetto nasce nella content moderation dei social media, ben prima della diffusione dei grandi modelli linguistici, ed è stato adattato ai sistemi generativi via via che questi hanno iniziato a produrre contenuto su larga scala.
From our network
AGORÀ Intelligence — Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Visit agora-intelligence.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.