AI Dictionary › Fondamenti AI
Data poisoning (avvelenamento dei dati)
Data poisoning is an attack in which someone deliberately inserts corrupted or deceptive data into the material used to train a model, so as to manipulate its behavior. It is like sabotaging the library a student studies from: slip in books with targeted errors and the student will learn those falsehoods and repeat them with conviction. With AI, polluting even a small fraction of the data can install a "backdoor": a hidden trigger, such as a specific word or symbol, that fires unwanted behavior only when it appears. The model seems normal otherwise, which makes the attack hard to detect.
Data poisoning matters because much training data comes from open, unverified sources like the web. A patient adversary can contaminate them in advance, and the flaws stay invisible until triggered, undermining trust in the whole data pipeline.
Il data poisoning è un attacco in cui qualcuno inserisce di proposito dati corrotti o ingannevoli nel materiale usato per addestrare un modello, così da manipolarne il comportamento. È come sabotare la biblioteca da cui uno studente studia: se infili libri con errori mirati, lo studente imparerà quelle falsità e le ripeterà con convinzione. Nel caso dell'IA basta inquinare una piccola frazione dei dati per installare una "porta sul retro": un innesco nascosto, ad esempio una parola o un simbolo specifico, che fa scattare un comportamento indesiderato solo quando compare. Il modello sembra normale in tutti gli altri casi, il che rende l'attacco difficile da individuare.
Il data poisoning conta perché molti dati di addestramento provengono da fonti aperte e non verificate, come il web. Un avversario paziente può contaminarle in anticipo, e i difetti restano invisibili finché non vengono attivati, minando la fiducia nell'intera pipeline dei dati.
From our network
HSE Genius — AI for Safety Data Sheets
Extract SDS data, H phrases and ECHA compliance checks in seconds, powered by AI.
Visit hsegenius.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.