Dizionario AI › Fondamenti AI
Membership Inference Attack
Un attacco di inferenza di appartenenza è una tecnica con cui un aggressore cerca di determinare se un dato specifico, ad esempio il record di una persona, sia stato usato o meno nel dataset di addestramento di un modello AI, senza necessariamente riuscire a ricostruirne il contenuto completo. È una violazione della privacy più sottile rispetto all'attacco di inversione del modello: non serve a rubare i dati, ma a rivelare il semplice fatto che una persona facesse parte di un certo dataset, informazione che può essere sensibile di per sé.
Tecnicamente l'attacco sfrutta lo stesso principio dell'inversione del modello: i modelli tendono a rispondere con maggiore sicurezza e minore errore su esempi visti durante l'addestramento rispetto a esempi mai incontrati. Osservando la confidenza o il comportamento del modello su un dato specifico, un aggressore può stimare con probabilità superiore al caso se quel dato facesse parte del training set.
Il rischio concreto emerge quando l'appartenenza a un dataset è di per sé un'informazione sensibile: sapere che una persona compare nel dataset di addestramento di un modello specializzato in una particolare condizione medica, ad esempio, potrebbe rivelare indirettamente quella condizione anche senza accedere ai dettagli clinici. È per questo un rischio particolarmente rilevante per i modelli addestrati su dati sanitari, giudiziari o comunque riconducibili a categorie protette.
Il concetto è stato formalizzato nella ricerca accademica sulla sicurezza del machine learning a partire dalla metà degli anni 2010, come parte di un più ampio filone di studi sulla privacy dei modelli e resta oggi uno dei test standard per valutare quanto un modello "ricordi" involontariamente i propri dati di addestramento.
Dalla nostra rete
AGORÀ Intelligence: Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Vai su agora-intelligence.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.