Dizionario AI › Fondamenti AI

Estrazione dei Dati di Addestramento

Training Data Extraction

L'estrazione dei dati di addestramento è una tecnica con cui un aggressore induce un modello linguistico a riprodurre alla lettera frammenti di testo memorizzati durante l'addestramento, anziché generare testo nuovo e generalizzato. È il rischio più diretto legato alla memorizzazione involontaria: se un modello ha visto un certo documento abbastanza volte, o se quel documento era particolarmente distintivo, può capitare che lo ripeta quasi identico quando riceve un prompt che ne ricorda l'inizio.

Definizione

Come funziona

Tecnicamente l'attacco funziona spesso fornendo al modello un frammento iniziale di un testo sospettato di essere nel training set e osservando se il modello ne completa il resto in modo troppo preciso per essere casuale, oppure ripetendo la stessa richiesta molte volte con piccole variazioni per aumentare la probabilità di far emergere un frammento memorizzato. I modelli più grandi, paradossalmente, tendono a memorizzare più facilmente porzioni di testo rare o distintive rispetto a modelli più piccoli.

Applicazioni

È un rischio concreto quando i dati di addestramento includono informazioni personali, codice proprietario o materiale protetto da copyright: un modello potrebbe restituire, testualmente, dati che non dovrebbero mai comparire nell'output, come numeri di telefono, indirizzi email o passaggi interi di libri sotto copyright. Le difese principali includono la deduplicazione dei dati di addestramento, che riduce le ripetizioni che favoriscono la memorizzazione, e tecniche di privacy differenziale che limitano matematicamente quanto un singolo documento possa imprimersi nel modello.

Storia ed etimologia

Il fenomeno è stato documentato pubblicamente e in modo sistematico dalla comunità di ricerca a partire dal 2020-2021, quando esperimenti su modelli linguistici di grandi dimensioni hanno dimostrato che era possibile estrarre testo memorizzato verbatim con richieste relativamente semplici, portando i laboratori AI a investire in mitigazioni specifiche.

Termini correlati

• Attacco di Inversione del Modello
• Attacco di Inferenza di Appartenenza
• Dati di addestramento (Training Data)
• Copyright e AI
• Overfitting

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.