Dizionario AI › Fondamenti AI

Distillazione

Knowledge Distillation

La distillazione della conoscenza è il processo con cui un modello grande e capace, detto insegnante, addestra un modello più piccolo, detto studente, a imitarne il comportamento. Invece di apprendere solo dalle etichette corrette, lo studente impara dalle probabilità sfumate prodotte dall'insegnante, che contengono informazioni ricche su quanto una risposta sia plausibile rispetto alle alternative. È come un maestro artigiano che non si limita a dire 'giusto o sbagliato', ma spiega le sfumature del ragionamento, trasferendo un'intuizione difficile da cogliere dai soli esempi grezzi. Il risultato è un modello compatto che conserva gran parte delle prestazioni dell'originale.

Definizione

La distillazione è cruciale per portare l'intelligenza dei modelli enormi in applicazioni reali con vincoli di costo e velocità. Molti modelli veloci ed economici usati oggi in produzione sono versioni distillate di modelli più grandi, capaci di rispondere quasi altrettanto bene consumando una frazione delle risorse.

Termini correlati

• Quantizzazione
• Foundation Model
• Inference
• Apprendimento per trasferimento
• Fine-tuning

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.