AI Dictionary › Fondamenti AI
Distillazione
Knowledge distillation is the process where a large, capable model, the teacher, trains a smaller model, the student, to imitate its behavior. Instead of learning only from correct labels, the student learns from the teacher's soft probabilities, which carry rich information about how plausible an answer is versus the alternatives. It's like a master craftsman who doesn't just say 'right or wrong' but explains the nuances of reasoning, transferring intuition hard to grasp from raw examples alone. The result is a compact model that retains much of the original's performance.
Distillation is crucial for bringing the intelligence of huge models into real applications with cost and speed constraints. Many fast, cheap production models are distilled versions of larger ones, answering nearly as well while using a fraction of the resources.
La distillazione della conoscenza è il processo con cui un modello grande e capace, detto insegnante, addestra un modello più piccolo, detto studente, a imitarne il comportamento. Invece di apprendere solo dalle etichette corrette, lo studente impara dalle probabilità sfumate prodotte dall'insegnante, che contengono informazioni ricche su quanto una risposta sia plausibile rispetto alle alternative. È come un maestro artigiano che non si limita a dire 'giusto o sbagliato', ma spiega le sfumature del ragionamento, trasferendo un'intuizione difficile da cogliere dai soli esempi grezzi. Il risultato è un modello compatto che conserva gran parte delle prestazioni dell'originale.
La distillazione è cruciale per portare l'intelligenza dei modelli enormi in applicazioni reali con vincoli di costo e velocità. Molti modelli veloci ed economici usati oggi in produzione sono versioni distillate di modelli più grandi, capaci di rispondere quasi altrettanto bene consumando una frazione delle risorse.
From our network
INDACO TMS — Transport Management for European Logistics
Shipment tracking, multi-carrier EDI and automated invoicing in one cloud platform. Invoices generated in under 10 seconds.
Visit indacotms.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.