Dizionario AI › Fondamenti AI

Mixture of Experts

Mixture of Experts (MoE)

La mixture of experts, o miscela di esperti, è un'architettura in cui un grande modello è suddiviso in molte sotto-reti specializzate, gli 'esperti', ma per ogni input solo alcune vengono effettivamente attivate. Un componente chiamato router decide, di volta in volta, quali esperti consultare in base al contenuto. È come un ospedale con molti specialisti: un paziente non viene visitato da tutti, ma indirizzato solo ai due o tre medici pertinenti, risparmiando tempo e risorse. Così il modello può avere un numero enorme di parametri complessivi, e quindi grande capacità, senza pagare il costo di usarli tutti a ogni richiesta.

Definizione

Questo approccio permette di scalare i modelli a dimensioni altrimenti proibitive mantenendo l'inferenza relativamente veloce ed economica. Molti modelli linguistici di frontiera adottano la mixture of experts proprio per unire capacità elevata ed efficienza, anche se ciò complica l'addestramento e richiede un bilanciamento accurato del carico tra gli esperti.

Termini correlati

• Leggi di scala
• Parametri (Parameters)
• Inference
• Transformer
• Foundation Model

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.