AI Dictionary › Fondamenti AI

Mixture of Experts (MoE)

Mixture of Experts

Definition

Mixture of experts, or MoE, is an architecture where a large model is split into many specialized sub-networks, the 'experts', but only some are actually activated for each input. A component called the router decides, case by case, which experts to consult based on the content. It's like a hospital with many specialists: a patient isn't seen by all of them but directed only to the two or three relevant doctors, saving time and resources. This way the model can have a huge total parameter count, and thus great capacity, without paying the cost of using them all on every request.

This approach lets models scale to otherwise prohibitive sizes while keeping inference relatively fast and cheap. Many frontier language models adopt mixture of experts precisely to combine high capacity with efficiency, though it complicates training and requires careful load balancing across experts.

Definizione (italiano)

La mixture of experts, o miscela di esperti, è un'architettura in cui un grande modello è suddiviso in molte sotto-reti specializzate, gli 'esperti', ma per ogni input solo alcune vengono effettivamente attivate. Un componente chiamato router decide, di volta in volta, quali esperti consultare in base al contenuto. È come un ospedale con molti specialisti: un paziente non viene visitato da tutti, ma indirizzato solo ai due o tre medici pertinenti, risparmiando tempo e risorse. Così il modello può avere un numero enorme di parametri complessivi, e quindi grande capacità, senza pagare il costo di usarli tutti a ogni richiesta.

Questo approccio permette di scalare i modelli a dimensioni altrimenti proibitive mantenendo l'inferenza relativamente veloce ed economica. Molti modelli linguistici di frontiera adottano la mixture of experts proprio per unire capacità elevata ed efficienza, anche se ciò complica l'addestramento e richiede un bilanciamento accurato del carico tra gli esperti.

Related terms

• Scaling Laws
• Parameters
• Inference
• Transformer
• Foundation Model

More in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• AI Hallucination
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

📱 Download the Android app (beta) iOS coming soon

Say what you mean. Get what you need.

Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.