AI Dictionary › Fondamenti AI

Scaling Laws

Leggi di scala

Definition

Scaling laws describe how a model's performance improves predictably as three ingredients grow: model size in parameters, the amount of training data, and the compute used. Empirical studies showed that error falls along smooth, almost mathematical curves as you scale. It's like a recipe where increasing ingredients, cooking time, and heat proportionally yields a reliably better result, letting you estimate in advance what to expect from a bigger model before even building it. Scaling laws also help balance data and parameters correctly for a given budget.

These regularities drove the race toward ever-larger models, justifying huge investments with reliable improvement forecasts. At the same time they raise questions about cost, physical limits, and sustainability, and whether scaling alone suffices to reach qualitatively new capabilities.

Definizione (italiano)

Le leggi di scala descrivono come le prestazioni di un modello migliorino in modo prevedibile all'aumentare di tre ingredienti: la dimensione del modello in parametri, la quantità di dati di addestramento e la potenza di calcolo impiegata. Studi empirici hanno mostrato che l'errore cala seguendo curve regolari, quasi matematiche, man mano che si scala. È come una ricetta in cui aumentare in proporzione ingredienti, tempo di cottura e calore produce un risultato migliore in modo affidabile, permettendo di stimare in anticipo cosa aspettarsi da un modello più grande prima ancora di costruirlo. Le leggi di scala aiutano anche a bilanciare correttamente dati e parametri per un dato budget.

Queste regolarità hanno guidato la corsa verso modelli sempre più grandi, giustificando investimenti enormi con previsioni di miglioramento affidabili. Al tempo stesso pongono domande su costi, limiti fisici e sostenibilità, e sul fatto che scalare da solo basti per raggiungere capacità qualitativamente nuove.

Related terms

• Emergent Abilities
• Parameters
• Pre-training
• Foundation Model
• Mixture of Experts (MoE)

More in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• AI Hallucination
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

📱 Download the Android app (beta) iOS coming soon

Say what you mean. Get what you need.

Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.