AI Dictionary › Fondamenti AI

Scalability

Scalabilità

Scalability is a system's ability to sustain load growth while maintaining acceptable performance, by adding resources proportionately. A scalable system serves ten users or ten million by changing size, not architecture. It is the property separating prototypes from products, and the startups that survive success from those that collapse under it.

Definition

What it is

Scalability is a system's ability to sustain load growth while maintaining acceptable performance, by adding resources proportionately. A scalable system serves ten users or ten million by changing size, not architecture. It is the property separating prototypes from products, and the startups that survive success from those that collapse under it.

How it works

Two paths: vertical scalability (scale up) strengthens the single machine, more CPU, more memory, simple but with a physical ceiling and rising costs; horizontal scalability (scale out) adds machines, potentially without limit, at the price of running a distributed system with load balancers, sharding and replication. Cloud autoscaling adds and removes resources automatically as traffic moves.

Applications

In AI, scalability dominates every discussion: training scales across clusters of tens of thousands of GPUs following the scaling laws that tie model capability to data and compute, while inference must scale with users, multiplying model replicas behind balancers. Beyond AI it is the design criterion of every web service from social networks to payments.

History & etymology

The term derives from scale, from the Latin scala (staircase), through the English verb to scale, to change size by proportion. In systems engineering the question exploded with the growth of the internet: the web-scale era of the 2000s, when Google, Amazon and social networks had to invent architectures for unprecedented loads, produced most of the horizontal scalability techniques that are standard today.

Definizione (italiano)

La scalabilità è la capacità di un sistema di sostenere una crescita del carico mantenendo prestazioni accettabili, aggiungendo risorse in modo proporzionato. Un sistema scalabile serve dieci utenti o dieci milioni cambiando dimensione, non architettura. È la proprietà che separa i prototipi dai prodotti e le startup che reggono il successo da quelle che ci crollano sotto.

Due strade: la scalabilità verticale (scale up) potenzia la singola macchina, più CPU, più memoria, semplice ma con un tetto fisico e costi crescenti; la scalabilità orizzontale (scale out) aggiunge macchine, potenzialmente senza limite, al prezzo di gestire un sistema distribuito con load balancer, sharding e replicazione. L'autoscaling del cloud aggiunge e toglie risorse automaticamente seguendo il traffico.

Nell'AI la scalabilità domina ogni discussione: l'addestramento scala su cluster di decine di migliaia di GPU seguendo le leggi di scala che legano capacità del modello a dati e calcolo, mentre l'inferenza deve scalare con gli utenti, moltiplicando repliche del modello dietro bilanciatori. Fuori dall'AI è il criterio di progettazione di ogni servizio web dai social ai pagamenti.

Il termine deriva da scala, dal latino scala (gradinata), attraverso l'inglese to scale, cambiare di dimensione secondo una proporzione. Nell'ingegneria dei sistemi la questione esplose con la crescita di internet: il web-scale degli anni 2000, quando Google, Amazon e i social network dovettero inventare architetture per carichi mai visti, ha prodotto gran parte delle tecniche di scalabilità orizzontale oggi standard.

Related terms

More in Fondamenti AI

Put it into practice

From our network

INDACO TMS — Transport Management for European Logistics

Shipment tracking, multi-carrier EDI and automated invoicing in one cloud platform. Invoices generated in under 10 seconds.

Visit indacotms.com →

From the Agora Intelligence blog

More on agora-intelligence.com →

📱 Download the Android app (beta) iOS coming soon

Say what you mean. Get what you need.

Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.