AI Dictionary › Fondamenti AI
A load balancer is a component that distributes incoming traffic across multiple servers so that none is overloaded while others sit idle. It acts like a traffic officer at an intersection: it receives every request and routes it to the most suitable destination. It is what allows a service to scale horizontally by adding machines rather than beefing up a single one.
A load balancer is a component that distributes incoming traffic across multiple servers so that none is overloaded while others sit idle. It acts like a traffic officer at an intersection: it receives every request and routes it to the most suitable destination. It is what allows a service to scale horizontally by adding machines rather than beefing up a single one.
The balancer receives each request and picks a target server according to an algorithm: round-robin (taking turns), least connections (the least busy server), or weights proportional to capacity. Meanwhile it runs periodic health checks: if a server stops responding, it is removed from rotation until it recovers. Balancers can operate at the network level (L4) or understand the application protocol (L7), routing for example by URL.
In AI, load balancers spread inference requests across GPU fleets, and LLM gateways apply the same principle by routing calls among different providers and models based on cost, latency and available quota. Beyond AI, they hold up every major website, from e-commerce platforms to streaming services.
The term comes from the analogy with balancing physical loads. Dedicated balancers emerged with the growth of the commercial web in the mid-1990s: the Cisco LocalDirector (1996) and the early products of F5 Networks, founded in 1996, are among the category's forerunners. With the cloud, load balancing became a managed service, available with one click from every major provider.
Un load balancer è un componente che distribuisce il traffico in arrivo su più server, in modo che nessuno sia sovraccarico mentre altri restano inattivi. Agisce come un vigile all'incrocio: riceve tutte le richieste e le smista verso la destinazione più adatta. È ciò che permette a un servizio di scalare orizzontalmente aggiungendo macchine invece di potenziarne una sola.
Il bilanciatore riceve ogni richiesta e sceglie il server di destinazione secondo un algoritmo: round-robin (a turno), least connections (al server meno carico), o pesi proporzionali alla capacità. Nel frattempo esegue health check periodici: se un server smette di rispondere, viene escluso dalla rotazione finché torna sano. I bilanciatori possono operare a livello di rete (L4) o comprendere il protocollo applicativo (L7), instradando ad esempio in base all'URL.
Nell'AI i load balancer distribuiscono le richieste di inferenza su flotte di GPU, e i gateway LLM applicano lo stesso principio smistando le chiamate tra provider e modelli diversi in base a costo, latenza e quota disponibile. Fuori dall'AI reggono ogni grande sito web, dalle piattaforme di e-commerce ai servizi di streaming.
Il termine nasce dall'analogia con il bilanciamento dei carichi fisici. I bilanciatori dedicati emersero con la crescita del web commerciale a metà anni '90: il Cisco LocalDirector (1996) e i primi prodotti di F5 Networks, fondata nel 1996, sono tra i capostipiti della categoria. Con il cloud il load balancing è diventato un servizio gestito, offerto con un click da tutti i grandi provider.
From our network
AGORÀ Intelligence — Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Visit agora-intelligence.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.