Dizionario AI › Fondamenti AI

Rate Limiting

Il rate limiting è la limitazione del numero di richieste che un client può effettuare in una finestra di tempo: cento richieste al minuto, diecimila al giorno. Protegge i servizi dal sovraccarico, dagli abusi e dai costi fuori controllo, garantendo che le risorse condivise restino disponibili per tutti in modo equo.

Definizione

Come funziona

L'algoritmo più diffuso è il token bucket: un secchiello si riempie di gettoni a ritmo costante, ogni richiesta ne consuma uno e quando il secchiello è vuoto le richieste vengono respinte con l'errore HTTP 429 (Too Many Requests). Varianti come sliding window e leaky bucket offrono compromessi diversi tra precisione e semplicità. Le risposte includono spesso header che indicano quota residua e momento del reset.

Applicazioni

Nell'AI il rate limiting è esperienza quotidiana: le API dei modelli impongono limiti su richieste al minuto e token al minuto, distinti per livello di abbonamento, e chi costruisce applicazioni deve gestirli con code, backoff e distribuzione del carico tra più chiavi o provider. Fuori dall'AI regola API pubbliche, login (contro gli attacchi di forza bruta) e traffico di rete.

Storia ed etimologia

Il concetto discende dal traffic shaping delle reti di telecomunicazione: gli algoritmi token bucket e leaky bucket furono sviluppati e analizzati negli anni '80, in particolare nella comunità che progettava le reti ATM, per regolare i flussi di pacchetti. Con l'economia delle API degli anni 2000, la limitazione di velocità è passata dal livello di rete a quello applicativo, diventando anche uno strumento commerciale: i piani a pagamento si differenziano proprio per i limiti concessi.

Come si usa in Grace

Gli scenari professionali di Grace su applicazioni AI in produzione includono la gestione dei limiti delle API: saper nominare token bucket e finestre di quota rende i tuoi prompt da architetto. La palestra quotidiana ti abitua a lavorare bene dentro vincoli definiti, l'essenza del rate limiting.

Termini correlati

• Retry con Backoff
• API
• Timeout
• Coda (Queue)
• Max Tokens

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.