AI Dictionary › Fondamenti AI
Retry con Backoff
Retry with backoff is the strategy of reattempting a failed operation while waiting increasingly long intervals between attempts: one second, then two, then four, then eight. The exponential growth of the wait (exponential backoff) avoids the naive retry paradox: a thousand clients all retrying at the same instant turn a server hiccup into a collapse.
Retry with backoff is the strategy of reattempting a failed operation while waiting increasingly long intervals between attempts: one second, then two, then four, then eight. The exponential growth of the wait (exponential backoff) avoids the naive retry paradox: a thousand clients all retrying at the same instant turn a server hiccup into a collapse.
On top of the exponential progression comes jitter, a random variation of the wait that desynchronizes clients and prevents simultaneous retry waves. A maximum number of attempts and a cap on the wait are set; beyond those, the error is propagated or the operation lands in a recovery queue. The strategy works for transient errors (network, overload) and is useless for permanent ones (wrong credentials), which must be recognized and never retried.
In AI it is daily practice: model APIs return 429 (rate limit) and 503 (overload) errors that official SDKs handle with built-in exponential backoff, and robust agents apply the same logic to calls toward external tools. Beyond AI it is the standard for any network integration, from payments to microservices.
The technique has a precise origin: it was born to handle collisions on shared-medium networks, from ALOHAnet (University of Hawaii, 1970) to Robert Metcalfe's Ethernet (1973), where stations transmitting simultaneously had to retry after growing random waits. Backoff literally means to back away, to withdraw: exactly what the client does, ever more discreetly, after each failed attempt.
Il retry con backoff è la strategia di ritentare un'operazione fallita aspettando intervalli crescenti tra un tentativo e l'altro: un secondo, poi due, poi quattro, poi otto. La crescita esponenziale dell'attesa (exponential backoff) evita il paradosso del retry ingenuo: mille client che ritentano tutti insieme nello stesso istante trasformano un singhiozzo del server in un collasso.
Alla progressione esponenziale si aggiunge il jitter, una variazione casuale dell'attesa che desincronizza i client ed evita ondate simultanee di tentativi. Si fissano un numero massimo di tentativi e un tetto all'attesa; superati quelli, l'errore viene propagato o l'operazione finisce in una coda di recupero. La strategia funziona per errori transitori (rete, sovraccarico) ed è inutile per errori permanenti (credenziali sbagliate), che vanno riconosciuti e non ritentati.
Nell'AI è pratica quotidiana: le API dei modelli restituiscono errori 429 (rate limit) e 503 (sovraccarico) che gli SDK ufficiali gestiscono con backoff esponenziale integrato, e gli agenti robusti applicano la stessa logica alle chiamate verso strumenti esterni. Fuori dall'AI è lo standard per qualunque integrazione di rete, dai pagamenti ai microservizi.
La tecnica ha un'origine precisa: nacque per gestire le collisioni nelle reti a mezzo condiviso, da ALOHAnet (Univ. delle Hawaii, 1970) all'Ethernet di Robert Metcalfe (1973), dove le stazioni che trasmettevano insieme dovevano riprovare dopo attese casuali crescenti. Backoff significa letteralmente fare marcia indietro, ritirarsi: esattamente ciò che il client fa, con sempre più discrezione, a ogni tentativo fallito.
From our network
AGORÀ Intelligence — Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Visit agora-intelligence.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.