AI Dictionary › Fondamenti AI
Batch processing is handling data in lots: requests or records are accumulated and processed all together at a set time, rather than one by one as they arrive. It is the complementary opposite of streaming: where real time favors responsiveness, batch favors efficiency and cost.
Batch processing is handling data in lots: requests or records are accumulated and processed all together at a set time, rather than one by one as they arrive. It is the complementary opposite of streaming: where real time favors responsiveness, batch favors efficiency and cost.
A batch job reads a large dataset, processes it start to finish and writes the results, typically during low-load windows such as overnight. The absence of interactivity allows aggressive optimization: parallelizing across many machines, saturating resources, resuming from checkpoints after failures. Frameworks like Apache Spark made distributed batch accessible on petabyte datasets.
In AI, batch is everywhere: training itself proceeds in batches of examples, embedding generation for millions of documents runs as a nightly job, and LLM providers offer discounted batch APIs (often 50% off) for delay-tolerant workloads such as classifying archives or mass-generating summaries. Beyond AI, payroll, billing and bank reconciliation have always been batch.
It is computing's oldest mode: in the 1950s and 60s programs were handed in as decks of punched cards and operators ran them in batches (the word is related to bake, an oven-load) on the mainframe, returning printouts hours later. Operating systems were born precisely to automate this job queue: the General Motors-North American Monitor for the IBM 704, from 1956, is considered among the first.
Il batch processing è l'elaborazione dei dati in lotti: le richieste o i record vengono accumulati e processati tutti insieme in un momento prestabilito, invece che uno alla volta appena arrivano. È l'opposto complementare dello streaming: dove il tempo reale privilegia la reattività, il batch privilegia l'efficienza e il costo.
Un job batch legge un grande insieme di dati, lo elabora dall'inizio alla fine e scrive i risultati, tipicamente in orari di basso carico come la notte. L'assenza di interattività permette di ottimizzare tutto: parallelizzare su molte macchine, saturare le risorse, riprendere da checkpoint in caso di errore. Framework come Apache Spark hanno reso il batch distribuito accessibile su dataset di petabyte.
Nell'AI il batch è ovunque: l'addestramento stesso procede per batch di esempi, la generazione di embedding per milioni di documenti gira come job notturno e i provider LLM offrono batch API scontate (spesso del 50%) per elaborazioni tolleranti al ritardo, come classificare archivi o generare riassunti in massa. Fuori dall'AI, buste paga, fatturazione e riconciliazioni bancarie sono batch da sempre.
È la modalità più antica dell'informatica: negli anni '50 e '60 i programmi si consegnavano su mazzi di schede perforate e l'operatore li eseguiva in lotti (batch, dall'inglese infornata, legato a bake, cuocere) sul mainframe, restituendo i tabulati ore dopo. I sistemi operativi nacquero proprio per automatizzare questa coda di lavori: il General Motors-North American Monitor per l'IBM 704, del 1956, è considerato tra i primi.
From our network
Magellano GPS — Fleet Tracking Made Simple
Real-time GPS tracking, remote engine lock, fuel and CO₂ reporting for your fleet.
Visit magellanogps.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.