Dizionario AI › Fondamenti AI

Throughput

Il throughput è la quantità di lavoro che un sistema completa nell'unità di tempo: richieste al secondo, token al secondo, transazioni al minuto. È la misura della portata, da distinguere dalla latenza, che misura invece la velocità della singola operazione. Un traghetto ha throughput alto e latenza alta; un motoscafo l'opposto: trasporta poco, ma arriva subito.

Definizione

Come funziona

Throughput e latenza sono spesso in tensione: tecniche come il batching aumentano la portata complessiva al prezzo di far attendere le singole richieste, mentre ottimizzare la risposta immediata può sprecare capacità. Il throughput reale dipende dal collo di bottiglia: CPU, memoria, banda di rete o I/O su disco. Individuarlo e allargarlo è il mestiere dell'ottimizzazione delle prestazioni.

Applicazioni

Nell'AI il throughput si misura in token al secondo: i sistemi di inferenza come vLLM usano il continuous batching per servire molte richieste insieme e moltiplicare i token generati per GPU, abbattendo il costo unitario. Nel training conta il throughput di esempi processati al secondo sull'intero cluster. Fuori dall'AI governa il dimensionamento di database, reti e sistemi di pagamento.

Storia ed etimologia

La parola inglese nasce dalla composizione di through (attraverso) e put (mettere): ciò che passa attraverso il sistema. Era già in uso nell'industria manifatturiera e ferroviaria per la capacità produttiva o di trasporto; l'informatica e le telecomunicazioni la adottarono per la capacità dei canali e degli elaboratori, e la teoria delle code di Erlang ne fornì fin dal 1909 gli strumenti matematici di analisi.

Come si usa in Grace

Le 7 dimensioni di valutazione di Grace misurano sia la qualità sia l'efficienza dei tuoi prompt: pensare in termini di throughput ti aiuta a produrre di più a parità di token. Negli scenari su costi e prestazioni dell'AI, distinguere throughput e latenza è la mossa da esperto.

Termini correlati

• Latenza (Latency)
• Batch Processing
• Compute (potenza di calcolo)
• GPU e TPU
• Token Efficiency

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.