AI Dictionary › Fondamenti AI
An API gateway is the single entry point through which all external requests reach a system's internal services. Like the reception desk of a large building, it welcomes every visitor, checks their credentials, directs them to the right office and keeps the access log. It centralizes the cross-cutting functions every service would otherwise have to reimplement.
An API gateway is the single entry point through which all external requests reach a system's internal services. Like the reception desk of a large building, it welcomes every visitor, checks their credentials, directs them to the right office and keeps the access log. It centralizes the cross-cutting functions every service would otherwise have to reimplement.
When a request arrives, the gateway authenticates the caller (API key, OAuth token), applies rate limiting, validates and routes the call to the appropriate microservice, possibly aggregating several responses into one. Meanwhile it records metrics and logs, handles TLS termination and translates protocols. Tools like Kong, Apigee and AWS API Gateway dominate the category.
In AI, the LLM gateway has emerged as a specialized evolution: a single point that routes calls to multiple model providers, manages keys and quotas, applies semantic caches, masks sensitive data in prompts and tracks costs per team. Tools like LiteLLM and OpenRouter embody this pattern. Beyond AI, the gateway is the standard gatekeeper of every microservices architecture.
The term combines API with gateway, the word for an access gate, used in computer networking for decades to name border nodes between different systems. The product category took hold in the 2010s with the explosion of the API economy and microservices: the rise of companies like Kong (whose open source gateway shipped in 2015) and the arrival of AWS API Gateway the same year mark its commercial maturity.
Un API gateway è il punto di ingresso unico attraverso cui tutte le richieste esterne raggiungono i servizi interni di un sistema. Come la reception di un grande edificio, accoglie ogni visitatore, ne verifica le credenziali, lo indirizza all'ufficio giusto e tiene il registro degli accessi. Centralizza le funzioni trasversali che altrimenti ogni servizio dovrebbe reimplementare.
All'arrivo di una richiesta, il gateway autentica il chiamante (API key, token OAuth), applica il rate limiting, valida e instrada la chiamata verso il microservizio competente, eventualmente aggregando più risposte in una. Nel frattempo registra metriche e log, gestisce la terminazione TLS e traduce protocolli. Strumenti come Kong, Apigee e AWS API Gateway dominano la categoria.
Nell'AI è emerso il gateway LLM, un'evoluzione specializzata: un punto unico che smista le chiamate verso più provider di modelli, gestisce chiavi e quote, applica cache semantiche, maschera dati sensibili nei prompt e traccia i costi per team. Strumenti come LiteLLM e OpenRouter incarnano questo pattern. Fuori dall'AI, il gateway è il guardiano standard di ogni architettura a microservizi.
Il termine combina API con gateway, parola che in inglese indica il varco, il cancello d'accesso, e che le reti informatiche usano da decenni per i nodi di confine tra sistemi diversi. La categoria di prodotto si affermò negli anni 2010 con l'esplosione dell'economia delle API e dei microservizi: la nascita di aziende come Kong (il cui gateway open source uscì nel 2015) e l'arrivo di AWS API Gateway nello stesso anno ne segnano la maturità commerciale.
From our network
HSE Genius — AI for Safety Data Sheets
Extract SDS data, H phrases and ECHA compliance checks in seconds, powered by AI.
Visit hsegenius.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.