Prompt Compression

Compressione del Prompt

Definition

Prompt compression means cutting the token count of a prompt — or its surrounding context — while preserving essential information, to save cost, reduce latency and fit the context window. It is done by hand (removing redundancy, pleasantries, superfluous examples) or with automatic techniques that filter low-information words. Example: a 3,000-token context of meeting minutes is condensed into 400 tokens that keep decisions, owners and deadlines, dropping chit-chat and repetition, before being passed to the model to draft the follow-up.

Use it when working with long contexts, high volumes or tight token budgets: RAG, document processing, large-scale apps. The risk is cutting useful information: compress deliberately and check that output quality does not drop.

Definizione (italiano)

La compressione del prompt consiste nel ridurre il numero di token di un prompt — o del contesto che lo accompagna — preservando le informazioni essenziali, per risparmiare costi, ridurre la latenza e stare dentro la finestra di contesto. Si fa a mano (eliminando ridondanze, cortesie, esempi superflui) o con tecniche automatiche che filtrano parole a bassa informatività. Esempio: un contesto di 3.000 token con verbali di riunione viene condensato in 400 token che mantengono decisioni, responsabili e scadenze, scartando chiacchiere e ripetizioni, prima di passarlo al modello per generare il follow-up.

Usala quando lavori con contesti lunghi, alti volumi o budget di token limitati: RAG, elaborazione di documenti, applicazioni su larga scala. Il rischio è tagliare informazione utile: comprimi in modo mirato e verifica che la qualità dell'output non cali.

Related terms

More in Prompting

From our network

AGORÀ Intelligence — Enterprise AI Governance Platform

Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.

Visit agora-intelligence.com →

From the Agora Intelligence blog