Dizionario AI › Prompting
Prompt Compression
La compressione del prompt consiste nel ridurre il numero di token di un prompt, o del contesto che lo accompagna, preservando le informazioni essenziali, per risparmiare costi, ridurre la latenza e stare dentro la finestra di contesto. Si fa a mano (eliminando ridondanze, cortesie, esempi superflui) o con tecniche automatiche che filtrano parole a bassa informatività. Esempio: un contesto di 3.000 token con verbali di riunione viene condensato in 400 token che mantengono decisioni, responsabili e scadenze, scartando chiacchiere e ripetizioni, prima di passarlo al modello per generare il follow-up.
Usala quando lavori con contesti lunghi, alti volumi o budget di token limitati: RAG, elaborazione di documenti, applicazioni su larga scala. Il rischio è tagliare informazione utile: comprimi in modo mirato e verifica che la qualità dell'output non cali.
Dalla nostra rete
INDACO TMS: Transport Management for European Logistics
Shipment tracking, multi-carrier EDI and automated invoicing in one cloud platform. Invoices generated in under 10 seconds.
Vai su indacotms.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.