Context Stuffing

Definition

Context stuffing means cramming into the prompt all potentially relevant material — whole documents, many instructions, numerous examples — filling the context window in the hope the model will find what it needs on its own. Sometimes it works, but it often hurts results: the model gets distracted, loses the key instructions, or suffers the "lost in the middle" effect, ignoring information at the centre of the context. Example: pasting 40 pages of a manual for a single question instead of extracting and passing only the 2 relevant paragraphs.

Avoid it as a default strategy: prefer selected, relevant context (via retrieval or compression) over indiscriminate filling. Stuffing makes sense only when you truly cannot know in advance which part matters and high token cost is acceptable; even then, order the information well.

Definizione (italiano)

Il context stuffing consiste nell'inserire nel prompt tutto il materiale potenzialmente rilevante — documenti interi, molte istruzioni, numerosi esempi — riempiendo la finestra di contesto nella speranza che il modello trovi da solo ciò che serve. A volte funziona, ma spesso peggiora i risultati: il modello si distrae, perde le istruzioni chiave o soffre del fenomeno "lost in the middle", ignorando l'informazione al centro del contesto. Esempio: incollare 40 pagine di manuale per una singola domanda invece di estrarre e passare solo i 2 paragrafi pertinenti.

Evitalo come strategia di default: preferisci contesto selezionato e rilevante (via retrieval o compressione) rispetto al riempimento indiscriminato. Il context stuffing ha senso solo quando davvero non sai in anticipo quale parte servirà e il costo di token elevato è accettabile; anche allora, ordina bene le informazioni.

Related terms

More in Prompting

From our network

Kaimaki Web — Websites That Win Customers

Custom websites, web apps and digital marketing for growing businesses.

Visit kaimakiweb.com →

From the Agora Intelligence blog