Lost in the Middle

Definition

"Lost in the middle" is the phenomenon where language models pay more attention to information at the beginning and end of a long context, and tend to overlook what sits in the middle. Even with wide context windows, a crucial fact buried halfway through a long document risks being ignored. Example: in a prompt with 30 paragraphs, the correct answer is in paragraph 15; the model answers poorly because that point got less weight than the first and last paragraphs.

Account for it when designing prompts with lots of context: put the most important instructions and data at the start or end, not the middle. In practice, reorder retrieved documents by relevance, repeat key instructions at the tail, or shrink context with compression and targeted retrieval instead of filling it.

Definizione (italiano)

"Lost in the middle" è il fenomeno per cui i modelli di linguaggio prestano più attenzione alle informazioni collocate all'inizio e alla fine di un lungo contesto, e tendono a trascurare quelle poste nel mezzo. Anche con finestre di contesto ampie, un dato cruciale sepolto a metà di un documento lungo rischia di essere ignorato. Esempio: in un prompt con 30 paragrafi, la risposta corretta è nel paragrafo 15; il modello risponde male perché quel punto ha ricevuto meno peso rispetto al primo e all'ultimo paragrafo.

Tienine conto quando progetti prompt con molto contesto: metti le istruzioni e i dati più importanti all'inizio o alla fine, non nel mezzo. In pratica, riordina i documenti recuperati per rilevanza, ripeti le istruzioni chiave in coda, o riduci il contesto con compressione e retrieval mirato invece di riempirlo.

Related terms

More in Prompting

From our network

AGORÀ Intelligence — Enterprise AI Governance Platform

Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.

Visit agora-intelligence.com →

From the Agora Intelligence blog