AI Dictionary › Prompting

Prompt Sensitivity

Sensibilita' al Prompt

Prompt sensitivity is the phenomenon whereby small variations in how a prompt is phrased — word order, choice of synonym, punctuation or formatting — can produce significantly different responses from the same model, even when the communicated intent appears identical to a human reader.

Definition

What it is

Prompt sensitivity is the phenomenon whereby small variations in how a prompt is phrased — word order, choice of synonym, punctuation or formatting — can produce significantly different responses from the same model, even when the communicated intent appears identical to a human reader.

How it works

This behavior stems from how models process text as a sequence of tokens: seemingly minor variations can shift the model's internal probability distribution toward different generation paths, especially when the prompt sits near a boundary between multiple plausible interpretations. It is not an isolated flaw but a structural characteristic of current language models.

Applications

In practice, people working with prompts account for prompt sensitivity by testing several phrasings of the same request before adopting one in production, checking how much the response changes as minor details vary, and preferring more explicit, less ambiguous phrasings precisely to reduce variance. It is a relevant factor when assessing the reliability of a prompt intended for large-scale reuse.

History & etymology

The term describes an empirical observation that emerged with the widespread use of language models in production, when it was noticed that the reliability of an output depends non-trivially on surface-level details of phrasing, in addition to the substantive content of the request.

Definizione (italiano)

La sensibilita' al prompt e' il fenomeno per cui piccole variazioni nella formulazione di un prompt — l'ordine delle parole, la scelta di un sinonimo, la punteggiatura o la formattazione — possono produrre risposte significativamente diverse da parte dello stesso modello, anche quando l'intento comunicato appare identico a un lettore umano.

Questo comportamento deriva dal modo in cui i modelli elaborano il testo come sequenza di token: variazioni apparentemente minime possono spostare la distribuzione di probabilita' interna del modello verso percorsi di generazione diversi, specialmente quando il prompt si avvicina a un confine tra piu' interpretazioni plausibili. Non e' un difetto isolato ma una caratteristica strutturale dei modelli linguistici attuali.

Nella pratica, chi lavora con i prompt tiene conto della sensibilita' al prompt testando piu' formulazioni della stessa richiesta prima di adottarne una in produzione, verificando quanto la risposta cambi al variare di dettagli minori, e preferendo formulazioni piu' esplicite e meno ambigue proprio per ridurre la varianza. E' un fattore rilevante nella valutazione dell'affidabilita' di un prompt destinato a essere riutilizzato su larga scala.

Il termine descrive un'osservazione empirica emersa con l'uso diffuso dei modelli linguistici in produzione, quando si e' notato che l'affidabilita' di un output dipende in modo non banale dai dettagli superficiali della formulazione, oltre che dal contenuto sostanziale della richiesta.

Related terms

More in Prompting

Put it into practice

From our network

Kaimaki Web — Websites That Win Customers

Custom websites, web apps and digital marketing for growing businesses.

Visit kaimakiweb.com →

From the Agora Intelligence blog

More on agora-intelligence.com →

📱 Download the Android app (beta) iOS coming soon

Say what you mean. Get what you need.

Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.