Dizionario AI › Prompting
Il needle in a haystack è un test di valutazione che misura la capacità di un modello di ritrovare una singola informazione specifica ("l'ago") nascosta all'interno di un contesto molto lungo ("il pagliaio"). Si inserisce una frase-bersaglio in un punto arbitrario di un testo di decine di migliaia di token e si chiede al modello di recuperarla. Esempio: dentro un lungo romanzo si nasconde "il codice segreto è ARANCIO-7" al 60% del testo, poi si chiede "qual è il codice segreto?". Il test verifica se il modello lo trova indipendentemente dalla posizione, rivelando eventuali punti ciechi (spesso legati al fenomeno lost in the middle).
Usalo per valutare l'affidabilità di un modello o di una pipeline RAG su contesti lunghi prima di metterla in produzione. Un buon punteggio ti dà fiducia che il modello non "perda" dati critici sepolti in documenti estesi.
Dalla nostra rete
Kaimaki Web: Websites That Win Customers
Custom websites, web apps and digital marketing for growing businesses.
Vai su kaimakiweb.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.