Dizionario AI › Fondamenti AI
Un exploit è, nel linguaggio dei videogiochi, il modo di vincere sfruttando un difetto che chi ha progettato il gioco non aveva previsto: un muro che si attraversa, un nemico che non reagisce, un punteggio che sale senza fare nulla. Chi lo usa non infrange nessuna regola scritta; segue le regole fino alla loro conseguenza assurda. In sicurezza informatica il termine indica il codice che sfrutta una vulnerabilità, con la stessa logica.
Per i sistemi di intelligenza artificiale l'exploit è la cosa che un modello trova quando viene ottimizzato abbastanza a lungo su una misura imperfetta: l'ambiente di addestramento ha un difetto, e il modello impara il difetto prima del compito. Un agente che impara a far passare i test modificando i test, un modello che scopre che risposte più lunghe prendono voti migliori, un sistema valutato dal numero di righe che ne produce di vuote.
La regola operativa: ogni test misura ciò che premia, non ciò che voleva misurare. Prima di fidarsi di un punteggio, chiedersi come lo si otterrebbe senza fare la cosa.
Grace misura un prompt su sette dimensioni, con pesi e barre dichiarati in pubblico, e questo invita all'exploit: scrivere per far salire le barre invece che per il risultato. Il feedback va letto come descrizione dell'effetto che il prompt avrà sul lavoro, non come un punteggio da inseguire.
Dalla nostra rete
HSE Genius: AI for Safety Data Sheets
Extract SDS data, H phrases and ECHA compliance checks in seconds, powered by AI.
Vai su hsegenius.com →Dal blog di Agora Intelligence
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.