Dizionario AI › Prompting
Il parametro max tokens fissa il numero massimo di token che il modello può generare in una singola risposta. È un tetto tecnico che protegge da output troppo lunghi, controlla i costi e garantisce tempi di risposta prevedibili. Esempio: imposti max_tokens = 150 per un compito di riassunto breve; il modello si ferma al raggiungimento del limite, anche a metà frase se non ha concluso prima. Attenzione: max tokens NON istruisce il modello a essere conciso, lo tronca soltanto. Per ottenere risposte davvero brevi devi anche dirlo nel prompt ("riassumi in massimo 3 frasi").
Usalo per mettere in sicurezza un'applicazione: evitare risposte fuori misura, contenere la spesa per chiamata, rispettare limiti di interfaccia. Ricorda che il limite si somma ai token dell'input dentro la finestra di contesto: input molto lungo lascia meno spazio all'output.
Dalla nostra rete
HSE Genius: AI for Safety Data Sheets
Extract SDS data, H phrases and ECHA compliance checks in seconds, powered by AI.
Vai su hsegenius.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.