AI Dictionary › Fondamenti AI
The softmax function turns a set of raw numerical scores into a probability distribution: values that sum to one and represent how likely each option is. It takes the logits produced by the model, amplifies them exponentially, and normalizes them, so the highest score becomes the largest probability without fully zeroing out the alternatives. It's like converting a jury's raw votes into clear, comparable preference percentages. In a language model, the final-layer softmax gives the probability of each possible next word, guiding which token to generate.
Softmax is everywhere in AI: in classification to pick a category, in attention mechanisms to weigh token importance, in text generation. It's also where parameters like temperature act, making the distribution sharper or fuzzier and thus influencing how creative or predictable a model's responses are.
La funzione softmax trasforma un insieme di punteggi numerici grezzi in una distribuzione di probabilità: valori che sommano a uno e rappresentano quanto ciascuna opzione sia probabile. Prende i logit prodotti dal modello, li amplifica esponenzialmente e li normalizza, così che il punteggio più alto diventi la probabilità maggiore ma senza azzerare del tutto le alternative. È come convertire i voti grezzi di una giuria in percentuali di preferenza chiare e confrontabili. In un modello linguistico, la softmax dell'ultimo strato indica la probabilità di ogni possibile parola successiva, guidando la scelta del token da generare.
La softmax è ovunque nell'AI: nella classificazione per scegliere una categoria, nei meccanismi di attenzione per pesare l'importanza dei token, nella generazione di testo. È anche il punto in cui parametri come la temperatura agiscono, rendendo la distribuzione più netta o più incerta e influenzando così quanto creative o prevedibili siano le risposte del modello.
From our network
Kaimaki Web — Websites That Win Customers
Custom websites, web apps and digital marketing for growing businesses.
Visit kaimakiweb.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.