AI Dictionary › Fondamenti AI

Logits

Logit

Definition

Logits are the raw numerical scores a model produces before turning them into probabilities. They are unconstrained values, positive or negative, expressing how much the model favors each option: a high logit signals strong preference, a low one the opposite. They're like the raw scores a judge assigns before normalizing them into a final verdict: informative, but not yet readable as probabilities. To convert them into comparable percentages that sum to one, the softmax function is applied. In a language model there's one logit for every possible next token in the vocabulary.

Working directly with logits is useful in many practical settings: it lets you measure model confidence, apply filtering rules, compute the loss function during training in a numerically stable way, and control generation. Understanding them helps distinguish what the model 'thinks' internally from the final probability shown.

Definizione (italiano)

I logit sono i punteggi numerici grezzi che un modello produce prima di trasformarli in probabilità. Sono valori senza vincoli, positivi o negativi, che esprimono quanto il modello propenda per ciascuna opzione: un logit alto indica una forte preferenza, uno basso il contrario. Sono come i voti in centesimi che un giudice assegna prima di normalizzarli in un verdetto finale: informativi, ma non ancora leggibili come probabilità. Per convertirli in percentuali confrontabili che sommano a uno si applica la funzione softmax. In un modello linguistico esiste un logit per ogni possibile token successivo del vocabolario.

Lavorare direttamente con i logit è utile in molti contesti pratici: permette di misurare la confidenza del modello, applicare regole di filtraggio, calcolare la funzione di perdita durante l'addestramento in modo numericamente stabile e controllare la generazione. Capirli aiuta a distinguere ciò che il modello 'pensa' internamente dalla probabilità finale mostrata.

Related terms

• Softmax
• Loss Function
• Temperature
• Token
• Inference

More in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• AI Hallucination
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

📱 Download the Android app (beta) iOS coming soon

Say what you mean. Get what you need.

Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.