AI Dictionary › Fondamenti AI
Calibrazione del modello (Model Calibration)
Model calibration measures how closely an AI system's stated confidence in its own answers matches the actual probability that those answers are correct. A well-calibrated model, when it says it is 90% confident, is in fact right about 90% of the time in similar cases. A poorly calibrated model can be overconfident about wrong answers or overly cautious about correct ones, making its uncertainty signals hard to trust.
Model calibration measures how closely an AI system's stated confidence in its own answers matches the actual probability that those answers are correct. A well-calibrated model, when it says it is 90% confident, is in fact right about 90% of the time in similar cases. A poorly calibrated model can be overconfident about wrong answers or overly cautious about correct ones, making its uncertainty signals hard to trust.
To assess it, many of the model's predictions are collected along with their stated confidence level, and average confidence is compared against the actual frequency of correct answers within each band. Gaps between stated confidence and observed accuracy are summarized into numeric metrics quantifying calibration error. Post-processing techniques can then correct confidence estimates that are too optimistic or too pessimistic.
It is especially relevant in areas where decisions rely on the model's certainty level, such as assisted diagnosis, risk assessment, or systems that need to know when to ask a human for confirmation. Good calibration allows a model's confidence to be used as a reliable signal for routing uncertain cases to review.
The concept comes from predictive statistics, where probability calibration has been studied for decades to assess the quality of weather forecasts and other probabilistic models, before being applied to machine learning systems.
La calibrazione del modello misura quanto la fiducia dichiarata da un sistema AI nelle proprie risposte corrisponda alla probabilità reale che quelle risposte siano corrette. Un modello ben calibrato, quando dice di essere sicuro al 90%, ha effettivamente ragione circa nel 90% dei casi analoghi. Un modello mal calibrato può essere troppo sicuro di risposte sbagliate o troppo cauto su risposte corrette, rendendo difficile fidarsi dei suoi segnali di incertezza.
Per valutarla si raccolgono molte previsioni del modello insieme al relativo livello di confidenza dichiarato, poi si confronta la confidenza media con la frequenza reale di risposte corrette in ciascuna fascia. Gli scostamenti tra confidenza dichiarata e accuratezza osservata vengono riassunti in metriche numeriche che quantificano l'errore di calibrazione. Tecniche di post-elaborazione possono poi correggere le stime di confidenza troppo ottimistiche o pessimistiche.
È particolarmente rilevante in ambiti dove le decisioni si basano sul livello di certezza del modello, come diagnosi assistite, valutazione del rischio o sistemi che devono sapere quando chiedere conferma a un essere umano. Una buona calibrazione permette di usare la confidenza del modello come segnale affidabile per instradare i casi incerti verso una revisione.
Il concetto proviene dalla statistica previsionale, dove la calibrazione delle probabilità è studiata da decenni per valutare la qualità delle previsioni meteorologiche e di altri modelli probabilistici, prima di essere applicata ai sistemi di apprendimento automatico.
From our network
Kaimaki Web — Websites That Win Customers
Custom websites, web apps and digital marketing for growing businesses.
Visit kaimakiweb.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.