AI Dictionary › Fondamenti AI

Pre-training

Pre-addestramento

Definition

Pre-training is the first and most expensive phase of building a large model, where it learns from enormous amounts of raw, unlabeled data. For a language model this means reading billions of sentences and learning to predict the next word, thereby absorbing grammar, facts, styles, and reasoning patterns. It's like a person's general education: before specializing in a trade, they accumulate broad background knowledge by reading and observing the world. This phase produces the foundation model, a reservoir of general knowledge not yet aimed at a specific task.

Pre-training takes months of computation across thousands of processors and is what makes models so versatile. Only afterward, with lighter phases like fine-tuning, is this base adapted to specific uses, far more efficient than training from scratch for every application.

Definizione (italiano)

Il pre-addestramento è la prima e più costosa fase di creazione di un grande modello, in cui esso apprende da enormi quantità di dati grezzi senza etichette specifiche. Per un modello linguistico questo significa leggere miliardi di frasi e imparare a prevedere la parola successiva, assorbendo così grammatica, fatti, stili e schemi di ragionamento. È come l'istruzione generale di una persona: prima di specializzarsi in un mestiere, accumula una vasta cultura di base leggendo e osservando il mondo. Da questa fase nasce il foundation model, un serbatoio di conoscenza generale non ancora orientato a un compito preciso.

Il pre-addestramento richiede mesi di calcolo su migliaia di processori ed è ciò che rende i modelli così versatili. Solo dopo, con fasi più leggere come il fine-tuning, questa base viene adattata a usi specifici, un approccio molto più efficiente che addestrare da zero per ogni applicazione.

Related terms

• Foundation Model
• Fine-tuning
• Transfer Learning
• Training Data
• Scaling Laws

More in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• AI Hallucination
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

📱 Download the Android app (beta) iOS coming soon

Say what you mean. Get what you need.

Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.