Dizionario AI › Fondamenti AI

Pre-addestramento

Pre-training

Il pre-addestramento è la prima e più costosa fase di creazione di un grande modello, in cui esso apprende da enormi quantità di dati grezzi senza etichette specifiche. Per un modello linguistico questo significa leggere miliardi di frasi e imparare a prevedere la parola successiva, assorbendo così grammatica, fatti, stili e schemi di ragionamento. È come l'istruzione generale di una persona: prima di specializzarsi in un mestiere, accumula una vasta cultura di base leggendo e osservando il mondo. Da questa fase nasce il foundation model, un serbatoio di conoscenza generale non ancora orientato a un compito preciso.

Definizione

Il pre-addestramento richiede mesi di calcolo su migliaia di processori ed è ciò che rende i modelli così versatili. Solo dopo, con fasi più leggere come il fine-tuning, questa base viene adattata a usi specifici, un approccio molto più efficiente che addestrare da zero per ogni applicazione.

Termini correlati

• Foundation Model
• Fine-tuning
• Apprendimento per trasferimento
• Dati di addestramento (Training Data)
• Leggi di scala

Altri termini in Fondamenti AI

• LLM (Large Language Model)
• Token
• Context Window
• Temperature
• Allucinazione (AI Hallucination)
• Fine-tuning
• RAG (Retrieval Augmented Generation)
• Embedding

Mettilo alla prova

• Scenario reale: applica questo concetto con un verdetto AI immediato.
• Palestra quotidiana: brevi esercizi per allenare i concetti del dizionario.
• Gioco Playoff: sfida altri giocatori, a eliminazione diretta.

📱 Scarica l'app Android (beta) iOS in arrivo

Dì quello che intendi. Ottieni quello che ti serve.

Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.