AI Dictionary › Fondamenti AI

Curriculum Learning

Curriculum learning is a training strategy in which data is presented to the model in a deliberate order, typically from simplest to most complex, rather than randomly. The idea is inspired by how humans learn, building skills progressively. The goal is to make training more efficient or to improve the final quality of the model.

Definition

What it is

Curriculum learning is a training strategy in which data is presented to the model in a deliberate order, typically from simplest to most complex, rather than randomly. The idea is inspired by how humans learn, building skills progressively. The goal is to make training more efficient or to improve the final quality of the model.

How it works

Instead of mixing all training examples together from the start, curriculum learning defines a difficulty criterion and organizes the data into a progressive sequence. The model is first exposed to easier examples, to build solid basic representations, and only later to more difficult or ambiguous ones.

Applications

It has been applied in various neural network training contexts, including the pre-training of language models, where simple texts can precede more complex or specialized ones. It is also used in areas such as reinforcement learning, where tasks can be ordered by increasing difficulty.

History & etymology

It is an idea borrowed from pedagogical concepts applied to machine learning, proposed as a way to improve convergence speed and model generalization.

Definizione (italiano)

Il curriculum learning è una strategia di addestramento in cui i dati vengono presentati al modello in un ordine studiato, tipicamente dai più semplici ai più complessi, invece che in ordine casuale. L'idea si ispira al modo in cui gli esseri umani imparano, costruendo competenze progressivamente. L'obiettivo è rendere l'addestramento più efficiente o migliorare la qualità finale del modello.

Anziché mescolare tutti gli esempi di addestramento fin dall'inizio, il curriculum learning definisce un criterio di difficoltà e organizza i dati in una sequenza progressiva. Il modello viene esposto prima agli esempi più facili, per costruire rappresentazioni di base solide, e solo successivamente agli esempi più difficili o ambigui.

È stato applicato in diversi contesti di addestramento di reti neurali, incluso il pre-addestramento di modelli linguistici, dove testi semplici possono precedere testi più complessi o specialistici. Viene usato anche in ambiti come il reinforcement learning, dove i compiti possono essere ordinati per difficoltà crescente.

È un'idea che riprende concetti pedagogici applicati all'apprendimento automatico, proposta come modo per migliorare la velocità di convergenza e la generalizzazione dei modelli.

Related terms

More in Fondamenti AI

Put it into practice

From our network

Magellano GPS — Fleet Tracking Made Simple

Real-time GPS tracking, remote engine lock, fuel and CO₂ reporting for your fleet.

Visit magellanogps.com →

From the Agora Intelligence blog

More on agora-intelligence.com →

📱 Download the Android app (beta) iOS coming soon

Say what you mean. Get what you need.

Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.