AI Dictionary › Fondamenti AI
Apprendimento auto-supervisionato
Self-supervised learning is a training approach in which the model generates its own supervision signals from the data itself, without needing labels manually created by people. The training task is built by hiding or altering part of the data and asking the model to predict it, using the rest of the data as context.
Self-supervised learning is a training approach in which the model generates its own supervision signals from the data itself, without needing labels manually created by people. The training task is built by hiding or altering part of the data and asking the model to predict it, using the rest of the data as context.
A typical example is masking some words in a text and training the model to predict them from the surrounding words, or training it to predict the next word given a sequence of text. This way, the data's own intrinsic structure is used as a source of supervision, without needing to collect external annotations.
It is the approach underlying the pre-training of most modern large language models, which learn from huge amounts of unlabeled text gathered from various sources. It is also used in areas such as computer vision, to learn useful representations from images or video without manual labels.
It has become central to training models at scale because it allows huge amounts of available data to be exploited without the cost of manual labeling required by traditional supervised learning.
L'apprendimento auto-supervisionato è un approccio di addestramento in cui il modello genera i propri segnali di supervisione a partire dai dati stessi, senza bisogno di etichette create manualmente da persone. Il compito di addestramento viene costruito nascondendo o alterando una parte dei dati e chiedendo al modello di prevederla, usando il resto dei dati come contesto.
Un esempio tipico è mascherare alcune parole di un testo e addestrare il modello a prevederle a partire dalle parole circostanti, oppure addestrarlo a prevedere la parola successiva data una sequenza di testo. In questo modo si sfrutta la struttura intrinseca dei dati stessi come fonte di supervisione, senza dover raccogliere annotazioni esterne.
È l'approccio alla base del pre-addestramento della maggior parte dei moderni modelli linguistici di grandi dimensioni, che imparano da enormi quantità di testo non etichettato reperito da fonti diverse. Viene utilizzato anche in ambiti come la visione artificiale, per apprendere rappresentazioni utili da immagini o video senza etichette manuali.
È diventato centrale nell'addestramento dei modelli su larga scala perché permette di sfruttare enormi quantità di dati disponibili senza il costo dell'etichettatura manuale, richiesta invece dall'apprendimento supervisionato tradizionale.
From our network
Kaimaki Web — Websites That Win Customers
Custom websites, web apps and digital marketing for growing businesses.
Visit kaimakiweb.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.