AI Dictionary › Fondamenti AI
Feature selection is the process of choosing, among all the variables available in a dataset, the subset most useful to a machine learning model, discarding those that are redundant, irrelevant, or even harmful to performance. Not every available feature helps a model: some add only noise, others duplicate information already present elsewhere, and others still slow down training with no real benefit.
Feature selection is the process of choosing, among all the variables available in a dataset, the subset most useful to a machine learning model, discarding those that are redundant, irrelevant, or even harmful to performance. Not every available feature helps a model: some add only noise, others duplicate information already present elsewhere, and others still slow down training with no real benefit.
There are three main approaches. Filter methods evaluate each feature individually using statistical measures, such as correlation with the target variable, before even training a model. Wrapper methods try different subsets of features by training the model repeatedly and keeping the one that performs best, a more accurate but computationally expensive approach. Embedded methods integrate selection directly into the training process, as some linear models with regularization do, automatically zeroing out the weight of less useful features.
It matters especially when data has hundreds or thousands of variables, as in genomics, text processing or systems with many sensors: reducing the number of features speeds up training, lowers the risk of overfitting, and makes the model simpler to interpret and maintain in production. It is a step that often precedes or accompanies feature engineering proper.
The concept has roots in mid-twentieth-century multivariate statistics, when researchers began systematically addressing which variables to include in a regression model to avoid redundancy. With the growth of machine learning and increasingly large datasets, from the 1990s onward feature selection established itself as an independent subdiscipline, with conferences and publications dedicated exclusively to comparing methods for choosing the most informative variables.
La feature selection è il processo di scegliere, tra tutte le variabili disponibili in un dataset, il sottoinsieme più utile a un modello di machine learning, scartando quelle ridondanti, irrilevanti o addirittura dannose per le prestazioni. Non tutte le caratteristiche a disposizione aiutano un modello: alcune aggiungono solo rumore, altre duplicano informazioni già presenti altrove, altre ancora rallentano l'addestramento senza benefici reali.
Esistono tre approcci principali. I metodi filtro valutano ogni caratteristica singolarmente con misure statistiche, come la correlazione con la variabile da prevedere, prima ancora di addestrare un modello. I metodi wrapper provano diversi sottoinsiemi di caratteristiche addestrando il modello più volte e tenendo quello che funziona meglio, un approccio più accurato ma computazionalmente costoso. I metodi embedded integrano la selezione direttamente nel processo di addestramento, come fanno alcuni modelli lineari con regolarizzazione, che azzerano automaticamente il peso delle caratteristiche meno utili.
È particolarmente importante quando i dati hanno centinaia o migliaia di variabili, come nella genomica, nell'elaborazione del testo o nei sistemi con molti sensori: ridurre il numero di caratteristiche velocizza l'addestramento, riduce il rischio di overfitting e rende il modello più semplice da interpretare e da mantenere in produzione. È un passo che spesso precede o accompagna il feature engineering vero e proprio.
Il concetto ha radici nella statistica multivariata di metà Novecento, quando i ricercatori iniziarono a occuparsi sistematicamente di quali variabili includere in un modello di regressione per evitare ridondanze. Con la crescita del machine learning e di dataset via via più ampi, dagli anni '90 in poi la feature selection si è affermata come sottodisciplina autonoma, con conferenze e pubblicazioni dedicate esclusivamente a confrontare metodi per scegliere le variabili più informative.
From our network
AGORÀ Intelligence — Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Visit agora-intelligence.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.