AI Dictionary › Fondamenti AI
A support vector machine, or SVM, is a machine learning model that tackles classification problems by finding the boundary that separates classes with the widest possible margin, that is, the greatest distance from the closest points of each category. The intuition is that, among all the lines or surfaces that correctly separate the training data, the one with the widest margin generalizes best to new, unseen data.
A support vector machine, or SVM, is a machine learning model that tackles classification problems by finding the boundary that separates classes with the widest possible margin, that is, the greatest distance from the closest points of each category. The intuition is that, among all the lines or surfaces that correctly separate the training data, the one with the widest margin generalizes best to new, unseen data.
The points closest to the separating boundary, the ones that actually determine where to draw it, are called support vectors, and they give the algorithm its name: they are the only data points truly relevant to the decision, all the others could be removed without changing the result. When the data cannot be separated with a straight line, SVMs use what is known as the kernel trick, a mathematical transformation that projects the data into a higher-dimensional space where it becomes separable, without ever having to compute that transformation explicitly.
SVMs were, for years, the state of the art in many classification tasks before deep learning became widespread, and they remain a solid choice for moderately sized datasets with many features: text classification, handwriting recognition, medical image categorization, bioinformatics for classifying genetic sequences. They work particularly well when the number of features is large relative to the number of available examples.
The theoretical foundations of SVMs originate in the work of Vladimir Vapnik and Alexey Chervonenkis in the Soviet Union starting in the 1960s, within the field of statistical learning theory. The modern formulation with maximum margin and the kernel trick, which made the algorithm practical and powerful, was developed by Vapnik together with colleagues such as Bernhard Boser, Isabelle Guyon and Corinna Cortes between the late 1980s and early 1990s at Bell Labs, after Vapnik moved to the United States.
La support vector machine, o SVM, è un modello di machine learning che affronta i problemi di classificazione cercando il confine che separa le classi con il margine più ampio possibile, cioè la maggiore distanza dai punti più vicini di ciascuna categoria. L'intuizione è che, tra tutte le linee o superfici che separano correttamente i dati di addestramento, quella con il margine più largo generalizzi meglio su dati nuovi mai visti.
I punti più vicini al confine di separazione, quelli che effettivamente determinano dove tracciarlo, si chiamano vettori di supporto, e danno il nome all'algoritmo: sono gli unici dati davvero rilevanti per la decisione, tutti gli altri potrebbero essere rimossi senza cambiare il risultato. Quando i dati non sono separabili con una linea retta, le SVM usano il cosiddetto trucco del kernel, una trasformazione matematica che proietta i dati in uno spazio con più dimensioni dove diventano separabili, senza dover calcolare esplicitamente quella trasformazione.
Sono state per anni lo stato dell'arte in molti compiti di classificazione prima della diffusione del deep learning, e restano scelte solide per dataset di dimensioni moderate con molte caratteristiche: classificazione di testi, riconoscimento della scrittura a mano, categorizzazione di immagini mediche, bioinformatica per la classificazione di sequenze genetiche. Funzionano particolarmente bene quando il numero di caratteristiche è alto rispetto al numero di esempi disponibili.
Le fondamenta teoriche delle SVM nascono dal lavoro di Vladimir Vapnik e Alexey Chervonenkis in Unione Sovietica a partire dagli anni '60, nell'ambito della teoria dell'apprendimento statistico. La formulazione moderna con margine massimo e trucco del kernel, che ha reso l'algoritmo pratico e potente, viene sviluppata da Vapnik insieme a colleghi come Bernhard Boser, Isabelle Guyon e Corinna Cortes tra la fine degli anni '80 e i primi anni '90 nei laboratori Bell, dopo che Vapnik si trasferì negli Stati Uniti.
From our network
HSE Genius — AI for Safety Data Sheets
Extract SDS data, H phrases and ECHA compliance checks in seconds, powered by AI.
Visit hsegenius.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.