AI Dictionary › Fondamenti AI
Funzione di attivazione
The activation function introduces non-linearity into neural networks, deciding whether and how strongly a neuron 'fires' in response to its input. Without it, stacking many layers would equal a single linear transformation, unable to capture complex relationships. It's like an adjustable switch: given an incoming signal, it decides what signal to pass to the next neuron. The most common today is ReLU, which passes positive values and zeroes out negatives, simple and efficient. Others like sigmoid and hyperbolic tangent squash the output into a bounded range, useful in specific cases but prone to vanishing-gradient problems.
The activation choice affects training speed and a network's learning capacity. Thanks to the non-linearity it adds, a model can approximate highly intricate functions, recognize faces, translate languages, or generate text, tasks impossible for a plain linear system.
La funzione di attivazione è l'elemento che introduce non linearità nelle reti neurali, decidendo se e quanto un neurone si 'accende' in risposta al suo input. Senza di essa, impilare molti strati equivarrebbe a una sola trasformazione lineare, incapace di catturare relazioni complesse. È come un interruttore modulabile: dato un segnale in ingresso, decide quale segnale passare al neurone successivo. La più usata oggi è la ReLU, che lascia passare i valori positivi e azzera i negativi, semplice ed efficiente. Altre come sigmoide e tangente iperbolica comprimono l'uscita in un intervallo limitato, utili in casi specifici ma soggette a problemi di gradienti che svaniscono.
La scelta dell'attivazione influenza velocità di addestramento e capacità di apprendimento della rete. Grazie alla non linearità che introduce, un modello può approssimare funzioni molto articolate, riconoscere volti, tradurre lingue o generare testo, compiti impossibili per un semplice sistema lineare.
From our network
AGORÀ Intelligence — Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Visit agora-intelligence.com →From the Agora Intelligence blog
📱 Download the Android app (beta) iOS coming soon
Say what you mean. Get what you need.
Grace Certified — the AI coach that trains and certifies your prompt engineering — by Agora Intelligence.