Dizionario AI › Modelli AI
Residual Connection
La connessione residua è una scorciatoia che collega direttamente l'input di uno strato al suo output, sommandoli, anziché costringere l'informazione a passare esclusivamente attraverso le trasformazioni dello strato stesso. In pratica, invece di imparare la trasformazione completa da input a output, lo strato deve imparare solo la differenza, il "residuo", da aggiungere all'input originale.
Questa somma tra input e output trasformato mantiene un percorso diretto attraverso cui il segnale di errore può propagarsi durante l'addestramento senza attenuarsi eccessivamente, anche quando la rete è composta da moltissimi strati impilati uno sopra l'altro. Senza questo accorgimento, le reti molto profonde tendono a diventare più difficili da addestrare man mano che si aggiungono strati, invece di migliorare.
È un elemento strutturale presente in praticamente tutte le architetture profonde moderne, comprese quelle basate su attenzione, dove ogni sottostrato di attenzione e di rete feed-forward è racchiuso in una connessione residua. Ha reso possibile addestrare in modo affidabile reti con centinaia di strati, cosa impraticabile con le architetture precedenti.
Il concetto è stato introdotto nell'ambito delle reti convoluzionali molto profonde per la visione artificiale, dove per la prima volta si è dimostrato che aggiungere connessioni dirette tra strati non adiacenti permetteva di superare il problema del degrado delle prestazioni nelle reti eccessivamente profonde.
Dalla nostra rete
AGORÀ Intelligence: Enterprise AI Governance Platform
Govern AI at scale: policies, adoption and measurable results on your data. Built for boards and C-suite.
Vai su agora-intelligence.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.