Dizionario AI › Modelli AI
Feed-forward Network
La rete feed-forward è il sottostrato presente in ogni blocco delle architetture moderne basate su attenzione che elabora ciascuna rappresentazione di token in modo indipendente dalle altre, applicando trasformazioni non lineari punto per punto. Il termine, più in generale, indica anche qualunque rete neurale in cui l'informazione fluisce in un'unica direzione, dall'input all'output, senza cicli o retroazioni.
All'interno di un blocco transformer, dopo lo strato di attenzione che mette in relazione i token tra loro, la rete feed-forward applica a ciascun token la stessa trasformazione: una proiezione lineare che espande la dimensione del vettore, una funzione di attivazione non lineare e una seconda proiezione lineare che riporta il vettore alla dimensione originale. Questo passaggio permette al modello di elaborare e ricombinare le informazioni raccolte dall'attenzione in modo più espressivo.
È presente in ogni blocco dei modelli linguistici moderni, dove costituisce una parte significativa del numero totale di parametri del modello. Reti feed-forward pure, senza meccanismi di attenzione, sono inoltre alla base dei primi percettroni multistrato usati per compiti di classificazione e regressione.
Il termine "feed-forward" descrive semplicemente la direzione del flusso di calcolo, in contrapposizione alle reti ricorrenti dove l'output di uno strato può essere reimmesso come input nello stesso strato in un passo successivo.
Dalla nostra rete
INDACO TMS: Transport Management for European Logistics
Shipment tracking, multi-carrier EDI and automated invoicing in one cloud platform. Invoices generated in under 10 seconds.
Vai su indacotms.com →Dal blog di Agora Intelligence
📱 Scarica l'app Android (beta) iOS in arrivo
Dì quello che intendi. Ottieni quello che ti serve.
Grace Certified, la coach AI che allena e certifica il tuo prompt engineering, di Agora Intelligence.