LSTM bidirezionale \u00e8 una variante della memoria a breve termine (LSTM), un potente tipo di rete neurale ricorrente (RNN), progettata per elaborare dati sequenziali affrontando il problema delle dipendenze a lungo termine.<\/p>\n
Il concetto di LSTM bidirezionale \u00e8 stato introdotto per la prima volta nel documento "Reti neurali ricorrenti bidirezionali" di Schuster e Paliwal nel 1997. Tuttavia, l'idea iniziale \u00e8 stata applicata a una semplice struttura RNN, non a LSTM.<\/p>\n
La prima menzione dell\u2019LSTM stesso, il predecessore dell\u2019LSTM bidirezionale, \u00e8 stata introdotta nel 1997 da Sepp Hochreiter e J\u00fcrgen Schmidhuber nell\u2019articolo \u201cLong Short-Term Memory\u201d. LSTM mirava ad affrontare il problema del \u201cgradiente evanescente\u201d delle RNN tradizionali, che rendeva difficile l\u2019apprendimento e il mantenimento delle informazioni su lunghe sequenze.<\/p>\n
La vera combinazione di LSTM con la struttura bidirezionale \u00e8 apparsa pi\u00f9 tardi nella comunit\u00e0 di ricerca, fornendo la capacit\u00e0 di elaborare sequenze in entrambe le direzioni, offrendo quindi una comprensione del contesto pi\u00f9 flessibile.<\/p>\n
LSTM bidirezionale \u00e8 un'estensione di LSTM, che pu\u00f2 migliorare le prestazioni del modello sui problemi di classificazione delle sequenze. Nei problemi in cui sono disponibili tutti i passaggi temporali della sequenza di input, gli LSTM bidirezionali addestrano due LSTM invece di uno sulla sequenza di input. Il primo sulla sequenza di input cos\u00ec com'\u00e8 e il secondo su una copia invertita della sequenza di input. Gli output di questi due LSTM vengono uniti prima di essere trasmessi al livello successivo della rete.<\/p>\n
LSTM bidirezionale \u00e8 costituito da due LSTM separati: l'LSTM in avanti e l'LSTM all'indietro. L'LSTM in avanti legge la sequenza dall'inizio alla fine, mentre l'LSTM all'indietro la legge dalla fine all'inizio. Le informazioni provenienti da entrambi gli LSTM vengono combinate per effettuare la previsione finale, fornendo al modello un contesto passato e futuro completo.<\/p>\n
La struttura interna di ciascuna unit\u00e0 LSTM \u00e8 costituita da tre componenti essenziali:<\/p>\n
In generale, esistono due tipi principali di LSTM bidirezionale:<\/p>\n
LSTM bidirezionale concatenato:<\/strong> Gli output degli LSTM avanti e indietro sono concatenati, raddoppiando di fatto il numero di unit\u00e0 LSTM per i livelli successivi.<\/p>\n<\/li>\n LSTM bidirezionale sommato:<\/strong> Gli output degli LSTM avanti e indietro vengono sommati, mantenendo lo stesso numero di unit\u00e0 LSTM per i livelli successivi.<\/p>\n<\/li>\n<\/ol>\n