Dwukierunkowy LSTM jest odmian\u0105 Long Short-Term Memory (LSTM), pot\u0119\u017cnego typu Recurrent Neural Network (RNN), zaprojektowanego do przetwarzania danych sekwencyjnych poprzez rozwi\u0105zywanie problemu d\u0142ugotrwa\u0142ych zale\u017cno\u015bci.<\/p>\n
Koncepcja dwukierunkowego LSTM zosta\u0142a po raz pierwszy wprowadzona w artykule \u201eDwukierunkowe rekurencyjne sieci neuronowe\u201d autorstwa Schustera i Paliwala w 1997 r. Jednak pierwotna koncepcja zosta\u0142a zastosowana do prostej struktury RNN, a nie LSTM.<\/p>\n
Pierwsza wzmianka o samej LSTM, poprzedniczce Dwukierunkowego LSTM, zosta\u0142a wprowadzona w 1997 roku przez Seppa Hochreitera i J\u00fcrgena Schmidhubera w artykule \u201eLong Short-Term Memory\u201d. Celem LSTM by\u0142o rozwi\u0105zanie problemu \u201ezanikaj\u0105cego gradientu\u201d tradycyjnych RNN, kt\u00f3ry utrudnia\u0142 uczenie si\u0119 i przechowywanie informacji w d\u0142ugich sekwencjach.<\/p>\n
Prawdziwe po\u0142\u0105czenie LSTM ze struktur\u0105 dwukierunkow\u0105 pojawi\u0142o si\u0119 p\u00f3\u017aniej w spo\u0142eczno\u015bci badawczej, zapewniaj\u0105c mo\u017cliwo\u015b\u0107 przetwarzania sekwencji w obu kierunkach, oferuj\u0105c w ten spos\u00f3b bardziej elastyczne zrozumienie kontekstu.<\/p>\n
Dwukierunkowy LSTM jest rozszerzeniem LSTM, kt\u00f3re mo\u017ce poprawi\u0107 wydajno\u015b\u0107 modelu w przypadku problem\u00f3w z klasyfikacj\u0105 sekwencji. W przypadku problem\u00f3w, w kt\u00f3rych dost\u0119pne s\u0105 wszystkie etapy czasowe sekwencji wej\u015bciowej, dwukierunkowe LSTM trenuj\u0105 dwa zamiast jednego LSTM w sekwencji wej\u015bciowej. Pierwszy na sekwencji wej\u015bciowej w niezmienionej postaci, a drugi na odwr\u00f3conej kopii sekwencji wej\u015bciowej. Dane wyj\u015bciowe tych dw\u00f3ch LSTM s\u0105 \u0142\u0105czone przed przes\u0142aniem do nast\u0119pnej warstwy sieci.<\/p>\n
Dwukierunkowy LSTM sk\u0142ada si\u0119 z dw\u00f3ch oddzielnych LSTM: LSTM do przodu i LSTM do ty\u0142u. LSTM do przodu odczytuje sekwencj\u0119 od pocz\u0105tku do ko\u0144ca, podczas gdy LSTM do ty\u0142u czyta j\u0105 od ko\u0144ca do pocz\u0105tku. Informacje z obu LSTM s\u0105 \u0142\u0105czone w celu uzyskania ostatecznej prognozy, zapewniaj\u0105c modelowi pe\u0142ny kontekst przesz\u0142y i przysz\u0142y.<\/p>\n
Wewn\u0119trzna struktura ka\u017cdej jednostki LSTM sk\u0142ada si\u0119 z trzech zasadniczych element\u00f3w:<\/p>\n
Og\u00f3lnie rzecz bior\u0105c, istniej\u0105 dwa g\u0142\u00f3wne typy dwukierunkowego LSTM:<\/p>\n
Po\u0142\u0105czony dwukierunkowy LSTM:<\/strong> Wyj\u015bcia LSTM do przodu i do ty\u0142u s\u0105 \u0142\u0105czone, co skutecznie podwaja liczb\u0119 jednostek LSTM w kolejnych warstwach.<\/p>\n<\/li>\n Suma dwukierunkowego LSTM:<\/strong> Dane wyj\u015bciowe LSTM w prz\u00f3d i w ty\u0142 s\u0105 sumowane, utrzymuj\u0105c liczb\u0119 jednostek LSTM dla kolejnych warstw na tym samym poziomie.<\/p>\n<\/li>\n<\/ol>\n