Bidirektionales LSTM ist eine Variante des Long Short-Term Memory (LSTM), einer leistungsstarken Art von Recurrent Neural Network (RNN), das f\u00fcr die Verarbeitung sequenzieller Daten entwickelt wurde, indem es das Problem langfristiger Abh\u00e4ngigkeiten angeht.<\/p>\n
Das Konzept des bidirektionalen LSTM wurde erstmals 1997 in der Arbeit \u201eBidirektionale rekurrente neuronale Netze\u201c von Schuster und Paliwal vorgestellt. Die urspr\u00fcngliche Idee wurde jedoch auf eine einfache RNN-Struktur und nicht auf LSTM angewendet.<\/p>\n
Die erste Erw\u00e4hnung von LSTM selbst, dem Vorg\u00e4nger des bidirektionalen LSTM, wurde 1997 von Sepp Hochreiter und J\u00fcrgen Schmidhuber in der Arbeit \u201eLong Short-Term Memory\u201c eingef\u00fchrt. LSTM zielte darauf ab, das Problem des \u201everschwindenden Gradienten\u201c herk\u00f6mmlicher RNNs anzugehen, das es schwierig machte, Informationen \u00fcber lange Sequenzen zu lernen und aufrechtzuerhalten.<\/p>\n
Die echte Kombination von LSTM mit der bidirektionalen Struktur tauchte sp\u00e4ter in der Forschungsgemeinschaft auf und erm\u00f6glichte die Verarbeitung von Sequenzen in beide Richtungen und damit ein flexibleres Kontextverst\u00e4ndnis.<\/p>\n
Bidirektionales LSTM ist eine Erweiterung von LSTM, die die Modellleistung bei Sequenzklassifizierungsproblemen verbessern kann. Bei Problemen, bei denen alle Zeitschritte der Eingabesequenz verf\u00fcgbar sind, trainieren bidirektionale LSTMs zwei statt eines LSTM auf der Eingabesequenz. Das erste auf der Eingabesequenz im Ist-Zustand und das zweite auf einer umgekehrten Kopie der Eingabesequenz. Die Ausgaben dieser beiden LSTMs werden zusammengef\u00fchrt, bevor sie an die n\u00e4chste Schicht des Netzwerks weitergeleitet werden.<\/p>\n
Bidirektionales LSTM besteht aus zwei separaten LSTMs: dem Vorw\u00e4rts-LSTM und dem R\u00fcckw\u00e4rts-LSTM. Der Vorw\u00e4rts-LSTM liest die Sequenz vom Anfang bis zum Ende, w\u00e4hrend der R\u00fcckw\u00e4rts-LSTM sie vom Ende bis zum Anfang liest. Informationen aus beiden LSTMs werden kombiniert, um die endg\u00fcltige Vorhersage zu treffen und dem Modell einen vollst\u00e4ndigen Vergangenheits- und Zukunftskontext zu liefern.<\/p>\n
Die interne Struktur jeder LSTM-Einheit besteht aus drei wesentlichen Komponenten:<\/p>\n
Im Gro\u00dfen und Ganzen gibt es zwei Haupttypen von bidirektionalem LSTM:<\/p>\n
Verkettetes bidirektionales LSTM:<\/strong> Die Ausgaben der Vorw\u00e4rts- und R\u00fcckw\u00e4rts-LSTMs werden verkettet, wodurch sich die Anzahl der LSTM-Einheiten f\u00fcr nachfolgende Schichten effektiv verdoppelt.<\/p>\n<\/li>\n Summiertes bidirektionales LSTM:<\/strong> Die Ausgaben der Vorw\u00e4rts- und R\u00fcckw\u00e4rts-LSTMs werden summiert, sodass die Anzahl der LSTM-Einheiten f\u00fcr nachfolgende Schichten gleich bleibt.<\/p>\n<\/li>\n<\/ol>\n