Le LSTM bidirectionnel est une variante de la m\u00e9moire \u00e0 long terme (LSTM), un type puissant de r\u00e9seau neuronal r\u00e9current (RNN), con\u00e7u pour traiter des donn\u00e9es s\u00e9quentielles en abordant le probl\u00e8me des d\u00e9pendances \u00e0 long terme.<\/p>\n
Le concept de LSTM bidirectionnel a \u00e9t\u00e9 introduit pour la premi\u00e8re fois dans l'article \u00ab Bidirectionnel Recurrent Neural Networks \u00bb de Schuster et Paliwal en 1997. Cependant, l'id\u00e9e initiale a \u00e9t\u00e9 appliqu\u00e9e \u00e0 une structure RNN simple, et non \u00e0 LSTM.<\/p>\n
La premi\u00e8re mention du LSTM lui-m\u00eame, le pr\u00e9d\u00e9cesseur du LSTM bidirectionnel, a \u00e9t\u00e9 introduite en 1997 par Sepp Hochreiter et J\u00fcrgen Schmidhuber dans l'article \u00ab Long Short-Term Memory \u00bb. LSTM visait \u00e0 r\u00e9soudre le probl\u00e8me du \u00ab gradient de fuite \u00bb des RNN traditionnels, qui rendait difficile l\u2019apprentissage et la conservation des informations sur de longues s\u00e9quences.<\/p>\n
La v\u00e9ritable combinaison du LSTM avec la structure bidirectionnelle est apparue plus tard dans la communaut\u00e9 des chercheurs, offrant la possibilit\u00e9 de traiter des s\u00e9quences dans les deux sens, offrant ainsi une compr\u00e9hension du contexte plus flexible.<\/p>\n
Le LSTM bidirectionnel est une extension du LSTM, qui peut am\u00e9liorer les performances du mod\u00e8le sur les probl\u00e8mes de classification de s\u00e9quences. Dans les probl\u00e8mes o\u00f9 tous les pas de temps de la s\u00e9quence d'entr\u00e9e sont disponibles, les LSTM bidirectionnels entra\u00eenent deux LSTM au lieu d'un sur la s\u00e9quence d'entr\u00e9e. Le premier sur la s\u00e9quence d'entr\u00e9e telle quelle et le second sur une copie invers\u00e9e de la s\u00e9quence d'entr\u00e9e. Les sorties de ces deux LSTM sont fusionn\u00e9es avant d'\u00eatre transmises \u00e0 la couche suivante du r\u00e9seau.<\/p>\n
Le LSTM bidirectionnel se compose de deux LSTM distincts\u00a0: le LSTM avant et le LSTM arri\u00e8re. Le LSTM avant lit la s\u00e9quence du d\u00e9but \u00e0 la fin, tandis que le LSTM arri\u00e8re la lit de la fin au d\u00e9but. Les informations des deux LSTM sont combin\u00e9es pour effectuer la pr\u00e9diction finale, fournissant au mod\u00e8le un contexte pass\u00e9 et futur complet.<\/p>\n
La structure interne de chaque unit\u00e9 LSTM se compose de trois \u00e9l\u00e9ments essentiels\u00a0:<\/p>\n
D'une mani\u00e8re g\u00e9n\u00e9rale, il existe deux principaux types de LSTM bidirectionnel\u00a0:<\/p>\n
LSTM bidirectionnel concat\u00e9n\u00e9\u00a0:<\/strong> Les sorties des LSTM avant et arri\u00e8re sont concat\u00e9n\u00e9es, doublant ainsi le nombre d'unit\u00e9s LSTM pour les couches suivantes.<\/p>\n<\/li>\n LSTM bidirectionnel r\u00e9sum\u00e9\u00a0:<\/strong> Les sorties des LSTM avant et arri\u00e8re sont additionn\u00e9es, gardant le m\u00eame nombre d'unit\u00e9s LSTM pour les couches suivantes.<\/p>\n<\/li>\n<\/ol>\n