Transformers s\u00e3o uma classe de modelos de aprendizagem profunda usados na \u00e1rea de processamento de linguagem natural (PNL). Eles estabeleceram novos padr\u00f5es em diversas tarefas lingu\u00edsticas, como tradu\u00e7\u00e3o autom\u00e1tica, gera\u00e7\u00e3o de texto, an\u00e1lise de sentimento e muito mais. A estrutura dos Transformers permite o processamento paralelo de sequ\u00eancias, proporcionando a vantagem de alta efici\u00eancia e escalabilidade.<\/p>\n
A arquitetura Transformer foi apresentada pela primeira vez em um artigo intitulado \u201cAten\u00e7\u00e3o \u00e9 tudo que voc\u00ea precisa\u201d por Ashish Vaswani e seus colegas em 2017. Este modelo inovador apresentou um novo mecanismo chamado \u201caten\u00e7\u00e3o\u201d que permite ao modelo focar seletivamente em partes da entrada quando produzindo uma sa\u00edda. O artigo marcou um afastamento das redes neurais recorrentes tradicionais (RNNs) e das redes de mem\u00f3ria de longo e curto prazo (LSTM), iniciando uma nova era na PNL.<\/p>\n
Os transformadores se tornaram a base da PNL moderna devido ao seu processamento paralelo e efici\u00eancia no tratamento de depend\u00eancias de longo alcance no texto. Eles s\u00e3o compostos por um codificador e um decodificador, cada um contendo m\u00faltiplas camadas de mecanismos de autoaten\u00e7\u00e3o, permitindo capturar rela\u00e7\u00f5es entre palavras, independentemente de sua posi\u00e7\u00e3o em uma frase.<\/p>\n
O Transformer consiste em um codificador e um decodificador, ambos com m\u00faltiplas camadas.<\/p>\n
Os transformadores s\u00e3o conhecidos por sua efici\u00eancia, processamento paralelo, adaptabilidade e interpretabilidade.<\/p>\n