Los transformadores son una clase de modelos de aprendizaje profundo utilizados en el campo del procesamiento del lenguaje natural (PNL). Han establecido nuevos est\u00e1ndares en diversas tareas ling\u00fc\u00edsticas, como traducci\u00f3n autom\u00e1tica, generaci\u00f3n de texto, an\u00e1lisis de sentimientos y m\u00e1s. La estructura de Transformers permite el procesamiento paralelo de secuencias, proporcionando la ventaja de alta eficiencia y escalabilidad.<\/p>\n
La arquitectura Transformer se present\u00f3 por primera vez en un art\u00edculo titulado "La atenci\u00f3n es todo lo que necesitas" de Ashish Vaswani y sus colegas en 2017. Este modelo innovador present\u00f3 un mecanismo novedoso llamado "atenci\u00f3n" que permite al modelo centrarse selectivamente en partes de la entrada cuando produciendo una salida. El art\u00edculo marc\u00f3 un alejamiento de las redes neuronales recurrentes tradicionales (RNN) y las redes de memoria a corto plazo (LSTM), iniciando una nueva era en la PNL.<\/p>\n
Los transformadores se han convertido en la base de la PNL moderna debido a su procesamiento paralelo y su eficiencia en el manejo de dependencias de largo alcance en el texto. Se componen de un codificador y un decodificador, cada uno de los cuales contiene m\u00faltiples capas de mecanismos de autoatenci\u00f3n, lo que les permite capturar relaciones entre palabras independientemente de su posici\u00f3n en una oraci\u00f3n.<\/p>\n
El transformador consta de un codificador y un decodificador, los cuales tienen m\u00faltiples capas.<\/p>\n
Los transformadores son conocidos por su eficiencia, procesamiento paralelo, adaptabilidad e interpretabilidad.<\/p>\n