O conceito de Vetores de Contexto, muitas vezes chamados de embeddings de palavras, originou-se do campo do Processamento de Linguagem Natural (PNL), um ramo da intelig\u00eancia artificial que trata da intera\u00e7\u00e3o entre computadores e a linguagem humana.<\/p>\n
As bases para vetores de contexto foram lan\u00e7adas no final da d\u00e9cada de 1980 e in\u00edcio da d\u00e9cada de 1990 com o desenvolvimento de modelos de linguagem de redes neurais. No entanto, foi somente em 2013, com a introdu\u00e7\u00e3o do algoritmo Word2Vec por pesquisadores do Google, que o conceito realmente decolou. Word2Vec apresentou um m\u00e9todo eficiente e eficaz para gerar vetores de contexto de alta qualidade que capturam muitos padr\u00f5es lingu\u00edsticos. Desde ent\u00e3o, modelos de vetores de contexto mais avan\u00e7ados, como GloVe e FastText, foram desenvolvidos, e o uso de vetores de contexto tornou-se um padr\u00e3o nos sistemas modernos de PNL.<\/p>\n
Vetores de contexto s\u00e3o um tipo de representa\u00e7\u00e3o de palavras que permite que palavras com significados semelhantes tenham uma representa\u00e7\u00e3o semelhante. Eles s\u00e3o uma representa\u00e7\u00e3o distribu\u00edda de texto que talvez seja um dos principais avan\u00e7os para o desempenho impressionante de m\u00e9todos de aprendizagem profunda em problemas desafiadores de PNL.<\/p>\n
Esses vetores capturam o contexto dos documentos de texto nos quais as palavras aparecem. Cada palavra \u00e9 representada por um vetor em um espa\u00e7o de alta dimens\u00e3o (geralmente v\u00e1rias centenas de dimens\u00f5es), de modo que o vetor captura as rela\u00e7\u00f5es sem\u00e2nticas entre as palavras. Palavras semanticamente semelhantes est\u00e3o pr\u00f3ximas neste espa\u00e7o, enquanto palavras diferentes est\u00e3o distantes.<\/p>\n
Os vetores de contexto funcionam treinando um modelo de rede neural superficial em uma tarefa \u201cfalsa\u201d de PNL, onde o objetivo real \u00e9 aprender os pesos da camada oculta. Esses pesos s\u00e3o os vetores de palavras que procuramos.<\/p>\n
No Word2Vec, por exemplo, pode-se treinar o modelo para prever uma palavra dado o contexto circundante (Continuous Bag of Words, ou CBOW) ou prever palavras circundantes dada uma palavra alvo (Skip-gram). Ap\u00f3s o treinamento em bilh\u00f5es de palavras, os pesos da rede neural podem ser usados como vetores de palavras.<\/p>\n
Existem v\u00e1rios tipos de vetores de contexto, sendo os mais populares:<\/p>\n