Koncepcja wektor\u00f3w kontekstu, cz\u0119sto okre\u015blana jako osadzanie s\u0142\u00f3w, wywodzi si\u0119 z dziedziny przetwarzania j\u0119zyka naturalnego (NLP), ga\u0142\u0119zi sztucznej inteligencji zajmuj\u0105cej si\u0119 interakcj\u0105 mi\u0119dzy komputerami a j\u0119zykiem ludzkim.<\/p>\n
Podstawy wektor\u00f3w kontekstu po\u0142o\u017cono pod koniec lat 80. i na pocz\u0105tku 90. wraz z rozwojem modeli j\u0119zykowych sieci neuronowych. Jednak dopiero w 2013 r., wraz z wprowadzeniem przez badaczy z Google algorytmu Word2Vec, koncepcja ta nabra\u0142a realnego rozg\u0142osu. Word2Vec przedstawi\u0142 wydajn\u0105 i skuteczn\u0105 metod\u0119 generowania wysokiej jako\u015bci wektor\u00f3w kontekstu, kt\u00f3re oddaj\u0105 wiele wzorc\u00f3w j\u0119zykowych. Od tego czasu opracowano bardziej zaawansowane modele wektor\u00f3w kontekstu, takie jak GloVe i FastText, a wykorzystanie wektor\u00f3w kontekstu sta\u0142o si\u0119 standardem we wsp\u00f3\u0142czesnych systemach NLP.<\/p>\n
Wektory kontekstu to rodzaj reprezentacji s\u0142\u00f3w, kt\u00f3ry pozwala s\u0142owom o podobnym znaczeniu mie\u0107 podobn\u0105 reprezentacj\u0119. Stanowi\u0105 rozproszon\u0105 reprezentacj\u0119 tekstu, kt\u00f3ra jest by\u0107 mo\u017ce jednym z kluczowych prze\u0142om\u00f3w w zakresie imponuj\u0105cej wydajno\u015bci metod g\u0142\u0119bokiego uczenia si\u0119 w przypadku trudnych problem\u00f3w NLP.<\/p>\n
Wektory te przechwytuj\u0105 kontekst z dokument\u00f3w tekstowych, w kt\u00f3rych pojawiaj\u0105 si\u0119 s\u0142owa. Ka\u017cde s\u0142owo jest reprezentowane przez wektor w przestrzeni wielowymiarowej (cz\u0119sto kilkaset wymiar\u00f3w), tak \u017ce wektor oddaje relacje semantyczne mi\u0119dzy s\u0142owami. S\u0142owa podobne semantycznie znajduj\u0105 si\u0119 w tej przestrzeni blisko siebie, natomiast s\u0142owa niepodobne s\u0105 daleko od siebie.<\/p>\n
Wektory kontekstowe dzia\u0142aj\u0105 poprzez uczenie modelu p\u0142ytkiej sieci neuronowej w ramach \u201efa\u0142szywego\u201d zadania NLP, kt\u00f3rego prawdziwym celem jest poznanie wag warstwy ukrytej. Te wagi to wektory s\u0142\u00f3w, kt\u00f3rych szukamy.<\/p>\n
Na przyk\u0142ad w programie Word2Vec mo\u017cna wytrenowa\u0107 model, aby przewidywa\u0142 s\u0142owo na podstawie otaczaj\u0105cego go kontekstu (Continious Bag of Words, CBOW) lub przewidywa\u0142 otaczaj\u0105ce s\u0142owa na podstawie s\u0142owa docelowego (Pomi\u0144-gram). Po przeszkoleniu na miliardach s\u0142\u00f3w wagi w sieci neuronowej mo\u017cna wykorzysta\u0107 jako wektory s\u0142\u00f3w.<\/p>\n
Istnieje kilka typ\u00f3w wektor\u00f3w kontekstu, z kt\u00f3rych najpopularniejsze to:<\/p>\n