Il concetto di vettori di contesto, spesso indicato come word embedding, ha origine nel campo dell'elaborazione del linguaggio naturale (NLP), una branca dell'intelligenza artificiale che si occupa dell'interazione tra computer e linguaggio umano.<\/p>\n
Le basi per i vettori di contesto furono gettate tra la fine degli anni '80 e l'inizio degli anni '90 con lo sviluppo di modelli linguistici delle reti neurali. Tuttavia, \u00e8 stato solo nel 2013, con l\u2019introduzione dell\u2019algoritmo Word2Vec da parte dei ricercatori di Google, che il concetto \u00e8 realmente decollato. Word2Vec ha presentato un metodo efficiente ed efficace per generare vettori di contesto di alta qualit\u00e0 che catturano molti modelli linguistici. Da allora sono stati sviluppati modelli vettoriali di contesto pi\u00f9 avanzati, come GloVe e FastText, e l\u2019uso di vettori di contesto \u00e8 diventato uno standard nei moderni sistemi PNL.<\/p>\n
I vettori di contesto sono un tipo di rappresentazione delle parole che consente alle parole con significato simile di avere una rappresentazione simile. Si tratta di una rappresentazione distribuita del testo che \u00e8 forse una delle scoperte chiave per le prestazioni impressionanti dei metodi di deep learning su problemi impegnativi della PNL.<\/p>\n
Questi vettori catturano il contesto dai documenti di testo in cui compaiono le parole. Ogni parola \u00e8 rappresentata da un vettore in uno spazio ad alta dimensione (spesso diverse centinaia di dimensioni) in modo tale che il vettore catturi le relazioni semantiche tra le parole. Le parole semanticamente simili sono vicine tra loro in questo spazio, mentre le parole dissimili sono distanti.<\/p>\n
I vettori di contesto funzionano addestrando un modello di rete neurale superficiale su un compito di PNL \u201cfalso\u201d, in cui il vero obiettivo \u00e8 apprendere i pesi dello strato nascosto. Questi pesi sono i vettori di parole che cerchiamo.<\/p>\n
In Word2Vec, ad esempio, si potrebbe addestrare il modello a prevedere una parola dato il contesto circostante (Continuous Bag of Words, o CBOW) o prevedere le parole circostanti data una parola target (Skip-gram). Dopo l'addestramento su miliardi di parole, i pesi nella rete neurale possono essere utilizzati come vettori delle parole.<\/p>\n
Esistono diversi tipi di vettori di contesto, i pi\u00f9 popolari sono:<\/p>\n