上一節(jié)，我們介紹利用文本和知識(shí)庫(kù)融合訓(xùn)練詞向量的方法，如何更好的融合這些結(jié)構(gòu)化知識(shí)呢？使得訓(xùn)練得到的詞向量更具有泛化能力，能有效識(shí)別同義詞反義詞，又能學(xué)習(xí)到上下文信息還有不同級(jí)別的語(yǔ)義信息。
基于上述目標(biāo)，我們嘗試基于CBOW模型，將知識(shí)庫(kù)中抽取的知識(shí)融合共同訓(xùn)練，提出LRWE模型。模型的結(jié)構(gòu)圖如下：
下面詳細(xì)介紹該模型的思想和求解方法。
1. LWE模型
在Word2vec的CBOW模型中，通過上下文的詞預(yù)測(cè)目標(biāo)詞，目標(biāo)是讓目標(biāo)詞在其給定上下文出現(xiàn)的概率最大，所以詞向量訓(xùn)練的結(jié)果是與其上下文的詞相關(guān)聯(lián)的。然而 CBOW模型只考慮了詞語(yǔ)的局部上下文信息，無法很好的表達(dá)同義詞和反義詞等信息。例如下面的幾個(gè)case：
為了解決上述問題，本文將同義詞和反義詞等詞匯信息以外部知識(shí)的形式，作為詞向量訓(xùn)練中的監(jiān)督數(shù)據(jù)，讓訓(xùn)練得到的詞向量能學(xué)習(xí)到同義、反義等詞匯信息，從而能更好地區(qū)分同義詞和反義詞。
1.1 模型思想
記 ???? 的同義詞和反義詞集合為( ???? , ?????????? , ?????????? )，其中 SYN 表示同義詞集合，ANT 表示反義詞集合，我們的目標(biāo)是已知目標(biāo)詞對(duì)應(yīng)的同義詞集合和反義詞集合，預(yù)測(cè)目標(biāo)詞，使得目標(biāo)詞和它的同義詞距離盡可能相近，與反義詞距離盡可能遠(yuǎn)。
例如“The cat sat on the mat.”，已知sat有同義詞seated，反義詞stand，來預(yù)測(cè)目標(biāo)詞為sat。
該模型稱為詞匯信息模型，模型結(jié)構(gòu)圖如下：
對(duì)于一個(gè)詞語(yǔ)，我們根據(jù)它的同義詞和反義詞預(yù)測(cè)目標(biāo)詞，最大化詞語(yǔ)和它的同義詞同時(shí)出現(xiàn)的概率， 并降低詞語(yǔ)和它反義詞同時(shí)出現(xiàn)的概率。根據(jù)這個(gè)目標(biāo)，定義以下的目標(biāo)函數(shù):
我們目標(biāo)是在基于上下文的CBOW語(yǔ)言模型訓(xùn)練過程中，加入同義詞反義詞信息作為監(jiān)督，使得訓(xùn)練所得詞向量能學(xué)習(xí)到同義和反義知識(shí)?；谠撓敕ǎ覀兲岢龌谠~匯信息的詞向量模型(Lexical Information Word
