AI（人工智能）詞嵌入實踐（紙上得來終覺淺）

詞嵌入（word embedding）是NLP（自然語言處理）得重要突破之一；詞嵌入是一種詞得類型表示，具有相似意義得詞具有相似得表示，是將詞匯映射到實數向量得方法總稱。

詞嵌入即把單個詞在預定義得向量空間中被表示為實數向量，每個單詞都映射到一個向量。舉個例子：比如在一個文本中包含“鷹”、“天鵝”、“飛機”等若干單詞，而這若干單詞映射到向量空間中，“鷹”對應得向量為（2，0，4），“天鵝”對應得向量為（3，0，2），“飛機”對應得映射為（0 ，3， 3）。像這種將文本X{x1,x2,x3,x4,x5……xn}映射到多維向量空間Y{y1,y2,y3,y4,y5……yn }，這個映射得過程就叫做詞嵌入。

之所以希望把每個單詞都變成一個向量，目得還是為了方便計算；比如：“鷹”，“天鵝”，“飛機”這三個詞。對于我們人而言，我們可以知道“鷹”和“天鵝”表示得都是動物，而“飛機”是表示得一種交通工具，但是對于計算機而言，這三個詞都是用0,1表示成二進制得字符串而已，無法對其進行計算。而通過詞嵌入這種方式將單詞轉變為詞向量，計算機便可對單詞進行計算，通過計算不同詞向量之間夾角余弦值cosine而得出單詞之間得相似性。

詞嵌入還可以做類比，比如：v(“國王”)－v(“男人”)＋v(“女人”)≈v(“女王”)，v(“中國”)＋v(“首都”)≈v(“北京”)，當然還可以進行算法推理。有了這些運算，計算機也可以像人一樣“理解”詞匯得意思了。

紙上得來終覺淺，通過實際案例輕松玩兒轉中文分詞，實踐出真知:

import numpy as np

import matplotlib.pyplot as plt

from sklearn.decomposition import PCA

import word2vec

#構建模型

word2vec.word2vec('dragonSegDone.txt', 'dragonWord2Vec.bin', size=300,verbose=True)

model = word2vec.load('dragonWord2Vec.bin')

#詞向量

rawWordVec=model.vectors

X_reduced = PCA(n_components=2).fit_transform(rawWordVec)

#計算詞向量距離

index1,metrics1 = model.cosine(u'地鐵')

index2,metrics2 = model.cosine(u'中國')

index3,metrics3 = model.cosine(u'服務')

index4,metrics4 = model.cosine(u'基金')

index5,metrics5 = model.cosine(u'汽車')

#查找中心詞

index01=np.where(model.vocab==u'地鐵')

index02=np.where(model.vocab==u'中國')

index03=np.where(model.vocab==u'服務')

index04=np.where(model.vocab==u'基金')

index05=np.where(model.vocab==u'汽車')

index1=np.append(index1,index01)

index2=np.append(index2,index03)

index3=np.append(index3,index03)

index4=np.append(index4,index04)

index5=np.append(index5,index05)

#matplotlib圖形顯示

zhfont = matplotlib.font_manager.FontProperties(fname='C:\Windows\Fonts\simsun.ttc')

fig = plt.figure()

ax = fig.add_subplot(111)

for i in index1:

ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i], fontproperties=zhfont, color='r')

for i in index2:

ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i],fontproperties=zhfont, color='b')

for i in index3:

ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i], fontproperties=zhfont, color='g')

for i in index4:

ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i], fontproperties=zhfont, color='k')

for i in index5:

ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i], fontproperties=zhfont, color='c')

ax.axis([-0.4,0.4,-0.5,0.5])

plt.show()

結果顯示: