接上节课没讲完的word2vec

word2vec(续)

训练策略：

SGD

<center> </center>

Word2vec使用SGD训练存在的问题：

每次只有窗口内的词会参与训练，梯度矩阵太稀疏，训练效率低。

<center> </center>

优化方法:

1.negative sampling
转化为二分类问题

<center> </center>

2.hierarchical softmax

Glove

<center> </center>

公式推导参考这里

词向量评估

<center> </center>

词向量存在的问题

多义词

<center> </center>