1.Word2Vec 怎么将得到的词向量变成句子向量
1)平均词向量:
平均词向量就是将句子中所有词的word embedding相加取平均,得到的向量就当做最终的sentence embedding。这种方法的缺点是认为句子中的所有词对于表达句子含义同样重要。
2)TF-IDF加权平均词向量:
TFIDF加权平均词向量就是对每个词按照 TF-IDF 进行打分,然后进行加权平均,得到最终的句子表示。
3)SIF加权平均词向量:
在2016年的论文 A simple but tough-to-beat baseline for sentence embeddings 提出了一种非常简单但是具有一定竞争力的句子向量表示算法。
4)Doc2Vec
https://blog.youkuaiyun.com/John_xyz/article/details/79208564
2. Word2Vec怎么衡量得到词向量的好坏
1)analogy task:
看看空间距离近的词,跟人的直觉是否一致,经典的例子:king-queen=man-woman
2)对实际NLP任务的贡献:
对于一些传统方法做的任务,可以直接当作特征加进去,看看提升的效果。
对于用神经网络做的,可以用词向量作为词那一层的初始值,初始值选得好,就当做词向量好。