NLP的一些大杂烩

1、训练词向量的时候

输入A 预测A的下一个词是什么，如果词表特别大的话，达到5000的话，那么相当于一个5万分类的任务，所以可以将其改变输入AB两个词，预测B是A词下一个词的概率。因为语料中所有的上下文中的输出标签都是1，所以要自己构造target为0 的输入样例，其实，这就是负采样的原理。word2vector是无监督的，所以也不用自己打标签times

2、LSTM

读数据---每个词转换成ID----转换成vector--

input 【batchsize, timestamp(句子长度), 向量维度 】

output 【batchsize， timestamp】但一般取最后一个，所以一般会用【-1】

3、一般实战流程

（1）制作词向量 

（2）词和ID的映射 【注：tensorflow中一般是根据词去寻找它的ID，然后利用ID再去寻找这个词对应的向量】

（3）构建网络框架

（4）训练模型

（5）测试一下