自然语言情感分析之jieba分词

      之前在CNN和RNN几个模型下分别测试了自然语言情感分析的效果（即能够达到的精确度），但那是调用已有的词典还有语言数据也是函数自带的，所以没有达到我们的目标（帮我们判别某句话是正面还是负面）。

分析内容：

用tensorflow进行中文自然语言处理的情感分析  github链接 https://github.com/aespresso/chinese_sentiment

预训练词向量：
北京师范大学中文信息处理研究所与中国人民大学 DBIIR 实验室的研究者开源的"chinese-word-vectors" github链接为：
https://github.com/Embedding/Chinese-Word-Vectors

具体步骤如下图：

 

其中第二步采用的分词方法是jieba分词，具体可参考  https://github.com/fxsjy/jieba

其实分词是一个很复杂的过程，首先可能是一个字一个字的切分，但如果相邻词之间能合在一起，则就会把它们合并。比如下面“我喜欢文学”后面还有一个“著作”或“书”字能与“文学”二字合在一起，则会考虑把它们分在一起。（当然这只是个简单的例子，具体分法需要考虑的还很多呢，毕竟中华文化博大精深~）

第三步:根据已有的词典建立索引

相当于平时我们查字典，而且便于计算，平时出现频率越大的词索引也越靠前。

第四步：词向量模型
在这个词向量模型里，每一个词是一个索引，对应的是一个长度为300的向量，我们需要构建的LSTM神经网络模型并不能直接处理汉字文本，需要先进行分次并把词汇转换为词向量。

最后就是放到神经网络上去训练了。

训练语料
使用了谭松波老师的酒店评论语料，训练样本分别被放置在两个文件夹里： 分别的pos和neg，每个文件夹里有2000个txt文件，每个文件内有一段评语，共有4000个训练样本。在上面链接里有。

 

# 首先加载必用的库
import numpy as np
import matplotlib.pyplot as plt
import re
import jieba # 结巴分词
# gensim用来加载预训练word vector
from gensim.models import KeyedVectors
# 我们使用tensorflow的keras接口来建模
from tensorflow.python.keras.models import Sequential
from tensorflow.python.keras.layers import Dense, GRU, Embedding, LSTM, Bidirectional
from tensorflow.python.keras.preprocessing.sequence import pad_sequences
from tensorflow.python.keras.optimizers import Adam
from tensorflow.python.keras.callbacks import EarlyStopping, ModelCheckpoint, TensorBoard, ReduceLROnPlateau
from sklearn.model_selection import train_test_split
from tensorflow.python.keras.preprocessing.text import Tokenizer
from tensorflow.python.ke