基于word2vec的文本大数据分析

基于word2vec的文本大数据分析

效果：

一、简介

Word2Vec是一种词向量表示方法，是在自然语言处理领域（NLP）的神经网络模型，是一种无监督学习，包含两种模型架构：CBOW模型与Skip-Gram模型。

常用于：相似度计算、词类聚类、文本分类、句子和文档表示、搜索引擎优化、情感分析、主题建模以及问答系统。

二、流程

1、获取数据
2、预处理
3、模型训练、保存
4、模型预测
5、模型评估
6、模型优化

1、获取数据

从数据库中获取图书数据，按照二八原则获取，80%的数据用于训练，20%用于测试。

代码：

# -*- coding: utf-8 -*-