【文本分析学习】Anaconda+pytorch虚拟环境下的pycharm文本分析（含分词、词性标注、词形归一化、停用词、文本情感分析、词频、文本相似度，附数据代码） NLTK

一、准备工作

（一）Anaconda、pytorch、pycharm安装

详情见前文:【深度学习】Anaconda：Windows 中 非英伟达显卡（CPU版本）下的 Pytorch安装与环境配置及pycharm安装使用
注意：目前pycharm软件通过设置可以显示中文，详细的可以自行搜索，将pycharm汉化，需要注意pycharm版本不能太低，我之前使用了2020版，版本太低，没办法兼容汉化软件。
另外，虚拟环境下的pycharm下载包，一直报错，在本文中也有解决！！！
（/ _ \，倒腾了我一个周末！）

二、Pycharm解释器配置

选择已有环境、pytorch虚拟环境

三、Pycharm中的文本分析下载基本的包

（一）下载nltk、jieba

1. 直接在设置里面下载 ，搜索相关名字，进行安装；
2. 或者通过命令 pip install jieba

（二）下载语料库

1. 输入命令nltk.download() ，在跳出的窗口选择File-download，然后点击File-change download directory全部下载，注意初次下载会有点慢；

import nltk
nltk.download()

2. 测试语料库是否下载成功

form.nltk.corpus import brown
brown.words()

#或者使用内置的案例进行测试
import nltk
from nltk.book import *

（三）下载wordcloud

注意：可能是使用了虚拟环境，直接用这个下载包，一直报错，
某天突然突发奇想，又倒腾了一下，发现能下载了，点 文件-设置-解释器

还有一种方法！
由于使用了Anaconda+pytorch虚拟环境 所以可以通过该虚拟环境下载第三方库
首先：打开1.Anaconda Navigator 找到相应的环境进行第三方库的搜索，没有的话再打开Anaconda Prompt
然后：转到相应的环境中 输入activate pytorch
最后：输入下载命令 ，使用清华镜像快速安装，pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ddparser
因为我安装的是ddparser第三方库 所以输入这个，相应的需要哪个第三方库，就下载哪个。
完成~

四、Pycharm中使用NLTK进行文本分析

（一）文本预处理

1.分词

（1）英文分词：调用nltk中的word_tokenize()函数

import nltk
Sentence = 'I like blue'
words =nltk.word_tokenize(Sentence)
print(words)

以上内容，可以参考链接
（2） 中文分词：用到jieba包
jieba库是第三方中文分词函数库，需要额外安装。

import jieba
Sentence = "我要去吃饭"
term_list =jieba.cut(Sentence,cut_all=False)
print('[精确模式]：'+'/'.join(term_list))

2.词性标注

（1）英文分词：调用nltk中的word_tokenize()函数
https://raw.githubusercontent.com/nltk/nltk_data/gh-pages/packages/taggers/averaged_perceptron_tagger.zip
备注：将文件解压之后，命名放入该文件夹下 C:\Users\23682.conda\envs\pytorch\share\nltk_data

import nltk
words = nltk.word_tokenize("There are many difficulties in learning English.")
print(nltk.pos_tag(words))

PS：中文如何进行词性标注

3.词形归一化

（1）词干提取：使用波特词干提取器，用于删除词性的词缀

from nltk.stem.porter import PorterStemmer
porter_stem = PorterStemmer()
words = porter_stem.stem('watched')
print(words)

类似还有兰卡斯特词干提取器、Snowballstemmer等

（2）词形还原：基于词根还原单词，使用wordNetLemmatizer类

from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
wordl = lemmatizer