1 安装
由于用到了分词,需要给已经处理成每行内容只含汉字的txt文本进行分词,所以想到用thulac试一下。环境是anaconda+pycharm+python 3.6.
使用pip安装:
pip install thulac
2 使用
pycharm中新建python文件,导入thulac包,然后输入命令:
(1)单独句子
import thulac
thu1 = thulac.thulac() #默认模式
text = thu1.cut("我爱北京天安门", text=True) #进行一句话分词
print(text)
(2)文件
import thulac
thu1 = thulac.thulac(seg_only=True) #只进行分词,不进行词性标注
thu1.cut_f("input.txt", "output.txt") #对input.txt文件内容进行分词,输出到output.txt
2.1 遇到的问题
GBK的编码报错
解决方法:①在查看文本文档是否都是UTF-8编码格式,
②点击thulac包下的那个__init__文件,在提示的189行上面,188,187行看到文件读写没有指定编码格式,所以添加指定格式如下:
③重启电脑后运行
#注意:文件编码的格式,或许也可以通过改变文件编码实现,可能比较麻烦,欢迎尝试,欢迎交流