THULAC分词时报错的解决方法:python代码

1 安装
由于用到了分词,需要给已经处理成每行内容只含汉字的txt文本进行分词,所以想到用thulac试一下。环境是anaconda+pycharm+python 3.6.
使用pip安装:

pip install thulac

2 使用
pycharm中新建python文件,导入thulac包,然后输入命令:
(1)单独句子

import thulac   

thu1 = thulac.thulac()  #默认模式
text = thu1.cut("我爱北京天安门", text=True)  #进行一句话分词
print(text)

(2)文件

import thulac

thu1 = thulac.thulac(seg_only=True)  #只进行分词,不进行词性标注
thu1.cut_f("input.txt", "output.txt")   #对input.txt文件内容进行分词,输出到output.txt

2.1 遇到的问题
在这里插入图片描述
GBK的编码报错
解决方法:①在查看文本文档是否都是UTF-8编码格式,
②点击thulac包下的那个__init__文件,在提示的189行上面,188,187行看到文件读写没有指定编码格式,所以添加指定格式如下:
在这里插入图片描述
③重启电脑后运行
#注意:文件编码的格式,或许也可以通过改变文件编码实现,可能比较麻烦,欢迎尝试,欢迎交流

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值