python jieba中文分词gb2312 转utf-8

一个人的想法

于 2019-08-02 18:29:51 发布

阅读量434

点赞数

分类专栏： python 中文分词文章标签： python jieba 中文分词 Latin1 转utf8

本文链接：https://blog.youkuaiyun.com/u010703392/article/details/98222347

版权

该博客主要展示了如何使用Python的jieba库进行中文分词，并将gb2312编码的文本转换为utf8。首先定义了保存文件和读取文件的函数，接着在seg函数中遍历指定目录下的所有文件，对每个文件进行解码、去除换行符、分词和重新编码，最后保存到新的路径下。整个过程以‘/Users/boss/test/data/test/’作为源数据路径，‘/Users/boss/test/data/seg/’作为保存分词结果的目标路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!/usr/bin/env python3
def savefile(path,text):
file = open(path,‘wb’)
file.write(text.encode(‘utf8’))
file.close()

def readfile(path):
file = open(path,‘rb’)
text = file.read()
file.close()
return text

def seg(data_path,save_path):
list = os.listdir(data_path)
for dir in list:
if dir == ‘.DS_Store’:
print(“out:”+dir)
continue
seg_dir = save_path + dir + ‘/’
if not os.path.exists(seg_dir):
os.makedirs(seg_dir)
files = os.listdir(data_path + dir +’/’)
for file in files:
if file == ‘.DS_Store’:
print(‘in:’+file)
continue
text = readfile(data_path +dir+’/’+file)
print(’--------------------’+(data_path +dir+’/’+file))
text = text.decode(‘gb2312’).replace(’\r\n’,’’).strip()
print(“1:—”+text)
text_cut = jieba.cut(

最低0.47元/天解锁文章