文本分词，并统计分词出现次数，结果输出到文件中

最新推荐文章于 2022-02-09 09:00:00 发布

原创

最新推荐文章于 2022-02-09 09:00:00 发布 · 3.8k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#python #jieba #wordcount

该博客介绍如何使用jieba库进行文本分词，通过Python代码实现将分词结果输出到文件中，包括统计词频并保存到outwords.txt。主要涉及的函数有jieba.cut()用于分词，print_words()用于打印和写入词频到文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#-*- coding: utf-8 -*-
import sys
import jieba

def print_dict(pdict,filename):
        reload(sys)
        sys.setdefaultencoding( "utf-8" )
        fp = open(filename, "w")
        
        for k,v in pdict.items():
                if k=='':
                        continue
                fp.write(k)
                fp.write(":")
                fp.write(str(v))
                fp.write("\n")        
        fp.close()
        print 'write to file over!'
        
        
def print_words(text,filename):
        split_text = text.split('/')
        out_list =[]
        out_dict ={}

        for it in split_text:
                if it in out_list:
                        out_dict[it] = 1 + out_dict[it]
                else:
                        out_list.append(it)
                        out_dict[it] = 1
       
        print_dict(out_dict,filename)
        
def jieba_cut(cont):
        seg_list=jieba.cut(cont,cut_all=True)
        seg_str="/".joi