python 基于jieba模块进行中文分词词频统计

原创

于 2017-09-22 09:39:07 发布 · 3.7k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#python #算法

本文介绍如何利用Python的jieba模块进行中文文本的分词操作，并详细阐述如何统计分词后的词频，为文本分析提供基础支持。通过阅读官方文档，我们可以了解jieba的安装、导入及主要功能，包括分词、精准模式、全模式、搜索引擎模式等，以及如何扩展词典和自定义分词。同时，文章将展示实例代码，演示词频统计的过程。

jieba官方文档：github

# encoding=utf-8
import jieba
import jieba.analyse
txt = open('Chinese.txt',"r")
seg_txt=[]
for line in txt:
    #第一行是关键词提取。
    #第二行是分词提取
    #第三行是关键词提取（与第一行算法有差异）
    seg_list = jieba.analyse.extract_tags(line.strip('\n\r\t'))
    #seg_list = jieba.lcut(line.strip('\n\r\t'))
    #seg_list = jieba.analyse.textrank(line.strip('\n\r\t'))
    seg_txt.

最低0.47元/天解锁文章