用Python实现中文分词

笔记

jieba模块

import jieba
# 读取进来
with open('华为笔记本.txt','r',encoding='utf-8') as file:
    s=file.read()
# print(s)
# 分词
lst=jieba.lcut(s)
# print(lst)

# 去重操作
set1=set(lst) # 使用集合实现去重
#
d={} # key:词,value:出现的次数
for item in set1:
    if len(item)>=2:
        d[item]=0
# print(d)
for item in lst:
    if item in d:
        d[item]=d.get(item)+1
# print(d)
# 字典转列表
new_list=[]
for item in d:
    new_list.append([item,d[item]])
# print(new_list)

# 列表排序
new_list.sort(key=lambda x:x[1],reverse=True)
print(new_list[0:11]) # 显示的是前10项