jieba 分词入门小笔记

骉码

于 2018-07-04 20:57:58 发布

阅读量346

点赞数 2

CC 4.0 BY-SA版权

分类专栏： python python 学习 nlp 文章标签： jieba 分词

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/BigData_ming/article/details/80918451

python 同时被 3 个专栏收录

10 篇文章

订阅专栏

7 篇文章

订阅专栏

2 篇文章

订阅专栏

本文通过一个简单的例子展示了如何使用结巴分词进行中文文本的精确分词，并介绍了如何通过添加自定义词来提高分词准确率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import jieba
juzi1 = "你妈妈喊你回家吃饭啦！你在干嘛，怎么还不回家?"
jieba.add_word("还不")
#jieba.add_word("还不")
seg_list = jieba.cut(juzi1,cut_all = False)
text = " ".join(seg_list)
print(text)

不加自定义词

你妈妈喊你回家吃饭啦！你在干嘛，怎么还不回家 ?

你妈妈喊你回家吃饭啦！你在干嘛，怎么还不回家 ?

博客等级

码龄8年

16
原创

9
点赞

24
收藏

1
粉丝

关注

私信

热门文章

分类专栏

项目记录 2篇
产品 2篇
python 10篇
python 学习 7篇
csdn
nlp 2篇
qt 1篇

展开全部收起

上一篇：: python利用nltk工具，数文件夹中所有文本文件的频率最高的单词

下一篇：: python join简单说明和小样例

最新评论

python利用nltk工具，数文件夹中所有文本文件的频率最高的单词
抓个屁给你闻: 我使用了这个glob读取文件夹的文件之后，使用with open 好像并没有获得所有的所有文本的内容。咋回事啊[code=python] import nltk import glob from nltk.tokenize import sent_tokenize from nltk.tokenize import PunktSentenceTokenizer from nltk.corpus import webtext from nltk.tokenize import sent_tokenize from nltk.corpus import stopwords #导入文件并改为NLTK适用文本，使用NLTK进行句子切分 files = glob.glob('D:\Python\my_corpus\*.txt')#文档不能有空格符号 for file in files: print(file) with open(file, 'r',encoding='utf-8') as f: text = f.read() corpus_root = r'D:\Python\my corpus' sent_tokenizer =PunktSentenceTokenizer(corpus_root,['*']) sents = sent_tokenizer.tokenize(text) #sents[1] #print(sents) #查询单词并匹配对应句子 A = input("请输入单词：") B = input("请输入单词：") for lines in sents: if A in lines: if B in lines: print ("包含该单词的句子有:",lines) [/code]

最新文章

目录

展开全部

收起

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。