如何高效剔除jieba分词中的标点符号和其他特殊字符

最新推荐文章于 2023-10-05 23:27:23 发布
原创 最新推荐文章于 2023-10-05 23:27:23 发布 · 1.2w 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了中文分词时遇到的两大难题：如何有效处理常用词及标点符号。针对这些问题，文章提供了实用解决方案，包括使用停用词字典过滤常用词，以及利用正则表达式剔除标点符号，确保分词结果的纯净度。

关于分词有两个令人头痛的问题：一个是常用词，一个是标点符号。
如果使用jieba分词的，那么这两种‘符号’都会混杂在我们的结果中。
常用词可以使用停用词字典。而标点符号可以使用正则剔除，具体如下：

...
text = re.sub('\W*', '', file.readlines())
word_list = jieba.cut(text)
...

注：如果文件很大时，建议按行读取，逐行分词。

机器学习之自然语言处理——中文分词jieba库详解（代码+原理）
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
05-22 5099
目录文本分类概述文本分类的应用文本分类的挑战文本分类的算法应用文本分类所需知识中文分词神器-jiebajieba分词的三种模式词性标注载入词典（不分词）词典中删除词语（不显示）停用词过滤调整词语的词频关键词提取基于TF-IDF算法的关键词提取基于 TextRank 算法的关键词抽取返回词语在原文的起止位置（论文常用算法）词频统计（附智能程序）每文一语 文本分类概述 文本分类的应用 在大数据时代，网络上的文本数据日益增长。采用文本分类技术对海量数据进行科学地组织和管理显得尤为重要。 文本作为分布最广、数据量最
结巴分词、词性标注以及停用词过滤
10-31
因为比赛需要用到结巴分词，所以写了一个关于结巴分词、词性标注以及停用词过滤的python程序。
Python3 分词去掉文本标点(自主定义)并构建tfidf词向量
济舒小柏
09-12 1571
from sklearn.feature_extraction.text import TfidfVectorizer import string corpus=[] punc = "。”；，：—“”（）《》" # punc = punc.encode("utf8") python3不用解码成unicode import jieba with open('corpus.txt',encodin
【自然语言处理基础技能（NLP）】jieba中文文本处理
独守夕阳余晖
11-10 7130
1.基本分词函数与用法 # jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode) # # jieba.cut 方法接受三个输入参数: # # 需要分词的字符串 # cut_all 参数用来控制是否采用全模式 # HMM 参数用来控制是否使用 HMM 模型 # ...
Python使用jieba库分词并去除标点符号
Alexabc3000的专栏
11-14 1万+
Python使用jieba库分词并去除标点符号
jieba分词，并去除所有标点
404 NOT FOUND
09-13 2万+
# encoding=utf-8 import jieba import re class Scan(object):     def __init__(self,path):         self.path = path     def scan(self):         r = '[’!"#$%&\'()*+,-./:;?@[\\]^_`{|}~]+'
python结巴分词去掉停用词、标点符号、虚词_NLP自然语言处理入门-- 文本预处理Pre-processing...
weixin_34696006的博客
02-04 1万+
引言自然语言处理NLP(nature language processing)，顾名思义，就是使用计算机对语言文字进行处理的相关技术以及应用。在对文本做数据分析时，我们一大半的时间都会花在文本预处理上，而中文和英文的预处理流程稍有不同，本文就对中、英文文本挖掘的常用的NLP的文本预处技术做一个总结。文章内容主要按下图流程讲解： 1.中英文文本预处理的特点中英文的文本预处理大体流程如上图，但是还是有...
python 进行结巴分词 并且用re去掉符号
dayday学习的博客
02-27 2744
把停用词做成字典 stopwords = {} fstop = open(‘stop_words.txt’, ‘r’,encoding=‘utf-8’,errors=‘ingnore’) for eachWord in fstop: stopwords[eachWord.strip()] = eachWord.strip() #停用词典 fstop.close() f1=open(‘all.tx...
jieba结巴分词器
夜空下的凝视
04-08 1323
安装： pip install jieba 相关知识： 三种分词模式： 1. 全模式 ：把句子中所有可以成词的词语都扫描出来，速度非常快，但是不能解决歧义。这种全模式，会根据字典，将所有出现的字词全部匹配划分，所以会出现重复，这不是我们需要的。 2.精确模式 ：试图将句子最精确地切开，适合文本分析（类似LTP分词方式），这种精确模式就比较接近我们想要的了。 3.搜索引擎模式：在精确模式的基础上对长...
中文分词工具jieba使用-高频热词提取
djx1085213329的博客
11-09 7620
目录一、概念二、使用1.基本2.实战-高频热词提取 一、概念 近年来，随着NLP技术的日益成熟，开源实现的分词工具越来越多，如Ansj、盘古分词等。本文选择的是更易上手的Jieba做简单介绍。 原理： Jieba分词结合了基于规则和基于统计这两类方法。首先基于前缀词典进行词图扫描，前缀词典是指词典中的词按照前缀包含的顺序排列，例如词典中出现了“上”，之后以“上”开头的词都会出现在这一部分，例如“上海”，进而会出现“上海市”，从而形成一种层级包含结构。如果将词看作节点，词和词之间的分词符看作边，那么一种分词方
jieba分词关键字含英文和特殊字符的处理方法
01-21
1.默认情况 语句中关键字在含有英文和特殊字符时(machine-1234)，使用jieba往往将我们的关键词分割的非常零碎，比如： # 默认情况 import jieba str1 = 查找machine-1234的产品说明书 for w in jieba.cut(str1): print(w) # 运行结果 >>>查找 >>>machine >>>- >>>1234 >>>的 >>>产品 >>>说明书 2.利用自定义字典 通常情况下，我们可以加载预定义字典来包含词库里不存在的词，以达到正确分词的效果 # 利用用户自定义字典 import jieba str1 = 查找mac
一行Python代码过滤标点符号等特殊字符
09-18
主要介绍了一行Python代码过滤标点符号等特殊字符的相关知识，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
Python——利用jieba库实现分词、剔除特殊字符、扩充词库、存盘
qq_64296768的博客
10-05 908
存储文件就是用来显示其jieba分词后的文件，此时的文件是剔除特殊字符串的文件。注意：如果出现编码有问题，可以打开相应的文件的记事本将其另存为时更改编码类型。打开文件就是需要进行jieba处理的文件用其进行分词、剔除、扩充词库的文本。本文的词库文件需要自己建立词库，或者空白文件也是可以的。将ANSI编码方式改为utf8即可。
Python 中文文本分词（包含标点的移除）
日进一步
04-10 1万+
背景信息本文为构建中文词向量的前期准备，主要实现中文文本的分词工作，并且在分词过程中移除了标点符号、英文字符、数字等干扰项，从而可以得到较为纯净的分词后的中文语料。详细代码import jieba import jieba.analyse import jieba.posseg as pseg import codecs,sys from string import punctuation if ...
『NLP自然语言处理』中文文本的分词、去标点符号、去停用词、词性标注
酒狂的博客
03-25 1万+
利用Python代码实现中文文本的自然语言处理，包括分词、去标点符号、去停用词、词性标注。 在刚开始的每个模块，介绍它的实现。最后会将整个文本处理过程封装成 TextProcess 类。
python结巴分词去掉停用词、标点符号、虚词_python 进行结巴分词 并且用re去掉符号...
weixin_39667452的博客
12-09 2068
# 把停用词做成字典stopwords = {}fstop = open('stop_words.txt', 'r',encoding='utf-8',errors='ingnore')for eachWord in fstop:stopwords[eachWord.strip()] = eachWord.strip() #停用词典fstop.close()f1=open('all.txt','...
综合应用，jieba,去标点，分词保存，统计，删词，输出
adasdsa213231的专栏
08-31 1664
import jieba fp1=r'D:/python/a.txt' outph=r'D:/python/out.txt' f=open(fp1,'r',encoding='utf-8') txt=f.read().strip() f.close() words=jieba.lcut(txt) f=open(outph,'w',encoding='utf-8'...
文本分析-使用jieba库进行中文分词和去除停用词（附案例实战）
热门推荐
m0_64336780的博客
06-05 4万+
本文将手把手教会你使用jieba库进行中文分词和去除停用词，这是学会文本分析的必经之路！
java 去除标点等符号
aa1064328629的专栏
10-24 1513
1.     /**          * 将字符串中的标点符号去除          *          * @param str          * @return          */         public String delPunc(String str) {             char[] chars = str.toCharArray();
我需要一串代码，首先剔除停用词stopwordlist添加词表add_word_list，用jieba对一个policy.txt文本进行分词，题词所有除中文外的标点符号，最后生成一个名为data_set的新的文档
最新发布
09-19
你可以使用下面的Python代码来完成这个任务，这里我将使用jieba分词库和NLTK库的停用词表： ```python import jieba from jieba.analyse import extract_tags from nltk.corpus import stopwords import string # 定义停用词和自定义词表 stopwordlist = set(stopwords.words('chinese')) # 加载默认的中文停用词 add_word_list = ['自定义词1', '自定义词2'] # 添加额外的词 stopwordlist.update(add_word_list) # 将自定义词加入停用词表 # 文件操作 with open('policy.txt', 'r', encoding='utf-8') as f: text = f.read() # 分词并去除标点符号 tokens = [char for char in text if char not in string.punctuation] tokens = [token for token in tokens if token not in stopwordlist] # 提取关键词 tags = extract_tags(text) # 将结果写入新的文档data_set.txt with open('data_set.txt', 'w', encoding='utf-8') as f: for tag in tags: f.write(tag + '\n') for token in tokens: f.write(token + '\n') ``` 这段代码首先加载了中文停用词表并添加了自定义词。然后，从`policy.txt`文件中读取文本，使用jieba分词并去掉非汉字的标点符号，接着提取关键字并过滤掉停用词。最后，将处理后的关键词和词汇写入名为`data_set.txt`的新文档中。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值