python去除常见标点符合以及空格

最新推荐文章于 2024-07-17 02:19:30 发布

原创最新推荐文章于 2024-07-17 02:19:30 发布 · 3.5k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#python #标点符号 #正则表达式

python 专栏收录该内容

64 篇文章

订阅专栏

该博客介绍了如何使用Python的正则表达式库re去除中文句子中的常见标点符号和空格，为后续的分词处理做准备。示例代码展示了如何定义并应用drop_punctuation函数，以及测试用例。

部署运行你感兴趣的模型镜像

python去除常见标点符合以及空格

在处理中文语句进行分词前，标点符号比较占位置，可以使用下面方法清空掉。

import re

def drop_punctuation(text):
    punc = '~`!#$%^&*()_+-=|\';"＂:/.,?><~·！@#￥%……&*（）——+-=“：’；、。，？》{《}】【\n\]\[ '
    new_text=re.sub(r"[%s]+" %punc, "",text)
    return new_text

测试：

t1='1    距离川沙公路较近,但是公交指示不对,如果是"蔡陆线"的话,会非常麻烦.建议用别的路线.房间较为简单.'
qt = drop_punctuation(t1)
qt

结果：

'距离川沙公路较近但是公交指示不对如果是蔡陆线的话会非常麻烦建议用别的路线房间较为简单'

您可能感兴趣的与本文相关的镜像

Python3.10

Conda

Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

mz_老张

关注关注

0
点赞
踩
7

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

去除Python中的标点符号

code88888的博客

09-25

4159

在Python中，我们可以使用不同的方法去除字符串中的标点符号。下面我将介绍两种常见的方法：使用正则表达式和使用字符串操作。正则表达式是一种强大的模式匹配工具，可以用于在文本中查找和替换特定模式的字符串。在这种情况下，我们可以使用正则表达式来匹配和删除标点符号。Python中的字符串类型提供了一些方便的方法来操作和处理文本。我们可以利用这些方法来去除标点符号。这两种方法都能有效地去除字符串中的标点符号。你可以根据自己的需求选择其中一种方法来处理文本数据。方法一：使用正则表达式。方法二：使用字符串操作。

Python3 分词去掉文本标点(自主定义)并构建tfidf词向量

济舒小柏

09-12

1568

from sklearn.feature_extraction.text import TfidfVectorizer import string corpus=[] punc = &quot;。”；，：—“”（）《》&quot; # punc = punc.encode(&quot;utf8&quot;) python3不用解码成unicode import jieba with open('corpus.txt',encodin

3 条评论您还未登录，请先登录后发表或查看评论

python只保留汉字去除标点和空格

weixin_37039253的博客

07-17

375

python去掉文章标点和空格

h_666666的博客

12-29

2435

参考了很多的办法都没有成功，，最后自己一点点试了出来。。。。 import re temp = "想做/ 兼_职/学生_/ 的、加,我Q： 1 5. 8 0. ！！？？ 8 6 。0. 2。 3有,惊,喜,哦" #temp = temp.decode("utf8") temp = temp.encode('utf-8').decode('utf-8') string = re.sub...

Python|字符串去除与保留(数字、中文、英文、标点符号、空格)

weixin_45882172的博客

05-10

7636

介绍使用Python去除字符串中的数字、中文、英文、标点符号、空格，主要使用基于正则化的re库

一行Python代码过滤标点符号等特殊字符

09-18

这个表达式过滤了常见的英文和中文标点符号以及空白字符。结合`re`模块的`sub`函数，可以将上述正则表达式用于字符串替换操作，从而移除所有匹配的特殊字符。例如： ```python import re text = "Powe,on；the2333...

python使用正则表达式去除中文文本多余空格，保留英文之间空格方法详解

10-15

因此，掌握如何使用Python正则表达式去除中文文本中的多余空格，同时保留英文单词之间的空格，就显得尤为重要。以下将详细介绍相关知识点和实现方法。首先，正则表达式是一种强大的文本处理工具，它能够通过定义一...

python代码统计汉字字数去除标点符号以及空格换行代码

11-07

在Python中，你可以使用`string`模块来移除标点符号，并利用`len()`函数计算字符串长度来统计汉字字数。这里是一个简单的示例代码： ```python import string def count_chinese_chars(text): # 移除标点符号和...

计算去除标点符号以及空格换行外的汉字字数，写python代码

最新发布

11-07

要编写Python代码计算字符串中去除标点符号和空格换行后的汉字字数，你可以使用`string`模块来获取标点符号列表，然后利用正则表达式去掉这些字符，并统计非空字符。以下是一个简单的示例： ```python import re ...

Python删除字符串中的空格和特殊字符

TINA_JING_LIU的博客

01-27

5906

 "Groß - α".casefold()#德语'gross - α' "I am verY love python".casefold()'i am very love python' 删除字符串中的空格和特殊字符特殊字符指制表符\t 、回车符\r、换行符\n等。 strip() 用于删除字符串左右两侧的空格和特殊字符语法： str.strip([chars]) chars为可选参数，用于指定要删除的字符串，可指定多个，如果不指定则默认删除空格、制表符\t、回车符\r、换行符\n等。..

python去除空格标点_使用空格删除标点；属性

weixin_39975486的博客

12-17

451

目前，我正在使用下面的代码对一些使用spaCy的文本数据进行元素化和计算TF-IDF值：lemma = []for doc in nlp.pipe(df['col'].astype('unicode').values, batch_size=9844,n_threads=3):if doc.is_parsed:lemma.append([n.lemma_ for n in doc if not n...

python去除标点符号_Python 程序从字符串中删除标点符号

weixin_39624094的博客

11-29

5141

Python 程序从字符串中删除标点符号该程序从字符串中删除所有标点符号。我们将使用for循环检查字符串的每个字符。如果字符是标点符号，则为它分配一个空字符串。要理解此示例，您应该了解以下Python编程主题：有时，我们可能希望将一个句子分成单词列表。在这种情况下，我们可能首先要清理字符串并删除所有标点符号。下面是一个如何完成此功能的示例。源代码示例# 定义标点符号punctuations = '...

python结巴分词去掉停用词、标点符号、虚词_python 进行结巴分词并且用re去掉符号...

weixin_39667452的博客

12-09

2063

# 把停用词做成字典stopwords = {}fstop = open('stop_words.txt', 'r',encoding='utf-8',errors='ingnore')for eachWord in fstop:stopwords[eachWord.strip()] = eachWord.strip() #停用词典fstop.close()f1=open('all.txt','...

python 小说词频统计_Python中文分词及词频统计

weixin_39650756的博客

11-20

1101

中文分词中文分词(Chinese Word Segmentation)，将中文语句切割成单独的词组。英文使用空格来分开每个单词的，而中文单独一个汉字跟词有时候完全不是同个含义，因此，中文分词相比英文分词难度高很多。分词主要用于NLP 自然语言处理（Natural Language Processing），使用场景有：搜索优化，关键词提取（百度指数）语义分析，智能问答系统（客服系统）非结构化文本媒体...

Python 中文文本分词（包含标点的移除）

日进一步

04-10

1万+

背景信息本文为构建中文词向量的前期准备，主要实现中文文本的分词工作，并且在分词过程中移除了标点符号、英文字符、数字等干扰项，从而可以得到较为纯净的分词后的中文语料。详细代码import jieba import jieba.analyse import jieba.posseg as pseg import codecs,sys from string import punctuation if ...

我的transformer

jshgz8的博客

11-18

134

构造DataLoader类。

python 去除字符串的空格和标点符号等

花木兰

12-26

6028

reg = '''[(&nbsp;)|(" ")|(r'，')|(\\-)|(\\、)|(\\。)|(\\：)|(\\？)|(\\（）)|(&nbsp;)|(<img.*?>)|(<br>)|(</br>)|(<br/>)|(<span.*?>)|(</span>)|(<p.

python学习之去除字符串中的空格（6种方法）