python去除常见标点符合以及空格

mz_老张

于 2020-12-14 15:42:40 发布

阅读量3.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python 标点符号正则表达式

本文链接：https://blog.youkuaiyun.com/weixin_42670810/article/details/111173398

python 专栏收录该内容

64 篇文章

订阅专栏

该博客介绍了如何使用Python的正则表达式库re去除中文句子中的常见标点符号和空格，为后续的分词处理做准备。示例代码展示了如何定义并应用drop_punctuation函数，以及测试用例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python去除常见标点符合以及空格

在处理中文语句进行分词前，标点符号比较占位置，可以使用下面方法清空掉。

import re

def drop_punctuation(text):
    punc = '~`!#$%^&*()_+-=|\';"＂:/.,?><~·！@#￥%……&*（）——+-=“：’；、。，？》{《}】【\n\]\[ '
    new_text=re.sub(r"[%s]+" %punc, "",text)
    return new_text

测试：

t1='1    距离川沙公路较近,但是公交指示不对,如果是"蔡陆线"的话,会非常麻烦.建议用别的路线.房间较为简单.'
qt = drop_punctuation(t1)
qt

结果：

'距离川沙公路较近但是公交指示不对如果是蔡陆线的话会非常麻烦建议用别的路线房间较为简单'