用 python 进行文本预处理和提取特征

最新推荐文章于 2025-02-27 16:06:56 发布

Johline

最新推荐文章于 2025-02-27 16:06:56 发布

阅读量2.1w

点赞数 6

分类专栏： python基础知识

本文链接：https://blog.youkuaiyun.com/Johline/article/details/78802381

版权

文本过滤

result = re.sub(r'[^\u4e00-\u9fa5,。？！，、；：“ ”‘ ’（ ）《 》〈 〉]', "", content)#只保留中文和标点

result = re.sub(r'[^\u4e00-\u9fa5]', "",content)#只保留中文
result = re.sub(r'[^\0-9\.\u4e00-\u9fa5,。？！，、；：“ ”‘ ’（ ）《 》〈 〉]', "", content)#只保留中文和标点和数字
result = re.sub(r'[^\u4e00-\u9fa5,A-Za-z0-9]', "",content)#只保留中文、英文和数字

文本去除两个以上空格

content=re.sub(r'\s{2,}', '', content)

bas4编码变成中文