使用python提取中文数字和英文

最新推荐文章于 2022-09-12 01:10:52 发布

原创最新推荐文章于 2022-09-12 01:10:52 发布 · 1.5w 阅读

27 ·

CC 4.0 BY-SA版权

文章标签：

#python #提取中文

Python 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了一种使用Python进行数据预处理的方法，重点在于如何利用正则表达式和Unicode去除文本中的特殊符号，确保word2vec模型训练的数据质量。

因为训练word2vec模型，需要处理数据集发现其中有很多特殊符号，所以使用 $python3$ 进行了数据预处理，去除了预料中的特殊符号，这里使用unicode加正则表示式来进行相关的匹配。

import re
string = "12345464我不是药神123456abcdefgABCVDFF？/ ，。,.:;:''';'''[]{}()（）《》"
print(string)
12345464我不是药神123456abcdefgABCVDFF？/ ，。,.:;:''';'''[]{}()（）《》
sub_str = re.sub(u"([^\u4e00-\u9fa5\u0030-\u0039\u0041-\u005a\u0061-\u007a])","",string)
print(sub_str)
12345464我不是药神123456abcdefgABCVDFF

正则表达式的使用

函数	说明
sub(pattern,repl,string)	把字符串中的所有匹配表达式pattern中的地方替换成repl
[^**]	表示不匹配此字符集中的任何一个字符
\u4e00-\u9fa5	汉字的unicode范围
\u0030-\u0039	数字的unicode范围
\u0041-\u005a	大写字母unicode范围
\u0061-\u007a	小写字母unicode范围