当我们在做文本处理时,可能会用到以下几种操作
1.转换大小写:
假设我们的文本内容是Texts:
(1)当我们想把文本内容转化成大写的时候,可以使用下述语法:
Texts=[x.upper() for x in Texts]
(2) 当我们想把文本内容转换成小写的时候,可以使用下述语法:
Texts=[x.lower() for x in Texts]
2.去掉一些标点符号
这里我们需要导入一个第三方库:string
Texts=[' '.join(c for c in x if c not in string.punctuation) for x in Texts ]
3.去掉数字
Texts=[' '.join(c for c in x if c not in '0123456789') for x in Texts]
4.去掉停用词
Texts=[' '.join([c for c in x.split() if c not in stopwords]) for x in Texts]
5.去掉多余的空格
Texts=[' '.join(x.split()) for x in Texts]
持续更新一些常用语法