目录
数据清洗的时候一大烦恼就是数据中总有各种乱码字符,比如!@#¥%……&——+*(){}:“》《?|【】‘;/。,、-=
去掉这些很简单:
1.乱码符号种类较少,用replace()
如果只是很少类型的乱码符号,可以使用replace来替换掉,由于我们只是针对字符串中个别字符进行替换,因此使用str.replace("#","")即可;
#只有一类乱码字符串
df['name'] = df['name'].str.replace("#","")
#连续多个字符一起替换
df['name'] = df['name'].str.replace("#","").str.replace("&","").str.replace("*","")
2.乱码字符种类较多,用re.sub()
import re
string = "北京大学beijing985大学@#¥……&{}*@$%)..+_)( "
string_code = re.sub(u"([^\u4e00-\u9fa5\u0030-\u0039\u0041-\u005a\u0061-\u007a])","",string)
print(string_code )
#输出:北京大学beijing985大学
这种方法的清洗,我们使用的其实是正则表达式,上述方法是提取了字符串中的中英文和