
数据处理
文章平均质量分 79
樱与刀
萌系
展开
-
pandas常用的操作1:读存,插入,删除,切片,转换,合并
pandas常用操作https://www.kesci.com读文件与写文件:pd.read_csv()注意传入的参数,sep,header其中,相关的还有read_txt,read_json…pd.to_csv()注意传入的参数 header, index, column =[]查看数据与统计数据pd.head(n=10)查看前10条pd.columnspd.index...原创 2019-06-01 15:41:27 · 1144 阅读 · 0 评论 -
数据清洗—制作one-hot
数据清洗—制作one-hot使用pandas进行one-hot编码pandas.get_dummies(data, prefix=None, prefix_sep='_', dummy_na=False, columns=None, sparse=False, drop_first=False, dtype=None)pandas中get_dummies()函数可以将字段进行编码,转换为0...原创 2019-06-01 16:08:10 · 471 阅读 · 0 评论 -
数据清洗—清洗某属性
数据清洗—清洗某属性在数据清理过程中,某些属性可能缺省值过多,这对我们分析或者数据挖掘可能并没有太大的帮助,所以我们需要对其进行清洗工作。而某些属性或许并不缺省,但是方差却十分小,表情属性所携带信息较少,对于分析作用也不是很大也采用清洗工作。删除缺省值大于某阈值的属性## 将某一列中空缺值数量多于80%的列去除# 删除缺省值大于threshold的属性def del_attributio...原创 2019-06-01 16:20:19 · 586 阅读 · 0 评论 -
pythonic-使用Counter进行计数统计
pythonic-使用Counter进行计数统计注:本文参考书籍为:《编写高质量代码-改善python程序的91个建议》一书方式一,使用defaultdict方式### pythonfrom collections import defaultdictdata = ['a','2','3',5,6,78,45,'a','3',5,6,'a','2','3',5,6,'3',5,'a','...原创 2019-06-26 16:04:58 · 191 阅读 · 0 评论 -
python中读取CSV(TXT)文件数据或将数据写入到CSV(TXT)文件中
python中读取CSV(TXT)文件数据或将数据写入到CSV(TXT)文件中1.pandas方式读取文件中的数据:我们常用的方式就是通过调用pandas包来实现对文件的读取:pandas.read_csv(filepath_or_buffer, sep=', ', delimiter=None, header='infer', names=None, index_col=...原创 2019-10-02 23:06:08 · 27654 阅读 · 3 评论