昨日学习了:
pandas读取csv的数据
head()–用于简单浏览数据形式,前五行
info()–可以看到每列名称,查询数据大小,类型及是否含有缺失值
describe()–数据的统计信息,包括mean,min,max,25%,50%,75%,及std
通过’.columns’ ,得到各列名称
通过‘.shape’得到矩阵大小
fillna(-1)将缺省值用-1代替
定义了一个统计函数,方便后续信息统计
def Sta_inf(data):
print(’_min’,np.min(data))
print(’_max:’,np.max(data))
print(’_mean’,np.mean(data))
print(’_ptp’,np.ptp(data))
print(’_std’,np.std(data))
print(’_var’,np.var(data))
python 中numpy的var,std,ptp
var:表示方差,即各项值-均值的平方求和后再除以N。方差(Variance):表示一个随机变量的离散程度,也就是该变量离其期望值的距离。
std:表示标准差,是var的平方根。
ptp:最大值与最小值的差
利用plt.hist(Y_data)绘制价格的分布统计图
二手车交易价格预测:EDA-数据探索性分析
数据探索在机器学习中我们一般称为EDA(Exploratory Data Analysis),是指对已有的数据(特别是调查或观察得来的原始数据)在尽量少的先验假定下进行探索,通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。
数据探索有利于我们发现数据的一些特性,数据之间的关联性,对于后续的特征构建是很有帮助的。
1. EDA介绍
听了小雨姑娘关于EDA数据探索性分析的直播课,这里转载自杨煜队伍的分享的关于直播课的思维导图:
2. 学习内容:
对于数据缺省值的可视化分析
数据缺失和异常
查看每列的存在nan情况
异常值检测
了解预测值的分布
总体分布概况(无界约翰逊分布等)
查看skewness and kurtosis
查看预测值的具体频数
数字特征分析与类型特征分析
数字特征分析
相关性分析
查看几个特征得 偏度和峰值
每个数字特征得分布可视化
数字特征相互之间的关系可视化
多变量互相回归关系可视化
类型特征分析
unique分布
类别特征箱形图可视化
类别特征的小提琴图可视化
类别特征的柱形图可视化类别
特征的每个类别频数可视化(count_plot)