python学习笔记-数据挖掘（数据分析）

数据质量分析

与本文有关的代码和数据包在以下百度云网盘中，欢迎大家下载实践。
链接：https://pan.baidu.com/s/1O9DXGSGNlT2fkHX1woBpBA
提取码：m69u

主要任务： 检查脏数据
脏数据包括：

• 缺失值
• 异常值
• 不一致的值
• 重复数据及含有特殊符号（如#，&，*）的数据。

1）缺失值分析：

2）异常值分析：

样例：

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import matplotlib as mpl
import seaborn as sns

mpl.rcParams['axes.unicode_minus'] = False
mpl.rcParams['font.sans-serif'] = 'SimHei'

catering_sale = 'catering_sale.xls'
data = pd.read_excel(catering_sale,index_col = u'日期')
print(data.describe())
print(len(data))

得到结果

由len(data)知有201条，但count有200条，说明缺失值为1.

• mean（平均值）
• std（标准差）
• min （最小值）
• max （最大值）
• 1/4，1/2，3/4分位数

箱线法:

以下代码涉及的知识点
当指定return_type=‘dict’时，其结果值为一个字典，字典索引为固定的’whiskers’、‘caps’、‘boxes’、‘fliers’、‘means’

Axes.annotate(s, xy, *args, **kwargs)

• s：注释文本的内容
• xy：被注释的坐标点，二维元组形如(x,y)
• xytext：注释文本的坐标点，也是二维元组，默认与xy相同
• xycoords：被注释点的坐标系属性，允许输入的值如下

实例操作：

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import matplotlib as mpl
import seaborn as sns

mpl.rcParams['axes.unicode_minus'] = False
mpl.rcParams['font.sans-serif'] = 'SimHei'

catering_sale = 'catering_sale.xls'
data = pd.read_excel(catering_sale, index_col = u'日期') #读取数据，指定“日期”列为索引列

plt.figure() #建立图像
p = data.boxplot(return_type='dict') #画箱线图，直接使用DataFrame的方法
x = p['fliers'][0].get_xdata() # 'flies'即为异常值的标签
y = p['fliers'][0].get_ydata()
y.sort() #从小到大排序，该方法直接改变原对象

#用annotate添加注释
#其中有些相近的点，注解会出现重叠，难以看清，需要一些技巧来控制。
#以下参数都是经过调试的，需要具体问题具体调试。
#没有下面这步，会只有箱线图，没有数据的大小
for i in range(len(x)):
  if i>0:
    plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
  else:
    plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.08,y[i]))

plt.show()