Pathon做数据分析

数据分析流程

1. 识别需求
   识别信息需求是确保数据分析过程有效性的首要条件，可以为收集数据、分析数据提供清晰的目标。
2. 收集数据
   有目的的收集数据，是确保数据分析过程有效的基础。
3. 分析数据（数据清洗）
   分析数据是将收集的数据通过加工、整理和分析、使其转化为信息，通常用方法有：
4. 可视化
   将数据变得一目了然
   老七种工具，即排列图、因果图、分层法、调查表、散布图、直方图、控制图；
   新七种工具，即关联图、系统图、矩阵图、KJ法、计划评审技术、PDPC法、矩阵数据图。

概念（定性数据和定量数据）

定性数据和定量数据的区别如下：

1. 是否具有数值特征：
   1. 定性数据没有数值特征，不能对其数据进行数学运算。定性数据分为分类数据和顺序数据两类。
      1. 定类数据：如反映“职业”、“教育程度”等现象的属性特点的数据，只能用来区分事物，而不能用来表明实物之间的大小、优劣关系。
      2. 定序数据：如象“教育类别”这样的变量称为顺序变量，相应的观察结果就是顺序数据。说明事物有序类别的一个名称，这类变量的具体表现就是顺序数据。顺序数据的数据之间虽然可以比较大小，却无法计算相互之间的大小、高低或优劣的距离。
   2. 定量数据：反映“天气温度”、“月收入”等变量可以用数值表示其观察结果，而且这些数值具有明确的数值含义，不仅能分类而且能测量出来具体大小和差异。这些变量就是定量变量也称数值变量，定量变量的观察结果成为定量数据。
2. 计量精度不同
   1. 定性数据只能粗略区分事物特征，无法计算比较相互间大小，计量精度不高。
   2. 定量数据作为统计研究的主要资料， 不仅能分类而且能测量出来具体大小和差异，其计量精度远远高于定性数据。
3. 统计方法不同
   1. 定性数据多采用描述性统计分析方法，非参数检验等。
   2. 定量数据可采用描述性统计分析，也可采用推断性统计分析、参数检验或统计模型。

例：
这是一列定性数据，但是很明显，这列数据是需要计算建模的数据

转换为具有运算特征的定量数据

x['Biweekly High Rate']=x['Biweekly High Rate'].map(lambda v:v.replace("$",'')).astype(float)

思路

在读取文件时可以用导入csv包 (专门处理csv）

它会把每一条数据都包装成一个list 以便下一步操作

with open('ebola.csv','r') as a:
	#按每一行读取
	 for i in csv.reader(a)<