数据分析-Pandas数据分类处理
数据分析和处理中,难免会遇到各种数据,那么数据呈现怎样的规律呢?不管金融数据,风控数据,营销数据等等,莫不如此。如何通过图示展示数据的规律?
数据表,时间序列数据在数据分析建模中很常见,例如天气预报,空气状态监测,股票交易等金融场景。数据分析过程中重新调整,重塑数据表是很重要的技巧,此处选择Titanic数据,以及巴黎、伦敦欧洲城市空气质量监测 N O 2 NO_2 NO2数据作为样例。
数据分析
本文用到的样例数据:
样例代码:
导入关键模块
import pandas as pd
import numpy as np
实验数据分析处理,股票序列,时间序列,信号序列,有时候表格的数据并不完全是数值类型,也有可能是字符串,或者其他数据,需要做分类处理。pandas如何进行数据的分类呢?
下面对 pandas 分类数据类型做个简单的介绍。
分类数据
Categoricals 是 pandas 的一种数据类型,对应统计分类变量。通常,统计分类变量是有限的、固定的、 可能数值。例如,性别, 社会阶层,血型,颜色,种类,评价,评级等等。
与统计分类变量相比,分类数据还可能有一个顺序(例如 “非常同意”与“同意”,“第一次观察”与“第二次观察”),但不能进行算术计算,比如,加减乘除。
所有的数据,要么在分类数据中,要么不在。分类数据如果有顺序,那么是按定义的值进行排序,而不是按照词法顺序,比如字母顺序,数字顺序。实际上在内部,其数据结构是由一个真正数值的数组和一个整数数组构成,整数数组指向真正值的数组。 哈哈,有点绕。
分类的作用
categorical 数据类型在以下情况下很有用:
- 仅由几个不同值组成的字符串变量。字符串变量转换为分类变量可节省一些内存。
- 变量的逻辑顺序和词法顺序不同,通过转换为分类并指定类别的顺序,这样可以使用逻辑顺序进行排序, min/max 操作。
- 提示 Python 库,表明此列应被视为分类变量操作(例如,使用合适的统计方法或绘图类型)。
分类对象创建
基于Series
分类或者列,可以通过多种方式创建。
最简单的方式,通过在构造时指定:dtype="category"
In [1]: s = pd.Series(["a", "b", "c", "