pandas 学习笔记（2）

1.数据离散化

1.1为什么要离散化

连续属性离散化的目的是为了简化数据结构，数据离散化技术可以用来减少给定连续属性值的个数。离散化方法经常作为数据挖掘的工具。

1.2什么是数据的离散化

连续属性的离散化就是在连续属性的值域上，将值域划分为若干个离散的区间，最后用不同的符号或整数 值代表落在每个子区间中的属性值。

1.3使用的工具：

pd.qcut(data, q)：
q：分组个数
对数据进行分组将数据分组，一般会与value_counts搭配使用，统计每组的个数

pd.cut(data, bins)
bins：放列表数据表示分组的区间，如：bins = [-100, -7, -5, -3, 0, 3, 5, 7, 100]

series.value_counts()：
统计分组次数

one-hot编码：
把每个类别生成一个布尔列，这些列中只有一列可以为这个样本取值为1.其又被称为独热编码。

把下图中左边的表格转化为使用右边形式进行表示：

pandas.get_dummies(data, prefix=None)
data:array-like, Series, or DataFrame
prefix:分组名字，不重要可忽略

2.合并

join:默认情况下他是把行索引相同的数据合并到一起

pd.concat实现数据合并
pd.concat([data1, data2], axis=1)
按照行或列进行合并,axis=0为列索引，axis=1为行索引

pd.merge
pd.merge(left, right, how=‘inner’, on=None)
可以指定按照两组数据的共同键值对合并或者左右各自
left: DataFrame
right: 另一个DataFrame
on: 指定的共同键
how:按照什么方式连接

3.分组与聚合

分组与聚合通常是分析数据的一种方式，通常与一些统计函数一起使用，查看数据的分组情况

3.1分组API

DataFrame.groupby(key, as_index=False)
key:分组的列数据，可以多个

grouped = df.groupby(by=“columns_name”)
grouped是一个DataFrameGroupBy对象，是可迭代的
grouped中的每一个元素是一个元组
元组里面是（索引(分组的值)，分组之后的DataFrame）

一些聚合方法：

4.索引和复合索引

DataFrame.swaplevel() 交换复合索引的内外层：