数据分析之Pandas（八）高级处理-数据离散化与数据合并

数据离散化

什么是离散化？

连续数据：身高，年龄，工资

离散数据：矮，高，红，绿，好，坏

连续属性的离散化就是将连续属性的值域上，将值域划分为若干个离散的区间，最后用不同的符号或整数 值代表落在每个子区间中的属性值。

离散化有很多种方法，这使用一种最简单的方式去操作

• 原始的身高数据：165，174，160，180，159，163，192，184
• 假设按照身高分几个区间段：(150, 165], (165, 180], (180, 195]
  这样我们将数据分到了三个区间段，我可以对应的标记为矮、中、高三个类别，最终要处理成一个“哑变量”矩阵。
  

为什么要离散化

连续属性离散化的目的是为了简化数据结构，数据离散化技术可以用来减少给定连续属性值的个数。离散化方法经常作为数据挖掘的工具。

如何实现数据的离散化

• pd.qcut() 对Series做分组切开，生成的结果也是Series，长度与原数据一样，值变成所在区间的名字（分类名字）

• pd.qcut()与pd.cut() 的区别？
  pd.qcut()通过指定分组数量，自动确定切分点
  pd.cut()手动指定切分点

• 对于离散化后的数据，可以做进一步的统计操作，比如说：

  • 用s.value_counts()来对离散的结果做频率计算
  • 用pd.get_dummies()对结果做one-hot编码

案例：股票的涨跌幅离散化

我们对股票每日的"p_change"进行离散化

读取股票的数据

先读取股票的数据，筛选出p_change数据

将股票涨跌幅数据进行分组

使用的工具：

• pd.qcut(data, bins)：
  <