pandas数据离散化 get_dummies()

最新推荐文章于 2024-10-11 11:50:59 发布
最新推荐文章于 2024-10-11 11:50:59 发布
阅读量286 收藏 1
点赞数 1
分类专栏： Pandas 值得拥有-Python 文章标签： python pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lxb_wyf/article/details/109545368
版权

pandas 数据离散化

离散化

  • 0 准备数据
  • 1 分组
  • 2 离散化(转化为one-hot编码)
import pandas as pd

# 原始数据
height_list = [165, 174, 160, 180, 159, 163, 192, 184]

# 准备数据
data = pd.Series(height_list)

data

0    165
1    174
2    160
3    180
4    159
5    163
6    192
7    184
dtype: int64

第一步: 分组

(1) 自动分组 qcut(series数据, 组数量)

# 自动分组 
sr = pd.qcut(data, 3)

# 分组后数据所在的区间
sr

0      (163.667, 178.0]
1      (163.667, 178.0]
2    (158.999, 163.667]
3        (178.0, 192.0]
4    (158.999, 163.667]
5    (158.999, 163.667]
6        (178.0, 192.0]
7        (178.0, 192.0]
dtype: category
Categories (3, interval[float64]): [(158.999, 163.667] < (163.667, 178.0] < (178.0, 192.0]]
查看每组内的数量value_counts()
# 查看每组内的数量
sr.value_counts()

(178.0, 192.0]        3
(158.999, 163.667]    3
(163.667, 178.0]      2
dtype: int64

(2)自动分组 cut(series数据, [区间值])

sr_cut = pd.cut(data, [150, 165, 180, 195])

sr_cut.value_counts()

(150, 165]    4
(180, 195]    2
(165, 180]    2
dtype: int64

pd.get_dummies(sr_cut, prefix='自定义身高')
自定义身高_(150, 165]自定义身高_(165, 180]自定义身高_(180, 195]
0100
1010
2100
3010
4100
5100
6001
7001

第二步: 进行离散化 get_dummies(分组好的数据, prefix="前缀")

  • 就是把分组好的数据转化为 one-hot编码或者又叫哑变量
# 将分组好的数据转化为 one-hot 编码
pd.get_dummies(sr, prefix='自动身高')
自动身高_(158.999, 163.667]自动身高_(163.667, 178.0]自动身高_(178.0, 192.0]
0010
1010
2100
3001
4100
5100
6001
7001
pandas数据离散化
前景
07-20 815
pandas数据离散化
【Pandas】pandas get_dummies
weixin_39648905的博客
12-07 1090
`pandas.get_dummies` 是 Pandas 库中的一个函数，它用于将分类变量（categorical variables）转换为哑变量（dummy/indicator variables），也就是将分类变量的每一个类别映射为一个新的列，这些列中只有 0 和 1 两种取值，表示该记录是否属于该类别。下面是对 `pandas.get_dummies` 每个参数的详细介绍，以及示例和结果。
5 Pandas------5.8 高级处理-数据离散化
程序猿-凡白的博客
07-09 546
文章目录5.8 高级处理-数据离散化学习目标1 为什么要离散化2 什么是数据的离散化3 股票的涨跌幅离散化3.1 读取股票的数据3.2 将股票涨跌幅数据进行分组3.3 股票涨跌幅分组数据变成one-hot编码4 小结 5.8 高级处理-数据离散化 学习目标 目标 - 应用cut、qcut实现数据的区间分组 - 应用get_dummies实现数据的one-hot编码 1 为什么要离散化 连续属性离散化的目的是为了简化数据结构，数据离散化技术可以用来减少给定连续属性值的个数。离散化方法经常作为数据挖掘的工具
pandas高级处理-数据离散化
IT之一小佬的博客
02-27 1319
pandas高级处理-数据离散化 1 为什么要离散化 连续属性离散化的目的是为了简化数据结构，数据离散化技术可以用来减少给定连续属性值的个数。离散化方法经常作为数据挖掘的工具。【简化数据，让数据用起来更加高效】 2 什么是数据的离散化 连续属性的离散化就是在连续属性的值域上，将值域划分为若干个离散的区间，最后用不同的符号或整数值代表落在每个子区间中的属性值。【把一些数据分别分到某个区间，最后用不同的符号或者数字表达】 离散化有很多种方法，这使用一种最简单的方式去操作 原始人的身高数据：165，.
python get_dummies与cut离散化数据
weixin_30362801的博客
02-02 144
转载于:https://www.cnblogs.com/mahailuo/p/8403524.html
pandas-数据离散化
lildn的博客
03-19 222
#!/usr/bin/env python # coding: utf-8 # # 第三课 Pandas类别型数据分析 # ## 第一节 数据的离散化及分箱操作 # In[1]: import pandas as pd # * pandas.cut() # In[2]: # 创建数据 df = pd.DataFrame({'Name':['George','Andrea','micheal','maggie','Ravi','Xien','Jalpa','Tyieren'], .
pd.get_dummies，pandas中getget_dummies的用法，python中处理离散值的方法，将文字特征转换成数字特征的方法
一起躺躺躺的博客
05-06 3837
需要用到pandas这个包，调用请提前下载 这个就是用独热编码来替换离散值特征。 例如，“MSZoning”包含值“RL”和“Rm”我们将创建两个新的指示器特征“MSZoning_RL”和“MSZoning_RM”，其值为0或1。根据独热编码，如果“MSZoning”的原始值为“RL”，则：“MSZoning_RL”为1，“MSZoning_RM”为0。 首先假如一个数据集有六个样本，每个样本两种特征，数据保存在‘111.csv’中，其中feature1是文字特征，分别为“bak” “bif” “ni
pandas中利用get_dummies()进行独热编码（One-Hot encoding）
热门推荐
wl_ss的博客
11-11 2万+
在机器学习分类任务中，经常存在一个特征有多个分类变量值，例如在kaggle中的Titanic比赛数据中，Embarked的值有S,C,Q。我们这个时候要对离散型数据进行onehot编码处理，至于onehot编码的优点以及为什么要用onehot编码？可以参考这篇博文：数据预处理：独热编码（One-Hot Encoding） 一、onehot的优点        onehot编码的优点可以总结
yjs13——pandas数据离散化+数据表的合并
元气少女硕硕子的博客
10-11 1128
在 Pandas 中，（也称为或）是将连续数据转换为离散数据的过程。换句话说，就是把一个范围连续的数值型数据，根据一定的规则划分成多个区间（或称为"箱"），并将每个数据点映射到对应的区间中。离散化通常用于处理连续的数值特征，以便简化分析或用于分类任务。在实际操作中，离散化通常通过将数据分为几个固定区间或者通过使用统计量（如分位数）将数据划分成若干部分。
使用pandas实现连续数据的离散化处理方式(分箱操作)
09-18
今天小编就为大家分享一篇使用pandas实现连续数据的离散化处理方式(分箱操作)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python数据分析数据标准化及离散化详解
09-20
主要为大家详细介绍了python数据分析数据标准化及离散化，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
pandas - 数据离散化
apollo_miracle的博客
03-12 2117
学习目标 应用cut、qcut实现数据的区间分组 应用get_dummies实现数据的哑变量矩阵 应用：找出股票的涨跌幅异动（异常）值 1 为什么要离散化（了解） 连续属性离散化的目的是为了简化数据结构，数据离散化技术可以用来减少给定连续属性值的个数。离散化方法经常作为数据挖掘的工具。 2 什么是数据的离散化 连续属性的离散化就是将连续属性的值域上，将值域划分为若干个离散的区间，最后用...
利用pandas对数据离散化
数据小白的进阶之路
08-28 8276
在实际的工作场景中，我们经常会遇到这样一种场景：想要将某些字段进行离散化即分桶，简单来说就是讲年龄分成几个区间。pandas中的cut方法能很好地完成此操作。 #导入相关库，并创建数据集 import pandas as pd import numpy as np index = pd.Index(data=["Tom", "Bob", "Mary", "James"], name="na...
利用pandas实现连续数据的离散化处理(分箱操作)
gong_xucheng的专栏
05-22 647
Python实现连续数据的离散化处理主要基于两个函数，pandas.cut和pandas.qcut，前者根据指定分界点对连续数据进行分箱处理，后者则可以根据指定箱子的数量对连续数据进行等宽分箱处理，所谓等宽指的是每个箱子中的数据量是相同的。下面简单介绍一下这两个函数的用法： # 导入pandas包 import pandas as pd ages = [20, 22, 25, 27, 21, 23, 37, 31, 61, 45, 41, 32] # 待分箱数据 bin...
风火编程--pandas数据离散化处理cut()
风火的博客
12-28 257
pandas进行数据离散化 list_bins = [0, 100000, 500000, 1000000000000] list_labels = ['小于10', '10到100', '大于100'] df['scale_laber'] = pd.cut(df['amount'], bins=list_bins, labels=list_labels, include_lowest=True) sum_ =
pandas之离散化数据处理get_dummies以及填补缺失值的方法
m0_58381606的博客
09-03 899
用途 在数据预处理的过程中我们经常遇到一些问题，比如说，多个离散型的数据在进行分析的过程，我们需要把离散型的数据变成一个具体的数据方便我们进行处理，很容易想到的就是整数，如果是两个对立事件我们可以很轻松的用0和1 来进行表示，这样的思考过程有利于我们的接下来的过程，当然很多机器学习学者很喜欢的独热编码也是一个道理，简单来说就是离散化数据的特征工程。当我们遇到一些差异性较为明显（人工操作一眼便能
pandas对每列数据（离散特征）进行编码
sinat_24091225的博客
03-18 1500
PATH_TO_DATA = 'XXX' data = pd.read_csv(PATH_TO_DATA, sep='\t', header=None) data.columns = ['UId', 'ItemId', 'BrandId', 'MiddlesortId', 'ClickTime', 'Date'] data = data[['UId', 'ItemId', 'BrandId', '...
python连续数据离散化_Python连续数据离散化处理和pandas.cut函数用法
weixin_39864682的博客
11-28 337
import numpy as npimport pandas as pdfrom pandas import Series, DataFramenp.random.seed(666)score_list = np.random.randint(25, 100, size=20)print(score_list)# [27 70 55 87 95 98 55 61 86 76 85 53 39 8...
数据离散化 数据挖掘
最新发布
01-16
### 数据离散化的方法及其在数据挖掘中的应用 #### 1. 数据离散化的定义与重要性 数据离散化是在数据分析和预处理阶段的一个关键技术，它指的是将连续型变量转换成分类变量的过程。这一过程有助于简化模型结构、提高算法效率以及增强某些机器学习算法的表现力[^2]。 #### 2. 数值数据离散化技术 ##### 2.1 Binning (数据分箱) Binning 是一种常见的数值数据离散化方法，通过这种方法可以减少噪声的影响并发现重要的模式。具体来说，binning 将整个范围内的数值分成若干区间（即箱子），每个区间的边界由用户指定或自动计算得出。对于每一个观测值，则根据其所属的位置分配给相应的区间标签[^4]。 - **无监督的 binning**: 这种方式不依赖于目标变量来决定如何划分区间，而是基于统计特性如均值、中位数等来进行分割。 - **有监督的 binning**: 此类方法会考虑目标变量的信息，在构建区间时尝试最大化类别之间的差异度，从而更好地服务于预测建模的目的。 ```python import pandas as pd from sklearn.preprocessing import KBinsDiscretizer # 创建样本数据集 data = {'value': [0.2, 2.4, 0.7, 5.6, 1.3]} df = pd.DataFrame(data) # 应用 k-means 聚类法进行分箱操作 discretizer = KBinsDiscretizer(n_bins=3, encode='ordinal', strategy='kmeans') binned_data = discretizer.fit_transform(df[['value']]) print(binned_data) ``` #### 3. 字符数据离散化技术 除了数值类型的特征外，字符型或其他非数值属性同样需要被适当地转化为适合分析的形式： ##### 3.1 One-Hot 编码 One-hot 编码是一种简单而有效的字符串转整数表示的方式，它可以有效地捕捉名义尺度上的区别而不引入任何顺序关系假设。该方法会给定一组互斥的状态创建多个二元列，其中只有一个会被设置为 `1` 表明当前状态的存在。 ```python import pandas as pd # 创建带有字符型字段的数据框 categorical_df = pd.DataFrame({'category': ['red', 'green', 'blue']}) # 使用 Pandas 的 get_dummies 函数执行 one-hot 编码 one_hot_encoded = pd.get_dummies(categorical_df['category']) print(one_hot_encoded) ``` ##### 3.2 Factorization (因子编码) Factorization 或者称为 label encoding 可以为有限集合中的每一项赋予唯一的编号作为替代标识符。这种方式特别适用于那些具有内在等级含义的情况，比如大小写敏感的文字串或者是有序排列的颜色名称等等。 ```python import pandas as pd # 构造原始数据表单 color_codes = ["Red", "Green", "Blue"] # 利用 factorize() 方法完成编码工作 factors, unique_labels = pd.factorize(color_codes) print(factors) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值