spark 等频 等宽 分箱的一个小问题

最新推荐文章于 2024-08-28 15:57:39 发布
最新推荐文章于 2024-08-28 15:57:39 发布
阅读量1.9k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 基于大数据的机器学习原理与最佳实践 大数据机器学习实践探索 文章标签： spark 数据挖掘 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangyaninglm/article/details/122334572

文章大纲

spark 等频 等宽 分箱 数据量较少时的现象

这里有一个很有趣的问题，当分箱数比较少 ，少于数据个数时候，等频分箱箱子编号是从0开始的。

当分箱数比较多的时候，多于数据数量，箱子编号是从1 开始编号的
在这里插入图片描述
在这里插入图片描述

分箱编号不同的原因剖析

在下面文章中，我有提到

spark 特征工程 – 分箱 Binning（如何实现等频、等宽分箱）

QuantileDiscretizer （等频分箱）接收具有连续特征的列，并输出具有合并分类特征的列。按分位数，对给出的数据列进行离散化分箱处理。
和Bucketizer（等宽分箱处理）一样都是：

  • 将连续数值特征转换为离散类别特征。

  • 实际上 Class QuantileDiscretizer extends Bucketizer

了解本专栏 订阅专栏 解锁全文 超级会员免费看
spark 特征工程 -- 分箱 Binning（如何实现等频、等宽分箱）
shiter编写程序的艺术
10-13 2449
分箱就是将连续变量离散化，合并成较少的状态
如何封装不同 的分箱 （Binning）算法为一个spark Estimator？
shiter编写程序的艺术
11-28 1748
文章大纲简介 -- 什么是 spark EstimatorPipeLine：工作流。Transformer：转换器TransformerEstimator：评估器Estimator 成员函数封装步骤参考文献 简介 – 什么是 spark Estimator 先来看看以下几个核心概念： PipeLine：工作流。 工作流将多个工作流阶段（转换器和估计器）连接在一起，形成机器学习的工作流，并获得结果输出。 Transformer：转换器 是一种可以将一个DataFrame转换为另一个DataFrame的算法。
JAVA数据预处理中的等宽和等频分箱操作
09-21
JAVA数据预处理中的等宽和等频分箱操作源代码
3种特征分箱方法！
张俊红的个人博客
08-08 4728
一般在建立分类模型时，当我们进行特征工程的工作经常需要对连续型变量进行离散化的处理，也就是将连续型字段转成离散型字段。离散化的过程中，连续型变量重新进行了编码。特征离散化后，模型会更稳定，降低了模型过拟合的风险。本文主要介绍3种常见的特征分箱方法：分箱特点 连续型变量执行离散化的分箱操作，能够更加简洁地呈现数据信息消除特征变量的量纲影响，因为分箱之后都是类别数，例如：0,...
数据分桶：等宽分箱、等频分箱、分位数分箱，卡方分箱、WOE分箱、机器学习分箱
rubyw的博客
08-28 3200
Python 实现相对复杂，通常需要借助专门的库。
【机器学习】这3种特征分箱方法，一定要理解掌握
Python数据挖掘
08-14 6200
大家好，一般在建立时，当我们进行特征工程的工作经常需要对连续型变量进行离散化的处理，也就是将连续型字段转成离散型字段。离散化的过程中，连续型变量重新进行了编码。特征离散化后，模型会更稳定，降低了模型过拟合的风险。本文主要介绍3种常见的特征分箱方法，...
数仓开发面试题-Spark
话数Science
10-28 432
和Parquet类似，ORC文件也是以二进制方式存储的，所以是不可以直接读取，ORC文件也是自解析的，它包含许多的元数据，这些元数据都是同构ProtoBuffer进行序列化的。通过这三种文件存储格式的测试对比，ORC文件存储格式无论是在空间存储、导数据速度还是查询速度上表现的都较好一些，并且ORC可以一定程度上支持ACID操作，社区的发展目前也是Hive中比较提倡使用的一种列式存储格式，另外，本次测试主要针对的是Hive引擎，所以不排除存在Hive与ORC的敏感度比PARQUET要高的可能性。
pyspark 我想做特征分箱 但数据量比较大 10亿数据 分别有哪些方法
最新发布
04-05
2. **等宽分箱**：根据数据的最大值和最小值均匀划分区间，但需要先计算全局的最大最小值，这可以通过聚合函数实现。 3. **基于决策树的分箱**：利用Spark MLlib中的决策树模型来自动分箱，可能更适用于有监督的...
【python】等频分箱qcut
喜东东的博客
09-11 1万+
在python 较新的版本中，pandas.qcut()这个函数中是有duplicates这个参数的，它能解决在等频分箱中遇到的重复值过多引起报错的问题； 在比较旧版本的python中，提供一下解决办法： import pandas as pd def pct_rank_qcut(series, n): ''' series：要分箱的列 n：箱子数 ''' ...
Spark特征工程-归一化 和 分桶
Code_LT的博客
07-08 1359
归一化 分桶
[Spark/ML] 特征取值分布与特征分桶
mouliu6141的博客
10-19 2138
[Spark/ML] 特征取值分布与特征分桶 2020/10/17 分桶 将连续型特征离散化为离散特征。当数值特征跨越不同的数量级时，模型可能会只对大的特征值敏感，这种情况可以考虑分桶操作。 分桶后得到的稀疏向量，内积乘法运算速度更快，计算结果更方便存储；对异常数据有很强的鲁棒性 分桶方法 等频分桶 每个桶内的数据量严格相等，可能存在的问题是同一个桶内的数据取值差异较大。 等距分桶 根据值域等距截取，相同数值范围内的数据落入同一个桶。适用于数据分布均匀的情况，否则可能会导致各个桶内数据量不均
pyspark 变量分箱代码实现
WGS.
10-28 2564
直接上代码： from pyspark.ml.feature import QuantileDiscretizer lis = [{'cli': 11}, {'cli': 0}, {'cli': 0}, {'cli': 3}, {'cli': 100}, {'cli': 76}, {'cli': 23}, {'cli': 2}, {'cli': 800}, {'cli': 9}, {'cli': 10}, {'cli': 100}, {'cli': 339}, {'cli': 678},
Spark bucketing bucket分桶原理和应用
Learning
08-24 2417
介绍Spark分桶的原理以及如何在数据分析和数据准备中更好的应用分桶。
Spark分区原理和分区后数据的划分
wushuoyouting的博客
02-07 1153
Spark分区原理和数据的分布 将从内存数据和文件数据两个方向，讲述下数据如何分区，分区后的数据如何分配的问题 本实例使用本地模式实践解析 1. 集合数据的分区和数据分布 val sparkConf = new SparkConf().setMaster("local[*]").setAppName("parallelism") //sparkConf.set("spark.default.parallelism","5") val sc = new SparkContext(sparkConf) val
Spark 自己实现分箱逻辑遇到的坑
记录学习痕迹的公众号：Piper蛋窝
07-21 767
说一所小学有好几个班级，现在要 以班级为单位 给孩子们按照身高进行排序，并且记录下来。 问题就是，全学校只有一条测身高的尺子，而且因为孩子们过于顽劣等主客观因素，测量身高、按身高排序、登记身高这些过程，必须在一间教室里进行。 没有被轮到测量的班级，就在操场活动。
数据分箱的常用方法
cc的博客
03-29 7249
假设要将某个自变量的观测值分为k个分箱，一些常用的分箱方法有：1.无监督分箱（1）等宽分箱：将变量的取值范围分为k个等宽的区间，每个区间当作一个分箱。 （2）等频分箱：把观测值按照从小到大的顺序排列，根据观测的个数等分为k部分，每部分当作一个分箱，例如，数值最小的1/k比例的观测形成第一个分箱，等等。 （3）基于k均值聚类的分箱：使用第五章将介绍的k均值聚类法将观测值聚为k类，但在聚类过程中需要保...
【玩转pandas系列】pandas加载数据，分箱操作和时间序列，绘制图形
热门推荐
你不来，再美的天地，都狼藉 ~
08-07 7万+
本文主要讲解pandas加载数据，分箱操作以及时间序列，绘制各种图形。
Spark2.0 特征提取、转换、选择之一：数据规范化，String-Index、离散-连续特征相互转换
qq_34531825的博客
09-02 1万+
数据规范化标准化 Normalizer 规范化、StandardScaler、 MinMaxScaler、 MaxAbsScaler label 与feature的重新编号（码）。 VectorIndexer、 StringIndexer、 IndexToString 、oneHotEncoder、bucketizer分箱，QuantileDiscretizer
风控场景下的常用特征分箱介绍：BestKs分箱、卡方分箱、聚类分箱等
Buevara的博客
06-02 1万+
构建风控模型时，常用特征的分箱方法可以分为两大类： 有监督 Best-KS ChiMerge 无监督 等频 等距 聚类 有监督 Best-KS ChiMerge 卡方阈值的确定： 　　根据显著性水平和自由度得到卡方值 　　自由度比类别数量小1。例如：有3类,自由度为2，则90%置信度(10%显著性水平)下，卡方的值为4.6。 阈值的意义 　　类...
pyspark 处理10亿数据 做等频分箱
04-05
<think>嗯，用户问的是如何在PySpark中对10亿条数据进行等频分箱处理。首先，我需要理解等频分箱的定义，也就是每个分箱里的样本数量大致相同。对于大数据来说，尤其是10亿条记录，传统的单机方法肯定不行，必须用分布式计算，也就是Spark。 接下来，我应该考虑如何在Spark中实现。等频分箱通常需要计算分位数，但直接计算分位数在大数据下可能会遇到性能问题，因为Spark的approxQuantile方法虽然是近似，但在10亿数据上可能还是不够高效。或者，用户可能需要精确的分位数，这时候可能需要其他方法。 然后，分桶的方法也是一个思路，比如使用聚合函数计算每个值的累计频率，然后根据频率划分箱。但10亿数据的话，直接聚合可能会有内存问题，需要考虑如何优化。 另外，数据倾斜的问题需要注意，如果某些值特别多，可能会导致某些分箱的数据量不均匀。可能需要先做数据采样或者预处理。 然后，具体实现步骤可能包括数据预处理，处理缺失值和异常值。接着，统计每个值的频率，计算累计频率，确定分位点。最后，根据分位点进行分箱操作。 代码方面，可能需要使用Spark的窗口函数来计算累计和，或者使用approxQuantile来获取近似的分位数。比如，用approxQuantile获取分位点，然后用Bucketizer或者when语句进行分箱。 还需要考虑分箱后的验证，确保每个箱的数量大致相等，可能需要用groupBy统计各箱的数量。 用户可能还关心如何处理数据倾斜，如何调整参数提高性能，或者是否需要降采样。另外，分箱后的应用场景，比如特征工程，也是需要考虑的。 最后，确保代码示例正确，比如使用approxQuantile获取分位点，然后用withColumn和when来分配箱号。同时，给出优化建议，比如调整精度参数，处理数据倾斜的方法，或者降采样。</think>以下是如何在PySpark中对10亿规模数据实现等频分箱的解决方案： ### 一、等频分箱实现步骤 1. **数据预处理** - 过滤缺失值：`df = df.na.drop(subset=['target_col'])` - 添加索引列用于排序：`df = df.withColumn("index", monotonically_increasing_id())` 2. **近似分位数计算** ```python # 设置误差率0.001（精度与性能的平衡） quantile_probs = [i/10 for i in range(11)] cut_points = df.approxQuantile('target_col', quantile_probs, 0.001) ``` 3. **分箱映射** ```python from pyspark.sql import functions as F bucketizer = Bucketizer(splits=cut_points, inputCol='target_col', outputCol='bucket') df_bucketed = bucketizer.transform(df) ``` 4. **验证分布** ```python df_bucketed.groupBy('bucket').count().orderBy('bucket').show() ``` ### 二、性能优化关键 1. **并行度控制** - 设置分区数：`spark.conf.set("spark.sql.shuffle.partitions", 2000)` - 优化存储格式：使用Parquet/ORC格式减少IO消耗 2. **内存优化** ```python # 启用堆外内存 spark.conf.set("sppark.memory.offHeap.enabled", "true") spark.conf.set("spark.memory.offHeap.size", "8g") ``` 3. **采样策略（适用于极端数据量）** ```python sampled_df = df.sample(fraction=0.1, seed=42) cut_points = sampled_df.approxQuantile(...) ``` ### 三、数据倾斜处理方案 1. 重分区倾斜列： ```python df = df.repartition(2000, 'skew_col') ``` 2. 两阶段分箱： ```python # 第一阶段：粗粒度分箱 # 第二阶段：对过载分箱进行二次分箱 ``` ### 四、完整代码示例 ```python from pyspark.sql import SparkSession from pyspark.ml.feature import Bucketizer spark = SparkSession.builder.appName("EqualFrequencyBinning").getOrCreate() # 1. 加载数据 df = spark.read.parquet("hdfs://path/to/10gb_data") # 2. 计算分位点（1000分箱） quantiles = df.approxQuantile('value', [i/1000 for i in range(1001)], 0.001) # 3. 创建分箱器 bucketizer = Bucketizer( splits=quantiles, inputCol='value', outputCol='bucket', handleInvalid='keep' ) # 4. 应用转换 result = bucketizer.transform(df) # 5. 验证分布 result.groupBy('bucket').count().orderBy('count').show(10) ``` ### 五、方案对比 | 方法 | 优点 | 缺点 | 适用场景 | |------|------|------|----------| | 精确分位数 | 结果准确 | 计算成本高 | 小数据量 | | 近似分位数 | 速度快 | 有误差 | 大数据量 | | 两阶段分箱 | 解决倾斜 | 实现复杂 | 高度倾斜数据 |
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shiter

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值