连续值特征分桶区间设置

什么是连续特征离散化?分桶(Bucketing)有什么技巧? 摘要 连续特征离散化是将连续数值转化为有限离散类别的技术,如将年龄分段为"青年"、"中年"等。主要方法包括等宽分桶(均匀划分区间)、等频分桶(保证每桶样本数相近)和基于业务规则的分桶。该技术能增强模型鲁棒性、引入非线性关系并提升可解释性,但可能造成信息损失。实际应用中需结合WOE编码、IV值分析等技巧,并注意训练与预测的一致性。典型应用场景包括风控评分卡和推荐系统,未来趋势是自动化分桶和自适应调整边界。离散化的本质是通过合理"模糊"来提取数据关键特 阅读详情


我们实际遇到的数据经常会是连续取值的数据,比如一些表示计数或者量级的属性。

  1. 有些模型比如常用的梯度提升树系列(GBDT,XGB,LGB)可以不做任何处理的直接输入;
  2. 也有些模型(lr,nn)把数值属性去除量纲归一化后就可以作为输入;
  3. 但是一般为了方便处理或者提取出更有用的信息我们会做分桶或者说分箱处理。

设置几个阈值把总的取值区间划分为几个小区间(按照属性取值从小到大或者从大到小的顺序进行,不可跳跃。),每个样本的取值就会落在其中一个区间,如果阈值设置的好的话相当于人工再这个属性增加了一点区分度,更利于分类器性能,当然设置的不好的话也有对应的负面影响。

依靠实际意义

分桶区间的设置可以参考字段的实际意义,比如说字段是年龄的话显然可以大致分为儿童,青年,老年之类;某个测量指标可以分为弱,标准,强之类。这样的话不仅相当于引入问题背景的先验知识,得到的模型的解释性也更强(依赖于某属性低,或者高)。
但是更多的时候我们无法这样做,首先数据背景里面对于这个属性的划分可能比较粗放,不是理论上最好的划分;其次我们拿到的数据可能经过脱敏或者一些预处理,不知道该属性代表的实际意义是什么或者量纲发生了我们不知道的变动,无法直接上手用先验知识划分。这个时候我们就科学的问题就科学的来处理,再纯数学的角度做一些划分。

评价指标

在利用数学分析分桶之前,先介绍一下用来衡量我们分桶好坏(数学意义,可能不是模型中最优)的数学指标。

Odds

odds其实就是几率,假设事件发生的概率为 P P P,那么 o d d s = P 1 − P odds = \frac{P}{1-P} o

C4.5连续值处理方法 & 常见连续值处理方法 C4.5连续值处理方法 1.二分法: 说白了,就是按照连续值进行排序,根据数值生成n-1个平均值(上述计算公式); 例子: 密度进行信息增益计算: (1)原始score集合:{a1,a2,……,an}= {0.697,0.774,0.634,0.608,0.556,0.403,0.481,0.437,0.666,0.243,0.245,0.343,0.639,0.657,0.360,0.593,0.719} (2)sort之后score集合:{a1,a2,……,an}={0.243,0... 阅读详情

相关推荐

机器学习特征工程之连续变量离散化:等宽分箱

机器学习特征工程之连续变量离散化:等宽分箱 离散化,就是把无限空间中有限的个体映射到有限的空间中; 根据用户的听音乐的数据来预测哪些歌曲更受欢迎。 假设大部分人听歌都很平均,会不停的听新的歌曲,但是有一个用户24小时的不停播放同一首歌曲,并且这个歌曲很偏门,导致这首歌的总收听次数特别高。如果用总收听次数来喂给模型,就会误导模型。这时候就需要使用“二值化”。 拿每个人的收入举例,大部分人的收入都不高,极少数人的收入极其高,分布很不均匀。有些人月收入3000,有些人月收入30万,跨了好几个数量级。.

data+scenario+science+insight 1851

VIVADO & VITIS 报错记录

问题详情:使用BD用DMA上传少量数据,根据ILA监测到的AXI总线数据正常,VALID信号和READY信号都正常,但是在PS端的cache缓冲区示数为0,打印为0。可能是因为print和printf混用导致。解决方案:修改缓冲区的对齐参数。

Mulun_Zhu的博客 715

LabVIEW与VisionMaster融合开发:从封装避坑到高效集成的实战指南

本文为LabVIEW开发者提供了一套与海康VisionMaster融合开发的实战指南。针对直接调用SDK时遇到的程序集加载失败和面向对象编程冲突等核心障碍,文章详细介绍了通过C#进行“浅封装”的解决方案,包括封装显示控件和核心功能类,并给出了在LabVIEW中高效集成、调用及资源管理的最佳实践,旨在帮助开发者稳定、高效地集成机器视觉功能。

weixin_29210727的博客 153

Winform零基础从入门到精通(3)——WinForm基础语法与事件机制详解

通过系统学习基础语法与事件机制,结合实际问题调试,可以快速掌握WinForm开发的核心技能。遇到问题时,优先检查事件绑定和异常处理,逐步培养代码规范意识。​安全转换字符串为数值,避免输入错误导致的崩溃。验证输入(如仅允许数字)​)传递事件相关数据。◦ 事件参数类型:​。

WangMing_X的博客 1492

机器视觉检测到底怎么做,经验分享

笔者做机器视觉检测已经有五六年了,也算是对机器视觉的检测技术有了一定的掌握。总的来说,基于机器视觉的检测技术主要包含三个部分:视觉采集模块、后台分析模块和动作决策模块。这几个分类,跟教科书上的有较大差异,很多同学觉得我在杜撰。笔者也不作反驳,因为这是笔者这些年工作经验的总结,自然区别于教科书。下面我们分开来讲这几个模块,同时会把笔者之前的论文做个推荐总结。 所有文章均可在博主的主页中找到,若无法找到,可以用搜索工具。博主的主页: https://blog.youkuaiyun.com/Aoulun 第..

Aoulun的博客 8677

【LDLTS解析】从重叠峰到精准参数:拉普拉斯深能级瞬态光谱如何重塑半导体缺陷分析

本文深入解析了拉普拉斯深能级瞬态光谱(LDLTS)技术如何革新半导体缺陷分析。针对传统DLTS难以分辨重叠峰的痛点,LDLTS通过拉普拉斯逆变换对高精度电容瞬态曲线进行数学解卷积,成功分离发射率相近的缺陷信号,实现从模糊宽峰到精准独立峰的转变。该技术不仅大幅提升了缺陷激活能和捕获截面等关键参数的提取精度,更推动分析范式从经验拟合转向第一性原理,为先进半导体工艺开发与良率提升提供了强大的精准诊断工具。

weixin_29224309的博客 273

华为面试手撕真题【判断是ipv4还是ipv6地址】

编写一个函数来验证输入的字符串是否是有效的 IPv4 或 IPv6 地址。

MISAYAONE的博客 1万+

LPDDR6与LPDDR5 ZQ Calibration技术探讨

LPDDR6与LPDDR5 ZQ Calibration技术探讨

zilan23的博客 1099

YOLOv11 改进 - 即插即用 | PST金字塔稀疏Transformer:粗粒度到细粒度推理优化特征提取,提升复杂场景适应性

本文介绍了金字塔稀疏 Transformer(PST)与 YOLOv11 的结合。主流基于注意力的特征融合方法计算复杂度高、实现难度大,作者提出 PST 模块,融合粗到细令牌选择与共享注意力参数机制,在保留空间细节的同时降低计算量。该模块通过层级化注意力机制、动态令牌选择与参数共享,实现高效多尺度特征融合

魔改工程师的博客 830

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

上一篇: Pytorch学习笔记-第八章
下一篇: LeetCode卡片探索-中级算法
Sigyc
博客等级 码龄11年 23粉丝 31原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值