《大数据机器学习实践探索》---- 使用pyspark 进行kaggle比赛Give me some credit数据集的建模与分析（2.1 数据清洗）

使用pyspark进行大数据机器学习：数据清洗与异常值处理
最新推荐文章于 2024-05-01 20:48:21 发布
最新推荐文章于 2024-05-01 20:48:21 发布
阅读量714 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据机器学习实践探索 AI赋能行业实战：‌最佳实践与落地案例深度解析！‌ 文章标签： pyspark 数据清洗 特征工程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangyaninglm/article/details/115561269

文章大纲

经过上一篇文章 介绍过，数据的整体情况，我们可以是用pyspark 进行特征工程相关的开发。 为此，我们可以进行两方面的封装：

  1. spark_session 的生成与获取
  2. 文件加载

进行封装之后，下面我们来探索，如何进行 数据清洗与特诊工程

数据清洗

数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。

data_df.describe().toPandas()

下面结果是 EDA 后 的一些统计结果

summary index SeriousDlqin2yrs RevolvingUtilizationO
了解本专栏 订阅专栏 解锁全文 超级会员免费看
《大数据机器学习实践探索》---- 使用pyspark 进行kaggle比赛Give me some credit数据集的建模与分析（3. 随机森林进行二分类）
shiter编写程序的艺术
04-19 786
文章大纲随机森林 原理参考文献 随机森林 原理 原理 　　随机森林是由许多决策树构成，是一种有监督机器学习方法，可以用于分类和回归，通过合并汇总来自个体决策树的结果来进行预测，采用多数选票作为分类结果，采用预测结果平均值作为回归结果。 “森林”的概念很好理解，“随机”是针对森林中的每一颗决策树，有两种含义： 第一种随机是数据采样随机，构建决策树的训练数据集通过有放回的随机采样，并且只会选择一定百分比的样本，这样可以在数据集合存在噪声点、异常点的情况下，有些决策树的构造过程中不会选择到这些噪声点、异常点从而
《大数据机器学习实践探索》---- 使用pyspark 进行kaggle比赛Give me some credit数据集的建模与分析（1. 数据准备与EDA）
shiter编写程序的艺术
04-08 745
文章大纲简介基础环境准备数据准备与EDA数据含义schema参考文献 简介 Banks play a crucial role in market economies. They decide who can get finance and on what terms and can make or break investment decisions. For markets and society to function, individuals and companies need access t
《大数据处理实践探索》---- 使用pyspark 进行kaggle比赛Give me some credit数据集的建模与分析（4. 逻辑回归 Logistic Regression进行二分类）
shiter编写程序的艺术
04-19 614
文章大纲Logistic Regression spark api文章大纲 Logistic Regression spark api Logistic regression is a popular method to predict a categorical response. It is a special case of Generalized Linear models that predicts the probability of the outcomes. In spark.ml lo
《大数据机器学习实践探索》---- 使用pyspark 进行kaggle比赛Give me some credit数据集的建模与分析（2.2 特征工程）
shiter编写程序的艺术
04-13 615
文章大纲特征工程1. 衍生变量参考文献 特征工程 特征工程的主要目的是增大数据的价值 1. 衍生变量 # 衍生变量 # 1. 违约次数总量 featureEngineering_df = dataclean_df.withColumn("AllNumlate",dataclean_df['NumberOfTime30-59DaysPastDueNotWorse']+dataclean_df['NumberOfTime60-89DaysPastDueNotWorse']+dataclean_df['
Kaggle give me some credit数据集
05-21
Give Me Some Credit是Kaggle上关于信用评分的项目，通过改进信用评分技术，预测未来两年借款人会遇到财务困境的可能性。银行在市场经济中发挥关键作用。 他们决定谁可以获得融资，以及以何种条件进行投资决策。 为了市场和社会的运作，个人和公司需要获得信贷。信用评分算法可以猜测违约概率，这是银行用于确定是否应授予贷款的方法。目标是建立一个借款人可以用来帮助做出最佳财务决策的模型。
精选资源
机器学习实践-使用GBDT、KNN、SVM算法在Kaggle的GiveMeSomeCredit数据集上进行建模分析
06-21
机器学习实践——使用GBDT、KNN、SVM算法在Kaggle的GiveMeSomeCredit数据集上进行建模分析，资源含源码和数据集文件 机器学习实践——使用GBDT、KNN、SVM算法在Kaggle的GiveMeSomeCredit数据集上进行建模分析，资源...
kaggle “give me some credit”数据集
02-22
kaggle “give me some credit”数据集
来自Kaggle的Give Me Some Credit数据
11-12
数据来自Kaggle的Give Me Some Credit，有15万条的样本数据，下图可以看到这份数据的大致情况。 数据属于个人消费类贷款，只考虑信用评分最终实施时能够使用到的数据应从如下一些方面获取数据： – 基本属性：包括了借款人当时的年龄。 – 偿债能力：包括了借款人的月收入、负债比率。 – 信用往来：两年内35-59天逾期次数、两年内60-89天逾期次数、两年内90 天或高于90天逾期的次数。 – 财产状况：包括了开放式信贷和贷款数量、不动产贷款或额度数量。 – 贷款属性：暂无。 – 其他因素：包括了借款人的家属数量（不包括本人在内）。 – 时间窗口：自变量的观察窗口为过去两年，因变量表现窗口为未来两年。
Kaggle:Give me some credit（1）
weixin_43822286的博客
04-24 2555
背景 信用评分算法，对默认可能性进行猜测，这是银行用来判断贷款是否应该被授予的方法，完成一个评分卡，通过预测某人在未来两年将会经历财务危机的可能性来提高信用评分的效果，帮助贷款人做出最好的决策 本项目主要为申请者评分模型的开发过程。 数据集介绍 数据来源：数据来自Kaggle，cs-training.csv是有15万条的样本数据，下图可以看到这份数据的大致情况。下载地址为：https://www....
PySpark实战（一）——大数据时代及Spark
Stack It Up
03-13 460
PySpark实战 大数据认知
Spark_Linear_Regression:Spark（pyspark）点击率（CTR）预测表格Kaggle的线性回归
05-16
标题 作者 日期 输出 自述文件 Dusan Grubjesic电子邮件：grubjesic.dusan@gmail.com 2015年8月11日 html_document 点击率预测算法 这是使用点击率预测算法，写在spark： python API中。 数据 数据来自 ，是Kaggle展示广告挑战数据集的示例。 您可以在接受协议后下载该文件。 它被构造为观察线，其中首先是单击或没有单击（1,0），其余是要素 开始之前 您必须已安装apache spark和python。 另外，如果要将示例从本地更改为群集，还必须将示例在ClickRate.py中的位置更改为下载位置，并激发上下文。 Sh文件仅用于更简单的启动，如果要使用它，则必须更改设置。 我已经安装了hadoop 2.6，python 3.4和numpy软件包的apache spark pre-bult 过程 样本首先被解析
kaggle上的Give Me Some Credit数据用于数据挖掘分析
07-30
kaggle上的Give Me Some Credit数据的挖掘分析，结合信用评分卡的建立原理，从数据的预处理、变量选择、建模分析到创建信用评分，创建了一个简单的信用评分系统
基于Spark的电影数据集分析
06-24
该项目是大三下学期的课程设计，使用的数据集来自知名数据网站 Kaggle 的 tmdb-movie-metadata 电影数据集，以Python为编程语言，使用大数据框架Spark对数据进行了预处理，然后分别从多个方面对数据进行了分类和分析，并对分析结果进行可视化。里面包含我的课程设计报告和完整的代码。希望对你们有帮助。
PySpark初级教程——第一步大数据分析(附代码实现)
TensorFlowNews
11-28 2732
概述 数据正以前所未有的速度与日俱增 如何存储、处理和使用这些数据来进行机器学习?spark正可以应对这些问题 了解Spark是什么，它是如何工作的，以及涉及的不同组件是什么 简介 我们正在以前所未有的速度生成数据。老实说，我跟不上世界各地里产生的巨大数据量!我敢肯定你已经了解过当今时代数据的产量。McKinsey, Gartner, IBM,等公司都给出了他们公司的数据。 这里有一些令人...
数据采集+数据可视化练习（2022-1-6）
小刘的博客
01-09 2985
任务书3 赛题说明 竞赛内容分布 竞赛时长 任务一：Spark 组件部署管理（Standalone 模式） 15% 任务二：数据采集 20% 任务三：数据清洗与分析 30% 任务四：数据可视化 20% 任务五：综合分析 ...
基于PySpark大数据分析/Python/Spark
u011930663的博客
03-12 7771
链接: https://pan.baidu.com/s/1OlkwFEUfaEMOeM3ehD7OPg 密码: gxv5 很少见的基于pyspark的spark教程，比较方便带着大家入手spark，实现大数据分析！讲明一点，付费的，不过是最便宜的，不信可以自己去问问！ 课程目录： 课程一：PySpark课程及环境准备 0101-为什么要学习PySpark编程 0102-ySpark编
案例 | 通过PySpark实现城市热点大数据统计
大数据星球-浪尖
02-09 482
1 需求分析在互联网中，我们经常会见到城市热点图这样的报表数据，例如在百度统计中，会统计今年的热门旅游城市、热门报考学校等，会将这样的信息显示在热点图中。我们根据每个用户的IP地址，与我们的IP地址段进行比较，确认每个IP落在哪一个IP端内，获取经纬度，然后绘制热力图。因此，我们需要通过日志信息（运行商或者网站自己生成）和城市ip段信息来判断用户的ip段，统计热点经纬度。2 技术调研因为我们的需求...
Pyspark+关联规则 Kaggle购物篮分析案例
最新发布
thorn_r的博客
05-01 2253
零售商期望能够利用过去的零售数据在自己的行业中进行探索，并为客户提供有关商品集的建议，这样就能提高客户参与度、改善客户体验并识别客户行为。本文将通过pyspark对数据进行导入与预处理，进行可视化分析并使用spark自带的机器学习库做关联规则学习，挖掘不同商品之间是否存在关联关系。
kaggle的give me some credit数据集
m0_63054020的博客
07-21 592
Give Me Some Credit 数据集，供下载研究学习使用，请勿商业用途
GiveMeSomeCredit数据集上GBDT、KNN、SVM建模分析
资源摘要信息:"在本资源中，我们将详细介绍如何使用三种不同的机器学习算法（GBDT、KNN、SVM）在Kaggle的GiveMeSomeCredit数据集上进行建模分析。这些算法都是机器学习领域的常用算法，每种算法都有其独特的特点和...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shiter

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值