【人工智能项目】机器学习热门项目-迁移学习进行借贷风险评估

基于机器学习的工控安全风险评估 1 引言    随着工业控制网络与企业信息网络的不断融合,工业控制系统的安全管理受到了重大的挑战。工控系统安全等级评估是安全管理的重要内容,传统的安全等级评估方法主要有故障树分析法、层次分析法、模糊综合评判法、基于D-S证据理论的评估方法。传统的评估方法过多地依赖专家的经验,根据专家的经验确定评估模型的相关参数,模型的性能较差。近几年基于大规模数据分析的机器学习评估方法受到众多学者的关注,下面简要... 阅读详情

【人工智能项目】机器学习热门项目-迁移学习进行借贷风险评估

一、业务理解

1.1 业务问题

依据给定的4万条业务A数据及4千条业务B数据,建立业务B的信用评分模型。其中业务A为信用贷款, 其特征是债务人无需提供抵押品,仅凭自己的信誉取得贷款,并以借款人信用程度作为还款保证;业务B为现金贷,即发薪日贷款payday loan,与一般的消费金融产品相比,现金贷主要具有以下五个特点:额度小、周期短、无抵押、流程快、利率高,这也是与其借贷门槛低的特征相适应的。

1.2 评估和分析场景

现金贷业务在初期采用了“闭着眼睛放贷”的高利率覆盖风险模式大量的盈利。但是这个模式并不具有可持续发展性,风控将开始成为现金贷业务中后期的关键。然而由于小额现金贷本身的客户由于收入和学历的普遍偏低,大部分人存在潜在的信用风险。

因而随着现金贷市场的成熟,建立行之有效的风控模型,为当前的重中之重。然而由于现金贷目前的产品积累时间不够,没有足够的时间来收集足够的目标变量(flag)建立模型判断来用户的信用风险。

为了帮助银行更好的发展新的无抵押业务,参赛选手可以通过迁移学习来建立新模型,帮助银行风控人员在没有足够时间积累数据的情况下开展新业务。而征信公司希望通过采用迁移学习的方法,使用小数据样本,就能建立针对不同贷款场景的风控模型。

1.3 机器学习问题

我们需要将上述场景变换为机器学习来解决,机器学习的主要思路是:通过训练集,不断识别特征,不断建模,最后形成有效的模型。
在这里插入图片描述

1.4 项目计划

本次项目计划按照机器学习实战的步骤:收集数据、数据准备,选择模型,模型训练,模型评估,参数调整,预估,分时间段依次进行完成。
在这里插入图片描述

二、数据理解

2.1 模型数据获取

本次数据集为业内开放数据集。

2.2 模型数据描述

本次的数据集共包含三个数据文件:A_train.csv,B_train.csv,B_test.csv

  • A_train.csv(feature+label):40k条,贷款期限为1-3年,平均贷款金额为几千至几万的中等额度信用贷款业务A训练数据。
  • B_train.csv(feature+label):4k条,贷款期限为7-30天,平均贷款金额为一千的小额短期贷款业务B训练数据。
  • B_test.csv(feature):13k条,属业务B测试数据。

2.3 模型数据EDA及质量分析

(1)A_train.csv
在这里插入图片描述
A_train.csv文件共计40000行,491列。我们发现数据主要由float64和int64两种数据类型,因为存在int64数据,所以我们很自然地需要想到,这些int64是不是categorical型数据,是否需要我们对此进行编码操作。数据集的大小占据内存149.9MB。

(2)B_train.csv
在这里插入图片描述
B_train.csv文件共计4000行,491列。数据集占据内存大小15MB.

(3)B_B_test.csv

在这里插入图片描述

train.csv文件共计5000行,490列。数据集占据内存大小50.3MB.

三、数据准备

3.1 数据分析

(1)对数据属性分布情况可视化
train_A.csv
在这里插入图片描述

train_B.csv
在这里插入图片描述

test.csv
在这里插入图片描述

(2)表格维度信息
在这里插入图片描述

(3)查看类别分布情况
Train_A的flag类分布情况
在这里插入图片描述

Train_B的flag类分布情况
在这里插入图片描述

通过对数据的分析,观察到训练集A一共有491个特征,数据中存在大量NA数值数据,数据的range很大,有-1,567,也有240,000.可以了解到,出题方并未对该数据进行归一化。此外,类别存在不均衡的情况,0和1的类别数量差别大。训练集B和测试集也出现了跟训练集A同样的问题。

3.2 特征工程

特征工程可以简单定义为从数据集的已有特征创建新特征的过程。寻找更好的特征、删去影响较大的冗余特征。

(1)缺失值处理
严重缺失的特征会给模型带来极大的噪音,模型在学习的过程中,会被干扰。为了增强模型的鲁棒性,我们考虑将有很大的噪音的数据进行删除,此处我们设置阈值为1%,我们将缺失的特征大于99%的特征删除。

(2)缺失值填充
对于缺失值的处理,不同的问题有不同的处理方式,有的时候我们需要对其进行删除,有的时候进行填充:
在贷款业务中,很多缺失值是有实际意义的,很多都来源于用户故意不填写,所以我们没有办法搜集这些数据,这个需要一些简单的业务理解。而针对这些情况,一个非常有效的方式是直接填充一个值,此处我们直接用-999进行填充。

(3)特征选取
首先如果两个特征是完全线性相关的,这个时候我们只需要保留其中一个即可。因为第二个特征包含的信息完全被第一个特征所包含。此时,如果两个特征同时都保留的话,模型的性能很大情况会出现下降的情况。其次也可以通过permutation_importance选择特征.也可通过模型比较来挑选比较重要的特征。

(4)特征归一化处理
为了消除特征数据之间的量纲影响,需要对其进行归一化处理,解决特征指标之间的可比性。原始数据经过归一化处理后,各个指标处于同一数量级,以便进行综合对比比较。

四、建模

4.1 模型知识

XGBoost是提升方法中的一个可扩展的机器学习系统。XGBoost在许多机器学习和数据挖掘问题中产生了广泛的影响。XGBoost成功的最重要因素就是它在任何场景下的可扩展性。XGBoost系统在单台机器上的运行速度比现有流行的解决方案快10倍以上,并可在分布式或内存限制设置中扩展到数十亿个示例。XGBoost的可扩展性是由于在它的系统实现中的一些创新,包括:

  • 为处理稀疏数据使用了一个新颖的树学习算法;
  • 理论上合理的加权分位数草图过程,能够在近似树学习中处理实例权重;
  • 平行和分布式计算使得学习更快,从而能够更快的进行模型探索;
  • 最重要的是XGBoost使用核外计算并且能够让数据科学家在台式机上处理数以亿计的示例;
  • 结合这些技术使端到端系统以最少的集群资源扩展到更大的数据。

XGBoost的基本思想是集成,即如下图所示。
在这里插入图片描述

在XGBoost里,每棵树是一个一个往里面加的,每加一个都是希望效果能够提升,下图就是XGBoost这个集成的表示(核心)。
在这里插入图片描述
一开始树是0,然后往里面加树,相当于多了一个函数,再加第二棵树,相当于又多了一个函数…等等,这里需要保证加入新的函数能够提升整体对表达效果。提升表达效果的意思就是说加上新的树之后,目标函数(就是损失)的值会下降。

如果叶子结点的个数太多,那么过拟合的风险会越大,所以这里要限制叶子结点的个数,所以在原来目标函数里要加上一个惩罚项「omega(ft)」。
在这里插入图片描述

4.2 模型建立

为了方便评估模型的效果,这里对数据集进行划分,将其划分为80%为训练,剩下20%为验证集。

建立xbgoost模型
在这里插入图片描述

4.3 模型评估

评估准确率:
在这里插入图片描述

4.4 参数调整

GridSearchCV方法对其进行参数调整,寻找最优的参数
在这里插入图片描述
在这里插入图片描述

五、评价

之后对LogisticRegression,KNeighborsClassifier,AdaBoostClassifier,
DecisionTreeClassifier,RandomForestClassifier,BaggingClassifier,ExtraTreesClassifier多个模型进行对比比较
在这里插入图片描述

相比较而言XGBOOst的性能最好

六、结论

通过本次实验,对人工智能机器学习有了一定的认识,整体思路是机器从特定大量数据中总结规律,归纳出某些特征,然后将这些知识应用到特定场景中去解决实际问题。

点赞评论收藏一条龙走起来,瓷们!!!
在这里插入图片描述

银行贷款违约风险预测 **项目简介:**比赛由 Kaggle 举办,要求选手依据客户的信用卡信息,分期付款信息,信用局信息等预测客户贷款是否会违约。一共有8个数据集,包括1个主训练集,1个测试集和6个辅助信息表,主训练集特征主要有用户的个人属性,包括用户的性别,职业,是否有车,是否有房,房子面积等基本信息,辅助信息表包括用户的历史申请信息,历史账户余额信息,分期付款信息,信用卡信息,信用局信息和在信用局上的额度信息。 主训练集探索: 目的: 1、了解数据的缺失值情况、异常值情况,以便做对应的数据清洗 2、了解一下违约贷款和正常贷 阅读详情

相关推荐

机器学习祛魅:打破五大认知陷阱的实战指南

机器学习并非高不可攀的数学圣殿或硬件军备竞赛,而是一门以问题解决为核心的工程实践。其核心原理植根于线性代数、概率统计与优化思想,但90%以上的工业场景中,关键能力在于数据工程、特征构建与端到端闭环落地,而非复杂数学推导或SOTA模型堆砌。技术价值体现在快速验证、业务指标提升与系统稳定性上,典型应用场景包括金融风控建模、医疗影像辅助诊断、工业缺陷检测及智能客服意图识别等。本文聚焦真实从业者常遇的认知偏差,系统解构‘数学门槛过高’‘数据规模决定论’‘硬件依赖症’‘学历滤镜’和‘调参万能论’五大陷阱,提供可立即复

bdk82924 478

KESCI 迁移学习提供「借贷风险评估」解决方案的baseline改写,XGBOOST方法+SMOTE

迁移学习提供「借贷风险评估」解决方案 大赛简介 金融场景是算法落地的重要场景。本次练习赛,我们聚焦于「借贷风险评估」问题。探索机器学习细分领域——迁移学习,在金融场景的更多可能性,以及其实践落地。 本练习赛所用数据集为业内开放数据集,我们将其设计为迁移学习问题: 参赛选手需依据给定的4万条业务A数据及4千条业务B数据,建立业务B的信用评分模型。其中业务A为信用贷款, 其特征是债务人无需提供...

LY的博客 2278

迁移学习

迁移学习Tradaboost,TCA,JDA算法简介 1、迁移学习简介 1.1 迁移学习定义 1.2 迁移学习数学表示 1.3. 迁移学习的矩阵形式 1.4 传统解决方案 1.5. 迁移学习分类 2 Tradaboost 算法 2.1 Tradaboost算法简介 2.2 Tradaboost 算法流程 2.3 Tradaboost算法核心代码 3、 Joint Distributi...

howardact的博客 4257

贷款违约预测学习笔记

赛题介绍 链接:https://tianchi.aliyun.com/competition/entrance/531830/information 赛题数据 赛题以预测用户贷款是否违约为任务,数据集报名后可见并可下载,该数据来自某信贷平台的贷款记录,总数据量超过120w,包含47列变量信息,其中15列为匿名变量。为了保证比赛的公平性,将会从中抽取80万条作为训练集,20万条作为测试集A,20万条作为测试集B,同时会对employmentTitle、purpose、postCode和title等信息进行脱敏

submarineas的博客 4839

探索SMOTE算法

摘要 SMOTE是一种综合采样人工合成数据算法,用于解决数据类别不平衡问题(Imbalanced class problem),以Over-sampling少数类和Under-sampling多数类结合的方式来合成数据。本文将以Nitesh V. Chawla(2002)的论文为蓝本,阐述SMOTE的核心思想以及实现其朴素算法,在传统分类器(贝叶斯和决策树)上进行对比算法性能并且讨论其算法改进的途径。 1. 引言 类别不平衡是一种在分类器模型训练过程中常见的问题之一,如通过大量胸透图片来学习判断一个人是否有

Darkness_hades的博客 1418

【信息科学与工程学】【审计学】第一篇 招投标领域审计算法02

给定人、事、时、地、物等实体集合V和证据事实集合F, 构建一个概率图模型, 计算任意两个实体/事实之间存在关联关系的概率。:构建一个深度贝叶斯网络, 其中顶层为待推断的心理特征P, 中间层为可观测的行为模式B, 底层为多模态证据E。:基于现场痕迹、行为模式、通讯内容等证据E, 推断嫌疑人的心理特征向量P(如反社会性、冲动性、策划能力)。:对高风险的案件, 自动检索关联当事人、律师涉及的其他历史案件, 形成关联视图。:定义如“当事人-律师-当事人”、“当事人-多案件”等路径, 捕捉隐蔽关联。

weixin_49199313的博客 420

博士论文合集-基于机器学习的个人信用风险预测模型和研究

本文汇总了5篇关于个人信用风险预测的博士论文研究。研究重点包括:商业银行互联网贷款风险评估(刘帅祺提出FOMBRF算法解决数据不均衡问题)、深度学习在银行大数据中的应用(杨德杰使用GAN处理样本不均衡)、消费金融违约预测(李伟采用集成学习方法)、大数据信用评估模型(张万军构建CreditNet模型)。这些研究运用机器学习、深度学习等方法,针对信贷数据不均衡、高维特征等挑战提出创新解决方案,为金融机构风险管理提供了理论支持和技术参考。研究显示,结合大数据和AI技术能显著提升信用风险评估的准确性和效率。

toby001111的博客 1544

xgboost-smote-detect-fraud:我们可以对偏斜数据进行准确预测吗? 可以使用哪些采样技术。 在这种情况下可以使用哪些模型技术? 在此代码模式中找到答案!

xgboost-smote-detect-fraud:我们可以对偏斜数据进行准确预测吗? 可以使用哪些采样技术。 在这种情况下可以使用哪些模型技术? 在此代码模式中找到答案!

工业AI项目比赛-持续学习更新中

文章目录1.AI工业项目介绍1.1 天池7号馆1.1.1 布匹缺陷检测1.比赛链接2.方案链接1.1.2 铝型材表面瑕疵识别1.比赛链接2.方案链接1.1.3 包裹X光限制品监测-语义分割1.比赛链接2.方案链接1.2 天池学习赛1.2.1 街景字符编码识别1.比赛链接2.方案链接1.2.2 工业蒸汽量预测1.比赛链接2.方案链接 1.AI工业项目介绍 1.1 天池7号馆 1.1.1 布匹缺陷检测 佛山南海纺织布匹图像缺陷检测 1.比赛链接 天池七号馆-比赛链接地址 2.方案链接 1.1.2 铝型材表面瑕疵

HJZ11的博客 1644

前海征信“海信杯”大数据算法大赛(数据)

作为平安旗下专业第三方商业征信机构,前海征信有着丰富的数据资源。 本次赛事中主办方前海征信开放业务数据,设计国内首个迁移学习赛题:参赛选手需依据给定的4万条业务A数据及4千条业务B数据,建立业务B的信用评分模型。其中业务A为信用贷款, 其特征是债务人无需提供抵押品,仅凭自己的信誉取得贷款,并以借款人信用程度作为还款保证;业务B为现金贷,即发薪日贷款(payday loan),与一般的消费金融产品相比,现金贷主要具有以下五个特点:额度小、周期短、无抵押、流程快、利率高,这也是与其借贷门槛低的特征相适应的。 由于业务A、B存在关联性,选手如何将业务A的知识迁移到业务B,以此增强业务B的信用评分模型,是本次比赛考察的重点

【yolov8】与yolov5的区别及改进详解

yolov8-----有点厉害的目标检测框架.

qq_44878985的博客 3万+

迁移学习系列(一)

本系列梗概本次想分享的是迁移学习,不是像目前大部分的论文一样讲想法讲思路,当然我不是觉得思路想法不重要,其实是觉得很重要,但同时我也是一个很注重实战的人,所以想在这里通过一次金融大数据比赛来跟大家分享一次实战经验,谈谈迁移学习。大致分为五个章节来叙述: 1.事情前因后果的概述,思路之类的 2.数据的预处理 3.构建深度学习网络 4.迁移深度学习网络 5.再次构建深度学习网络题目梗概1、首先

ydq1206的博客 1255

从DBC到ARXML:详解DaVinci Configurator中通信栈的自动化配置逻辑

本文深入解析了Vector公司DaVinci Configurator工具如何将DBC文件自动转换为符合AUTOSAR标准的ARXML配置,详细介绍了从DBC到ARXML的映射逻辑、自动化配置的边界与陷阱,以及工程实践中的优化策略。帮助工程师高效配置汽车电子系统中的通信协议,提升项目开发效率。

weixin_30279671的博客 720

前海征信“好信杯”大数据算法竞赛 - H&M队【附源码】 原创 2017-06-17 高铭 科赛Kesci 赛题回顾 自2006年Hinton等人提出“深度学习”概念至今,深度学习在海量数据的挖

前海征信“好信杯”大数据算法竞赛 - H&M队【附源码】 原创 2017-06-17 高铭 科赛Kesci 赛题回顾  自2006年Hinton等人提出“深度学习”概念至今,深度学习在海量数据的挖掘分析中发挥了巨大的价值。然而对于越来越多的任务来说,特定垂直领域的数据并不足以支持系统建构,而迁移学习正是克服这一限制的重要思路。 微软全球资深副总裁Pe

周红伟讲AI 5690

学习心得——COMSOL Multiphysics with MATLAB联合仿真及寻优计算

学习心得——COMSOL Multiphysics with MATLAB联合仿真及寻优计算

weixin_41678956的博客 8659

OpenClaw 核心命令深度解析:/think high、/reasoning on、/verbose on 功能与实战指南

本文深入解析OpenClaw框架的三大核心命令:/think high实现极限深度推理,突破常规思考瓶颈;/reasoning on提供透明化推理过程,增强决策可信度;/verbose on控制详细输出级别。文章从技术架构、实现原理、配置方法和典型场景四个维度,详细阐述了各命令的功能特性与实战应用,包括法律分析、代码调试和商业决策等复杂场景的最佳实践。同时提供了多级配置方案和资源消耗参考,帮助用户根据任务复杂度灵活调配AI资源,实现效率与深度的最优平衡。

qq_43344878的博客 947

三大独家优势赢得关注 神策数据成功签约借贷宝

随着互金行业角逐日趋激烈,一些走在前沿的企业开始依靠数据分析平台追求精细化运营与管理,以构建企业的核心竞争力。2017年2月,知名互联网社交金融平台借贷宝签约神策数据。通...

神策数据 285

DC-DC拓扑:从电感位置一眼识别Buck、Boost与Buck-Boost

本文详细解析了DC-DC拓扑中电感位置对识别Buck、Boost与Buck-Boost电路的关键作用。通过对比不同拓扑的电感连接特征,提供快速识别方法和设计要点,帮助工程师避免常见错误并优化电路性能。特别强调电感位置对输出质量和效率的影响,适合电源设计人员参考。

java2000.net 372

基于xgboost 的贷款风险预测

         现在我们用传说中的xgboost 对这个数据集进行计算 #!/usr/bin/env python3 # -*- coding: utf-8 -*- "&

luoganttcc的博客 7409

解读区块链在制药和物流管理中具备的优势

供应链透明度是建立药品弹性供应链的关键,如何更好地促进端到端的透明度,促进合作伙伴和消费者之间的信任度是当前医药和物流行业高管们关注的话题,区块链技术可以很好的帮助他们。 链集市 · 让区块链落地更简单 《区块链行业观察》专栏·第 31 篇 作者丨Shams Rahman 图片丨来源于网络 作者介绍:本文作者为Shams Rahman教授,是RMIT大学商业IT和物流学院的供应链管理教授、研究与创新部门副主任。本文中文版本由链集市团队编译整理,英文版权归原作者所有,中文转载请联系编译。 新冠肺炎疫情的爆发

CECBC的博客 626

出现 RuntimeError: adaptive_avg_pool2d_backward_cuda does not have a deterministic implementation的解决方法

大致就是在执行主函数的训练函数中,在反向传播这一块出现了问题。解决方法就是添加如下代码块。找到提示bug的行数。

码农研究僧的博客 5536

搬运谷歌翻译Googletrans python api

原文网址 :https://py-googletrans.readthedocs.io/en/latest/ Googletrans is afreeandunlimitedpython library that implemented Google Translate API. This uses theGoogle Translate Ajax APIto make calls ...

LY的博客 1406

Qwen-Image(阿里通义千问)技术浅析(一)

Qwen-Image(阿里通义千问多模态模型)是阿里巴巴推出的视觉-语言多模态大模型,能够理解图像内容并完成复杂的跨模态任务。

m0_75253143的博客 688

数据表的迁移与填充【重点‘】

@TOC 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客: 全新的界面设计 ,将会带来全新的写作体验; 在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选择的高亮样式 进行展示; 增

BTS__TING的博客 242

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

大数据开放平台产品落地方案

TSAD的来源: TSAD由Open-test、Open-stor、Open-api、Open-dev四大系统组成,提供API测试平台Open-test;测试通过版本可发布服务仓库Open-stor,仓库抽离单一服务,其他产品部可任意装配服务;根据业务需求将服务开放到Open-api与Open-dev供第三方企业使用与开发。 一、产品架构 1、系统构架...

a64910807的博客 678

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

上一篇: 【人工智能项目】机器学习热门项目-波士顿房价
下一篇: 【人工智能项目】- 卷积神经网络实现游客评价情绪鉴别
mind_programmonkey
mind_programmonkey 领域专家: 算法与数据结构技术领域 领域专家: 算法与数据结构技术领域
博客等级 码龄9年 4435粉丝 1111原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mind_programmonkey

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值