风控建模

【金融风控】风控建模概述 如正样本采样为原来的1/4,则为采样后的正样本增加权重为4,负样本权重保持为1。1 提交特征和模型报表 2 离线结果质量复核 (无缺失,无重复,存储位置正确,文件名规范) 3 保存模型文件,确定版本号,提交时间 4 老大审批,通知业务方 5 线上部署,案例调研, 持续监控。由于负样本通常较少,因此通常只针对正样本进行欠采样。评分卡建模通常要求正负样本的数量>=1500,但当总样本量超过50000个时,许多模型的效果不再随着样本量的增加而有显著提升,而且数据处理与模型训练过程通常较为耗时。 阅读详情

风控建模

inputvector

自定义jquery插件完成用户输入表单控件的输入行为的追踪,形成用户输入向量,将用户输入向量封装成cookie对接给后台用户登录服务

//首先这个输入向量的长度如果不够的话就没有评估的必要直接返回false
var n=historyVector.length
    if(n<2){
      return ("FORM_INPUT",false)
    }
首先计算平均向量
//计算平均向量 得到一个double数组 这个数组的每个元素 都是一个输入的向量加起来除以个数
//比如全部的用户名输入向量加起来除以历史个数 就是用户名的平均向量
    var avgVector=new Array[Double](currentInputVector.length)
    for(i <- 0 until  currentInputVector.length ){
      avgVector(i) = historyVector.map(v=>v(i)).reduce(_+_)/historyVector.length
    }    
 //n个历史向量间 彼此距离
    var distances=new ListBuffer[Double]
    for(i<- historyVector ;j <- historyVector;if(i!=j)){ //任意两个点坐标的距离
       //必须保证 i!=j 计算 i和j的距离
       var total:Double=0
       for( item<- 0 until avgVector.length){
       //Math.pow(x,y)表示x的y次方
         total+=  Math.pow((i(item)-j(item)),2)
       }
      //添加距离 开根号
       distances += Math.sqrt(total)
      //将向量从historyVector中移除
      historyVector -= i
    }
//对distances结果进行排序
    distances=distances.sortBy(distance=>distance)
//计算当前输入向量和平均向量的距离
    var curentDistance:Double=0
    for( item<- 0 until avgVector.length){
      curentDistance+=  Math.pow((avgVector(item)-currentInputVector(item)),2)
    }
    curentDistance=Math.sqrt(curentDistance)
 //获取比对阈值 这里的distance是上面的listbuffer[Double]集合 取其中大约1/3处作为阈值
    var  threshold: Double = distances((n * (n - 1))/6)
//最后一步如果 当前输入向量和平均向量的距离大于阈值 值输出为true 否则为false
return  ("FORM_INPUT",curentDistance>threshold)

词袋模型

//第一步首先要是没有历史密码这一步就不用评估了
 if(historyPasswords.size<1){
      return ("PASSWORD_INPUT",false)
    }
//这一步是建立词袋模型 将历史密码摊平 去重 排序 adcb3212变成 abcd123
val wordBag = historyPasswords.flatMap(password=> password.toCharArray).distinct.toList.sortBy(c=>c)
//这一步就是将abc12变成1110110 将历史的密码都和词袋模型做对比 然后得出的向量组 组成一个listBuffer
 var historyPwddwordVectors=new ListBuffer[Array[Int]]
    for(pwd<-historyPasswords){
      val vector = convertString2Vectors(wordBag,pwd)
      historyPwddwordVectors += vector
    }
//当前输入的密码也转为一个当前向量
val currentVector = convertString2Vectors(wordBag,currentPawssword)
//用当前的向量去和历史向量组成的listBuffer[Array[Int]]一一去做余弦相似度 然后求最大的相似度 
var simlarity:Double=0.0
    for(v <- historyPwddwordVectors){
      var s:Double=calculateSimlarity(currentVector,v)
      println("s:"+s)
      if(s>simlarity){ //获取自大相似度
        simlarity=s
      }
    }
//最后如果这个相似度小于我们定下的阈值0.95就是true 超过了就是false
if(simlarity < 0.95){
      return  ("PASSWORD_INPUT",true)
    }
    return ("PASSWORD_INPUT",false)

余弦相似度
在这里插入图片描述

地理位置风险评估(瞬间位移距离)

后台使用geo-ip转换工具将ip地址转换为经纬度信息,然后在求出在地球上的距离 最后除以俩次登录的时间 求出瞬间位移距离 如果大于高铁时速代表有风险

userAgent

用@RequestHeader这个注解提取User-Agent设备信息通过前期制定的Flume+logback 将用户登录信息存储在分布式日志系统中

def doEvaluate(lastAgent: String, lastAgents: ListBuffer[String]): (String, Boolean) = {
    return ("AGENT_INPUT",lastAgents.indexOf(lastAgent) == -1)
  }

02_风控建模概述 信贷审批业务基本流程四要素认证:银行卡持有人的姓名、身份证号、银行卡号、手机号用户数据:用户基本信息、用户行为信息、用户授权信息、外部接入信息。数据采集会涉及到埋点和爬虫技术,基本上业内的数据都大同小异。免费的运营商数据安卓可爬的手机内部信息(app名称,手机设备信息,部分app内容信息)收费的征信数据、各种信息校验、外部黑名单之类的特定场景的现金贷和消费金融会有自有的数据可供使用比如阿里京东自己的电商数据滴滴的司机数据、顺丰中通的快递数据。 阅读详情

相关推荐

风控建模二:建模方案拟定

风控建模二:建模方案拟定引言一、是否需要分客群建模 引言 好坏标签定义完成并整理好数据集并不意味着建模工作可以正式开始,在建模之前我们还需要拟定好建模方案,具体而言,需要解决以下三个问题:一是否需要分客群建模;二是如何划分训练集、测试集和时间外验证集;三是样本是否是过采样的,怎样还原回去。 一、是否需要分客群建模 ...

baidu_39413110的博客 3185

Java实战篇25-风控系统(规则引擎 + Java)

本文介绍如何使用Java和规则引擎构建企业级风控系统。传统风控逻辑存在规则变更困难、复用性差等问题,而规则引擎可将业务规则与代码解耦,提升灵活性。文章对比了Drools、Easy Rules等主流规则引擎,推荐使用Drools作为核心框架,配合Spring Boot、MySQL、Redis等技术栈实现。系统架构包含风控网关、规则执行、决策反馈等模块,通过上下文对象封装请求信息。详细展示了Maven依赖配置、风控上下文模型设计以及Drools规则引擎的初始化方法,为开发高可用的风险决策系统提供了完整方案。

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

【金融风控项目-06】:风控建模流程

介绍风控业务建模的基本流程

YIAN爱学习的博客 2657

风控系统就该这么设计(万能通用),稳的一批!

点击上方“Java基基”,选择“设为星标”做积极的人,而不是积极废人!每天14:00更新文章,每天掉亿点点头发...源码精品专栏原创 | Java 2021超神之路,很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析消息中间件 RocketMQ 源码解析数据库中间件 Sharding-JDBC 和 MyCAT 源码解析作业调度中间件 Elast...

weixin_44421461的博客 846

风控建模一、初步认识风控

风控知识简单介绍,规则,人工智能进行风控建模。

nanjifengzi的博客 4102

vintage分析 风控建模系列 01

vintage分析 风控建模系列 01 在工作中发现,目前没有一个很好的系列帖子对风控建模中的各项细节做讲解,本人为一个金融科技公司的风控算法建模师,希望在此将风控建模的知识成体系、有深度、易吸收地分享给大家 vintage分析价值 在一场完整的风控建模中,除了初始的探索性分析,vintage应该是很重要的一步了,这一部分工作直接决定了之后建模的质量。 在信贷业务开展的过程中,由于业务发展迅速,信...

weixin_44239904的博客 7165

Java在金融科技中的分布式架构设计与风险控制

Java在金融科技分布式系统的架构设计中扮演着重要角色。通过微服务架构、事件驱动架构和分布式事务等技术手段,可以有效提升系统的可扩展性和容错性。在风险控制方面,Java的安全认证、数据加密和反欺诈技术,为金融系统提供了有力的安全保障。本文著作权归聚娃科技微赚淘客系统开发者团队,转载请注明出处!

微赚淘客系统开发者博客 1239

一文梳理金融风控建模全流程(Python)

信贷风控是数据挖掘算法最成功的应用之一,这在于金融信贷行业的数据量很充足,需求场景清晰及丰富。信贷风控简单来说就是判断一个人借了钱后面(如下个月的还款日)会不会按期还钱。更专业来说,信贷风控是还款能力及还款意愿的综合考量,根据这预先的判断为信任依据进行放贷,以此大大提高了金融业务效率。与其他机器学习的工业场景不同,金融是极其厌恶风险的领域,其特殊性在于非常侧重模型的解释性及稳定性。业界通常的做法是基于挖掘多维度的特征建立一套可解释及效果稳定的规则及风控模型对每笔订单/用户/行为做出判断决策。

2301_81372374的博客 1557

只需六步!快速开启专属的风控系统

风控是电商平台和网购App必不可少的安全保障工具,能够对平台和用户的各种风险进行有效监控和预防,提高平台和用户的安全防护能力,保障电商行业的健康发展。

顶象科技的技术文章 793

风控建模流程一张图

一文彻底弄懂风控建模和风控建模流程

阿黎逸阳的博客 868

风控建模整体流程

带你进入风控模型的世界

阿黎逸阳的博客 3940

【金融风控建模系列】基础篇

自从进入智能手机时代,伴随人们生活质量的提升,消费也需求越来越大。消费不再局限于线下,取而代之的线上消费慢慢成为主流…交易转移到线上,风险就不可避免。最典型的就是信用卡消费,每个人会根据自己的“表现”获得一个额度,人们只能在这个额度下进行消费,借款人需在截止日期之前把钱还上,否则将面临失信问题。这在建模(系列文章中的风控建模均只局限于金融领域)中就是常说的“坏客户”。那我们为什么要进行风控建模?如果出现坏客户,之后不借给他不就可以了。

ANoway的博客 1802

风控建模中的IV和WOE

让你快速弄懂风控WOE和IV的原来,给出Python计算IV和WOE的代码

阿黎逸阳的博客 4080

金融风控建模教学资源大全

金融风控建模教学资源大全

fulk6667g78o8的专栏 1327

Java实时业务风控系统设计与实现

大数据技术的产生和发展,是伴随着互联网以及移动互联网用户数量的快速增长,以及社交网络、物联网、云计算等技术的普及与进步。其核心在于利用各种工具和平台,对海量数据进行存储、分析和处理,从而提炼出有价值的信息。从早期的批处理系统到现在的流处理技术,大数据技术经历了如下几个发展阶段:Hadoop的出现:Hadoop的出现是大数据技术发展史上的一个重要里程碑。它提供了一个可扩展的、可靠的分布式存储和计算平台。NoSQL数据库。

weixin_33816734的博客 1386

金融风控数据平台-基于springboot+springcloud设计实现

金融风控数据平台-基于springboot+springcloud设计实现 cloud模块包括eureka,config,gateway, springboot模块基于微服务调用方式

风控建模笔记

特征部分: 好的特征:1、稳定性高 2、区分度高 3、差异性大 4、符合业务逻辑

keil_的博客 693

轻量级JAVA实时业务风控系统框架.zip

背景 当前互联网企业存在很多业务风险,有些风险(比如薅羊毛)虽然没有sql注入漏洞利用来的直接,但是一直被羊毛党、刷单党光顾的企业长期生存下来的几率会很低! 账号:垃圾注册、撞库、盗号等 交易:盗刷、恶意占用资源、篡改交易金额等 活动:薅羊毛 短信:短信轰炸 项目介绍 实时业务风控系统是分析风险事件,根据场景动态调整规则,实现自动精准预警风险的系统。 本项目只提供实时风控系统框架基础和代码模板。 需要解决的问题 哪些是风险事件,注册、登录、交易、活动等事件,需要业务埋点配合提供实时数据接入 什么样的事件是有风险的,风险分析需要用到统计学,对异常用户的历史数据做统计分析,找出异于正常用户的特征 实时性,风险事件的分析必须毫秒级响应,有些场景下需要尽快拦截,能够给用户止损挽回损失 低误报,这需要人工风控经验,对各种场景风险阈值和评分的设置,需要长期不断的调整,所以灵活的规则引擎是很重要的 支持对历史数据的回溯,能够发现以前的风险,或许能够找到一些特征供参考 项目关键字 轻量级,可扩展,实时的Java业务风控系统 基于Spring boot构建,配置文件能少则少 使用drools规则引擎管理风控规则,原则上可以动态配置规则 使用redis、mongodb做风控计算和事件储存,历史事件支持水平扩展 原理 统计学 次数统计,比如1分钟内某账号的登录次数,可以用来分析盗号等 频数统计,比如1小时内某ip上出现的账号,可以用来分析黄牛党等 最大统计,比如用户交易金额比历史交易都大,可能有风险 最近统计,比如最近一次交易才过数秒,可能机器下单 行为习惯,比如用户常用登录地址,用户经常登录时间段,可以用来分析盗号等 抽象:某时间段,在条件维度(可以是多个维度复合)下,利用统计方法统计结果维度的值。充分发挥你的想象吧! 实时计算 要将任意维度的历史数据(可能半年或更久)实时统计出结果,需要将数据提前安装特殊结果准备好(由于事件的维度数量不固定的,选取统计的维度也是随意的,所以不是在关系数据库中建几个索引就能搞定的),需要利用空间换时间,来降低时间复杂度。 redis redis中数据结构sortedset,是个有序的集合,集合中只会出现最新的唯一的值。利用sortedset的天然优势,做频数统计非常有利。 比如1小时内某ip上出现的账号数量统计: 保存维度 ZADD key score member(时间复杂度:O(M*log(N)), N 是有序集的基数, M 为成功添加的新成员的数量),key=ip,score=时间(比如20160807121314),member=账号。存储时略耗性能。 结构如下: 1.1.1.1 |--账号1 20160807121314 |--账号2 20160807121315 |--账号n 20160807121316 2.2.2.2 |--账号3 20160807121314 |--账号4 20160807121315 |--账号m 20160807121316 计算频数 ZCOUNT key min max(时间复杂度:O(1)),key=ip,min=起始时间,max=截止时间。计算的性能消耗极少,优势明显 redis lua 把保存维度,计算频数,过期维度数据等操作,使用lua脚本结合在一起,可以减少网络IO,提高性能 mongodb mongodb本身的聚合函数统计维度,支持很多比如:max,min,sum,avg,first,last,标准差,采样标准差,复杂的统计方法可以在基础聚合函数上建立,比如行为习惯: getDB().getCollection(collectionName).aggregate( Arrays.asList( match(match) --匹配条件维度 , group("$" + field, Accumulators.sum("_count", 1)) --求值维度的次数 , match(new Document("_count", new Document("$gte", minCount))) --过滤,超过minCount才统计 , sort(new Document("_count", -1)) --对次数进行倒叙排列 ) ); 建议在mongodb聚合的维度上建立索引,这样可以使用内存计算,速度较快。 redis性能优于mo

上一篇: 那些让人眼前一亮的大数据面试题
下一篇: 简单的裸机 迅速搭建一个standalone的flink
zax_java
博客等级 码龄8年 62粉丝 23原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值