大数据
关注
分享
扫一扫
FireCoder
这个作者很懒，什么都没留下…
展开
-
大数据风控实践 - 反欺诈之设备指纹
很多人看见指纹两个字，认为是有特定的设备仪器来采集，类似人的指纹。设备指纹里的指纹换成ID(唯一标识)更合适。强ID-手机出厂/使用自带的唯一标识设备指纹-弱特征生成唯一标识设备指纹生成在git上搜索device fingerprint 能找到不少开源项目，比如clientjs中设备指纹代码： getFingerprint: functio...原创 2020-02-06 09:56:49 · 1504 阅读 · 0 评论 -
spark sql concat_ws 实现有序
spark(hive) sql中的concat_ws 有两个易出错的地方无序 忽略Nullconcat_ws 有序下面示例生成用户的行为序列，按时间有序方法一：使用 window partition+ row_numberSELECT * FROM ( SELECT user_id , concat_ws(' ', c...原创 2020-02-02 17:05:40 · 3890 阅读 · 0 评论 -
hive 查看历史job的执行sql
问题线上hadoop有个hivesql执行较耗时，1hour 8min；收到运维预警定位查找job history 页面http://node:8088/cluster/app/application_xxxx_xxhttp://node:8088/proxy/application_xxxx_xxhttp://node:19888/jobhistory/jo...原创 2020-02-01 14:41:14 · 4168 阅读 · 0 评论 -
大数据风控实践
风险管理框架大数据风控实践课程第1章 概述1.1 大数据风控框架第2章 反欺诈2.1 身份核验与黑名单 2.2 设备指纹(代码) 2.3 关联风险评分(代码) 2.4 社区发现(代码)第3章 评分卡3.1 单特征bad rate (代码) 3.2 数值特征 Binning (代码) 3.3 特征交叉 Feature Crossing (代码) 3.4 ...原创 2020-01-26 14:06:10 · 543 阅读 · 0 评论