
电商金融风控
文章平均质量分 53
Fang Shuzhi
数据赋能风控
展开
-
风控大数据
风控在互联网金融和电商中有着不可取代的作用,涉及到金钱的交易那么风控就比不可少。在电商领域有黄牛占便宜,其实占到的是本属于平台商家让利于消费者的优惠,损害着平台、商家、消费者三方的利益。以往风控最主要的就是制定规则,于是便有登陆的规则,注册的规则,购物的规则,付款的规则等等,用这样的规则来规避相当一部分损失。随着大数据技术的发展,风控也应该紧跟大数据的步伐,从一个电商的角度来看,风控数据来自于电商的原创 2016-08-16 23:16:27 · 1752 阅读 · 0 评论 -
elasticsearch中aggregation的简单用法
首先创建实例,以汽车经销商为例(数据主要包含:品牌、制造商、售价、销售时间等)POST /cars/transactions/_bulk{ "index": {}}{ "price" : 10000, "color" : "red", "make" : "honda", "sold" : "2014-10-28" }{ "index": {}}{ "price" : 20000, "colo翻译 2016-08-21 20:08:27 · 11028 阅读 · 1 评论 -
logstash对于String类型的时间转成long
在工作中,遇到传过来的是时间字符串yyyy-MM-dd HH:mm:ss,用到logstash时需要先把这种时间转换成long,然后进行存储操作。 上config代码:input{ stdin{ # codec=>rubydebug }}filter{# codec=>rubydebug mutate{ split=>["message"," "]原创 2016-09-20 15:59:05 · 5425 阅读 · 0 评论 -
logstash利用ruby语言写复杂的处理逻辑
在应用中,需要对logstash读取的数据进行字符判断、字符串截取等操作。同时也需要用到正则表达式对某些匹配字符进行替换。 直接上配置文件逻辑:input{ stdin{ # codec=>rubydebug }}filter{# codec=>rubydebug mutate{ split=>["message"," "] add_原创 2016-09-21 16:21:32 · 19180 阅读 · 1 评论 -
elasticsearch2.4项目JBOSS启动后遇到的java.lang.NoSuchFieldError: FAIL_ON_SYMBOL_HASH_OVERFLOW问题探究
该项目在tomcat环境下启动完全正常,可是放到jboss中启动,在执行execute()方法时,总是报错,错误如下:ERROR [io.undertow.request] (default task-7) UT005023: Exception handling request to /riskcontroll-admin/monitor/monitorList.htm: org.springfr原创 2016-09-25 13:07:28 · 5119 阅读 · 0 评论 -
elasticsearch配置mapping时,对所有的type有效
在elasticsearch中一个index下面会有很多的type,在一个项目中type的数量未知,所以在建立template的时候需要mapping不指定type(对所有的type有效) 因此需要用到_default_字段:PUT /my_index{"mappings": { "_default_": { "properties": {原创 2016-09-27 14:18:14 · 6767 阅读 · 0 评论 -
logstash kafka多台机器取数据,只有一个实例消费【logstash2.3.4】
描述:首先kafka的partition数量为6,多台logstash服务机器的topic相同并且groupId也相同。当分别启动机器时,只有一台机器在消费kafka数据,并且总是最后启动的那台在消费。修改了zk时间等各种kafka配置均没有效果,最后不得不看ruby源码了。感觉kakfa的代码写的还是有点问题的。首先介绍logstash的input-kafka模块的代码结构kafka.rb --原创 2016-10-31 16:43:46 · 5188 阅读 · 4 评论 -
kibana源码开发教程(github)
If you have a bugfix or new feature that you would like to contribute to Kibana, please find or open an issue about it before you start working on it. Talk about what you would like to do. It may be th转载 2017-04-13 10:51:01 · 8888 阅读 · 0 评论 -
github上日常用到的项目
spark: https://github.com/perwendel/spark https://github.com/perwendel/spark-kotlin https://github.com/cary-zhou/htpwdscan前端: https://github.com/jdorn/json-editor https://github.com/d3/d3 http...原创 2018-06-08 09:40:22 · 1145 阅读 · 0 评论