water drop的博客

概述 本篇是用户综合分析系统专栏的最后一篇。到本篇为止，我们此次的项目实施宣告终结。 我们已经完成了大数据 流处理与批处理 的设计编码，已经实现了基本的数据处理任务，但是，因为批处理一般都是定期执行的，而且多数是在非服务器高峰期的半夜执行的，因此，我们需要用到 Azkaban的任务调度，帮我们完成批处理的自动执行。 设计计划 附：完整的计划zip包: https://pan.baidu.co...

概述 通过11、12 篇的数据接收与处理，我们已经拿到了标准的计算模型，之后只剩下与流计算集成，即可完成实时的用户风险评估。 本篇将介绍项目中引入Flink流计算框架的方案解决。 整体框架 query 包中是对Flink中的可查询的状态数据的一些查询展示 sql 包中是一些自定义的函数和 离线数据处理 的一些简单示例 Flink Table api stream 包中是此次项目集成 f...

概述 本篇承接项目实施-11 https://blog.youkuaiyun.com/ASYMUXUE/article/details/105353601继续介绍 风险评估数据 的抽取。 本篇涉及部分简单算法，请参考https://blog.youkuaiyun.com/ASYMUXUE/category_9862606.html 抽取验证数据 思路总结： 我们通过 从登录的日志中 获取到用户登录的数据： ①...

概述 使用Flume从业务系统中获取到用户的行为日志之后，我们需要对这些日志进行一定的清洗，并才采集出对之后分析有用的数据。 本篇和下篇将根据，用户登录行为的风险判定，对数据抽取做简单的介绍 本篇主要介绍抽取原始数据 整体框架 引入依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.a...

概述 为了应对高并发的场景，javaweb项目一般都是部署成集群形式，同时通过Spring Cloud的 Eureka 技术，实现web模块，负载均衡的访问服务模块。本文介绍了，搭建简单的高可用的Eureka集成方案。 整体框架 搭建注册中心 ①依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://m...

SpringBoot对接Flume 在大数据流处理当中，我们需要从项目中，采集到用户的行为日志，通过kafka,输送到计算引擎中，进行计算分析。这其中的日志文件的采集，我们需要通过Flume完成对接。 ①依赖坐标 <!--引入Flume--> <dependency> <groupId>org.apache.flum...

概述 前端页面中要设计埋点，用来收集用户的行为习惯等信息以便进行实时流计算，从而提高系统的安全性。如：登录风险评估等。 本篇简单介绍了一个登录输入时长检查的埋点的设计。 引入Cookic 引入cookic，目的是为了，我们可以将在页面定制的一些采集的数据，通过请求发送的形式，携带到服务器端。 ①引入cookic插件 将下面的文本Copy到自定义的一个**.js**结尾的文件中， 完成cookic...

概述 在前端页面中，往往需要一些表单验证和额外功能，在本篇中，介绍了一些简单的定制插件。 插件 ①验证码 $.fn.extend({ //定义一个验证码插件 verifyCode:function () { $(this).click(function () { //单击事件 var codepic = document.getEleme...

概述 此次项目的前端页面采用EasyUI前端框架。同时，在可视化方面，引入Echarts库。 EasyUi官网：http://www.jeasyui.net/ Echarts官网：https://www.echartsjs.com/zh/index.html 整体框架 其中，static包中，存放一些插件、EasyUI依赖、Echarts依赖、等静态资源。 work包中，存放本次项目所需的页...

概述 这是一个严格的前后分离项目，前端开发比较头疼的地方在于小细节可真的太多了。比如拦截器、全局异常的处理、验证码、JQuery插件定制等等。 整体框架 依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://ww...

概述 本次项目，采用FastDFS文件系统，存储头像文件。 FastDFS 文献参考：https://blog.youkuaiyun.com/weixin_38231448/article/details/95815069 分布式⽂件系统（Distributed File System）是指⽂件系统管理的物理存储资源不⼀定直接连接在本地节 点上，⽽是通过计算机⽹络与节点相连。 判断⼀个分布式⽂件系统是否优秀...

概述 本篇进行对项目实施-02（后端开发）的后端模块https://blog.youkuaiyun.com/ASYMUXUE/article/details/104920206进行组件扩展。因为，此篇章将做成通用性极强的记录，所有本篇将不定期更新。 日志系统的整合 引入logback.xml文件 标签说明 %m 输出代码中指定的消息 　　%p 输出优先级，即DEBUG，INFO，WARN，ERROR...

前言 本次项目的重点在于用户行为的综合分析，即平台计算处理系统。后端用户系统没有复杂的业务逻辑，只实现简单的CRUD。 库表设计 本次项目采用 MySQL数据库 DROP TABLE IF EXISTS t_user; set character_set_results=utf8; set character_set_client=utf8; CREATE TABLE t_user ( id...

基本 此次项目采用 SpringBoot框架，因此引入以下依赖。 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:s...

项目背景 近年来，伴随着互联网金融的风生水起；国家出台相关文件，要求加大互联网交易风险防控力度；鼓励通过大数据分析、用户行为建模等手段建立和完善交易风险检测模型。但是目前大数据风控还存在时效性差，准确性不高等问题。综合用户分析平台包含 综合数据分析|登陆风险|注册风险|交易风险|活动风险分析等模块。以下是个各个子系统之间的关系。 业务系统：通常指的是APP+后台或Web端（服务目标用户），是业...