- 博客(8)
- 收藏
- 关注
RSS订阅原创 Lv游网电商离线数据分析平台--4.数据存储设计
本项目设计到数据存储的有三个地方：将原始的日志数据按天保存到hdfs文件系统中；(lv_track) 将etl解析后的数据保存到hbase中；(lv_transformer) 将分析结果保存到mysql数据库中。(lv_dataapi)其中存储到hbase和mysql的这两个过程需要设计具体的存储结构。1、HBase表结构设计 需要按天进行数据分析，所以 hbase的rowke...
2019-01-31 11:47:44
290
1
转载 Java 反射机制，动态代理是基于什么原理？
典型回答反射机制是 Java 语言提供的一种基础功能，赋予程序在运行时自省（introspect，官方用语）的能力。通过反射我们可以直接操作类或者对象，比如获取某个对象的类定义，获取类声明的属性和方法，调用方法或者构造对象，甚至可以运行时修改类定义。很多场景都是利用类似机制做到的，比如用来包装 RPC 调用、面向切面的编程（AOP）。实现动态代理的方式很多，比如 JDK 自身提供的动态...
2019-01-27 01:28:19
557
原创 Lv游网电商离线数据分析平台--3.用户行为分析
1、总述 用户行为分析和数据收集模块 bf_transformer 的主要目标有两个，ETL操作：就是解析过滤用户日志数据，并将解析后的数据保存到 HBase； 从 HBase 读取日志数据，然后编写 mr/hive 的 Job 进行数据分析，然后将结果保存到 MySQL。2、结构Java SDk数据引擎编写：设计规则：两个事件触发方法，onChargeSuccess() ...
2018-10-19 20:57:51
474
原创 Lv游网电商离线数据分析平台--2.数据展示分析
数据展示系统(lv_dataapi)1、总述lv_dataapi 项目的主要目标有两个：第一个就是提供一个提供json数据的Rest API；另外就是提供一个展示结果的demo页面。lv_dataapi 使用 SpringBoot+mybatis+mysql 来搭建提供rest api的项目框架，使用 Highcharts 来进行demo页面的搭建。在本次项目中，我们将所有的API高度...
2018-10-19 18:34:38
659
转载 SSO-单点登录
什么是单点登录？单点登录全称Single Sign On（以下简称SSO），是指在多系统应用群中登录一个系统，便可在其他所有系统中得到授权而无需再次登录，包括单点登录与单点注销两部分单系统登录解决方案的核心是cookie，cookie携带会话id在浏览器与服务器之间维护会话状态。但cookie是有限制的，这个限制就是cookie的域（通常对应网站的域名），浏览器发送http请求时会自动携带与该...
2018-10-16 18:40:18
135
原创 Lv游网电商离线数据分析平台--1.需求分析
项目介绍整体架构：hadoop, hfds, hbase, hive, flume, sqoop, oozie- 日志收集- 数据分析: ETL， MR_Job, Hive 分析，存储到Hbase或MySQL- 数据展示：SpringBoot, Mybatis, Hicharts， 访客访问量，活跃数量，比率，地区热力图项目综述项目划分为lv_track，lv_transfore...
2018-10-12 04:26:32
1029
原创 前端框架
通信协议 TCP 三次握手 保证可靠传输 停止等待协议 滑动窗口协议 流量控制、拥塞控制 Http 请求报文结构、响应报文 状态码 Http2 新特性 推送、多路复用、消息头压缩 cookie和session ...
2018-08-18 12:21:05
280
原创 关于我的一些问题（答猎头问）
民办学历：11年毕业，多的不要再问了13年参加开发工作，中间两年做了服务行业，因为当时自己还没想好，也没人教我怎么做，不过最后我回来了。真正的工作经历：13年到15年5月：在一家车险公司，小公司，前后端都做，算是入了门。15年6月到9月：去了安邦做P2P，因为当时自己刚刚听说，感觉比较火，就去了。结果做了两个月，项目暂停，调我去做维护了，做了一个月，没什么进展，就离职了。15年...
2018-07-20 14:45:48
354
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人