点击流数据分析项目
关注
分享
扫一扫
日拱一卒的Alex
一个乐观善良且温暖的人，认真对待生活中的每一天，成为更好的自己
展开
-
预备工作——数据处理流程
该项目是一个纯粹的数据分析项目，其整体流程基本上就是依据数据的处理流程进行，依此有以下几个大的步骤：1) 数据采集首先，通过页面嵌入JS代码的方式获取用户访问行为，并发送到web服务的后台记录日志然后，将各服务器上生成的点击流日志通过实时或批量的方式汇聚到HDFS文件系统中 当然，一个综合分析系统，数据源可能不仅包含点击流数据，还有数据库中的业务数据（如用户信息、商品信息、订单原创 2017-12-16 18:38:17 · 330 阅读 · 0 评论 -
开发模块1——数据采集
3 模块开发——数据采集3.1 需求数据采集的需求广义上来说分为两大部分。1）是在页面采集用户的访问行为，具体开发工作：1、开发页面埋点js，采集用户访问行为2、后台接受页面js请求记录日志此部分工作也可以归属为“数据源”，其开发工作通常由web开发团队负责 2）是从web服务器上汇聚日志到HDFS，是数据分析系统的数据采集，此部分工作由数据分析平台建设团队负责，具原创 2017-12-16 19:07:28 · 1682 阅读 · 1 评论