该项目针对本地B2C商城，利用Hadoop进行日志数据处理，通过Hive进行统计分析，结合HBase存储明细数据，Zookeeper协调集群，Sqoop导入MySQL以供决策者查看关键指标。开发步骤包括日志导入、数据清洗、HBase存储、Hive分析、 Sqoop导出及视图展示。
1，项目背景
该项目是一个本地化独立的B2C商城，为应对商城每天访问量增大，日志量增大，该商城的决策者为了拓宽该商城在本地的发展，占领本地市场的更多份额，委托我司对该公司开发出一套分析该商城用户每天上网日志行为的分析项目，分析出一些核心的业务相关指标，而这些指标是无法从第三方工具中获得的，这样有利用决策者对商城的运营指定更加合理化的策略。
因为商城是一个本地化的商城，不像淘宝，京东这类大商城，面向全国的，所以日志量并不大，分配在3台机器上，大约500-1G的量，这些日志是按天进行保存的，统计数据要求按天进行实时更新，这些统计项包括浏览量PV、注册用户数、独立IP数、跳出率等指标。
2，框架搭建
Hadoop是专门处理离线大数据的专业化工具，其核心组件是HDFS+MapReduce，每天通过flume将各个节点日志文件合并推送到到Hadoop集群中，同时因为日志是Apache格式的文件，在对日志进行统计分析前，我们利用Hadoop的Mapreduce对这些数据进行清洗，保
最低0.47元/天 解锁文章
扫一扫
972
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
