本文介绍了一种从网站日志数据到业务洞察的大数据处理流程，包括数据采集、清洗、存储、分析和展示等多个阶段。通过Flume收集日志数据并将其存储在HDFS中，使用MapReduce进行数据清洗，建立Hive表进行多维度统计分析，并最终将分析结果导入MySQL等数据库以供展示。
1、数据采集
利用js代码在页面埋点，抓取信息到web服务器。
2、从web服务器上汇集日志到hdfs（分布式文件系统），这里采取flume组件采集日志。
flume可配置高可靠的，对数据进行脱敏、过滤，数据采集可以实时的，也可以定时采集到hdfs中。
3、使用mapreduce计算框架清洗数据，处理得到点击流模型
4、使用hive创建点击流模型表，这样可以使用hql进行更多维度统计
5、利用azkaban工具进行任务调度
6、分析好的数据利用sqoop导入到mysql、hbase等数据库
7、页面展示
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
