本文详细介绍了一个典型的商业智能(BI)系统的处理流程，包括数据采集、预处理、存储、导出及可视化等多个步骤，并介绍了每一步骤中使用的关键技术。
流程图解析
典型的BI系统体流程如下：
由于是处理海量数据，流程中各环节所使用的技术则跟传统BI完全不同，后续课程都会一一讲解：
1) 数据采集：定制开发采集程序，或使用开源框架FLUME
2) 数据预处理：定制开发mapreduce程序运行于hadoop集群
3) 数据仓库技术：基于hadoop之上的Hive
4) 数据导出：基于hadoop的sqoop数据导入导出工具
5) 数据可视化：定制开发web程序或使用kettle等产品
6) 整个过程的流程调度：hadoop生态圈中的oozie工具或其他类似开源产品
项目技术架构图
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
