本文介绍了如何结合Hive和Quartz构建一个名为DIP-data-analyze的数据分析平台，旨在简化数据分析流程。通过提供一个界面化的任务管理界面，允许用户轻松定义表、分析语句和任务调度，极大地提高了数据分析效率。
这段时间一直在整dip-data-analyze ，名称是自己定义的，呵呵。
进入公司以来，就专心研究下hive，感觉hive让分析人员分析数据方便非常多，通过将日志转成表，像操作mysql的方式去统计数据，无疑是方便很多。但是也带来个问题，就是
分析人员必须在服务器操作shell ，敲入sql才可以，操作起来不方便；对于那些一天跑几次或者定期执行的任务，更是不便。
正好以前用的java计划框架quartz给了我灵感。如果能够在界面让用户定义表，定义分析语句，来定义一个分析任务，同时将任务加入计划，那么用户就会方便很多！
这就是dip-data-analyze 得来最初的想法！
晒下 最初的架构：
dip-data-analyze 运用java写的，计划调度用的quartz，底层用的hiveserver来进行分析，当然这些都建立在hadoop（hdfs、MR）之上。
看下任务管理界面：
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
