本文总结了一年使用Hive进行数据统计的经验，提出了六项设计原则：优先采用增量计算、支持重算机制、脚本并行化编写、脚本参数化、明确数据准备时间和数据导出流程。
目前已经在基于hadoop平台上做数据统计与挖掘快一年了，这里将对做数据统计时的一些通用设计要求做总结（跟业务无关）。
以hive作为工具
第一：优先考虑增量计算，其次考虑全量计算。
第二：支持重算机制，简单地说就是当数据计算有误时，可以支持重算（也就是说这次的计算结果能正确覆盖上一次的结果）。
第三：脚本编写并行化，如果脚本编写没有明显的上下关联的话，优先考虑并行化。
第四：脚本中变化的地方用参数，例如SQL语句含有日期条件时，可以用变量方式，方便程序运行时进行替换。
第五：数据准备(就是什么时候数据源准备完毕)
第六：数据导出
目前就想到这么多，后续将继续总结和补充。
待续………………
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
