数据开发类-数据仓库开发类项目主要流程(中小型)

1.需求描述

具体要做什么东西

• 1.输入
• 2.处理
• 3.输出

2.需求分析

• .是否具备可行性
  • .输入
  • .处理
  • .输出

3.开发步骤分析

• 1.搭数据仓库类项目的开发骨架
  • Create : 把创建相关代码Shell放入其中
  • Config : 把相关配置参数放入其中
  • UDF : 放入相关的依赖的第三方jar包
  • Deal : 主要存放当前项目的处理数据的shell脚本(全部脚本)
• 2.将数据从本地传入到入口机
  • 源数据落地层
• 3.hive建立相应的表
• 4.将数据从入口机本地加载到hive表当中
• 5.利用HiveSql+udf/udaf/udtf 计算处理
• 6.将结果存入表中

4.代码实现

5.测试 bug修复 上线