Spark项目

大数据项目流程

第一步：需求：数据的输入和数据的产出，大数据技术项目好比一台榨汁机，数据输入相当于例如苹果、柠檬等，
然后通过榨汁机产出果汁；

第二步：数据量、处理效率、可靠性、维护性、简洁性

第三步：数据建模

第四步：架构设计：数据怎么进来，输出怎么展示，最最重要的是处理流出的架构；

第五步：我会再次思考大数据系统和企业IT系统的交互；

第六步：最终确定的技术（例如Spark、Kafka、Flume、HBase）选择、规范(用多少机器等)等

第七步骤：基于数据建模写基础服务代码

第八步：正式编写第一个模块！编码、测试、调试、改进等等

第九步：实现其它的模块，并完成测试和调试等

第十步：测试和验收

其实跟一般的项目差别并不大！

大数据项目流程图

以上内容部分来自[DT大数据梦工厂]首席专家Spark专家王家林老师的课程分享。感谢王老师的分享，更多精彩内容请扫描关注[DT大数据梦工厂]微信公众号DT_Spark