对于spark，我基本上算是个小白，如果说的不对，或者各位大佬有不同的意见，欢迎提出来一起分享 。今天主要是梳理一下需求，确定一下学习方向
项目中因为原始框架无法达到大量数据计算的要求，初步选择用spark来达到快速计算的需求，下面介绍大致情况：
- 场景为项目中的某一个设计到大量复杂计算的模块
- 设计数据量百万级数据，并会涉及到多层循环计算
- 数据来源为MySQL数据库
- 初始想法为将数据同步到hbase集群，以spark集群强大的计算能力来计算
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
