本文探讨了Spark在处理1GB目录时产生多个任务的原因，并讨论了如何调整Reducetask的数量以提高效率。此外，还介绍了Spark访问HBase的方法及SparkCache的使用技巧。
输入目录大小为1GB， spark为何产生了8个或100个任务？
Spark程序的Reduce task为何是200个， 如何减小？
Spark如何访问hbase？
Spark cache如何使用？
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
