- 博客(2)
- 收藏
- 关注
RSS订阅原创 面试官：你来简单说说Spark RDD
spark的算子分为几类？答：1，Tranformation：转换算子。（不会触发job的运行 和 返回值一定是一个RDD）2，Action：触发算子。（触发job的运行 和 返回值非RDD ）从小方向来说，Spark 算子大致可以分为以下三类:1，Value数据类型的Transformation转换算子，这种变换并不触发提交作业，针对处理的数据项是Value型的数据。
2022-09-09 15:14:37
157
原创 Spark调优问题以及个人建议
如果的确不需要sortHashShuffle的排序机制，那么除了使⽤bypass机制，还可以尝试 将spark.shuffle.manager参数⼿动调节为hash，使⽤hashShuffleManager，同时开启consolidate机制。调优建议：如果作业可⽤的内存资源较为充⾜的话，可以适当增加这个参数的⼤⼩(⽐如64k)，从⽽减少shuffle write过程中溢写磁盘⽂件的次数，也就可以减少磁盘IO次数，进⽽提升性能。在实践中发现，合理调节该参数， 性能会有1到5%的提升。
2022-09-09 14:34:29
568
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人