qq_24754737-优快云博客

原创 Java poi4.x兼容net.sf.jxls 1.0.6

POI4.x兼容jxls问题

2024-01-31 16:07:38 618

原创 SPARK内存参数和优化

spark.shuffle.memoryFraction 该参数用于设置shuffle过程中一个task拉取到上个stage的task的输出后，进行聚合操作时能够使用的Executor内存的比例，默认是0.2。也就是说，Executor默认只有20%的内存用来进行该操作。(3)对于task的执行,可能会创建很多对象.如果内存比较小,可能会频繁导致JVM堆内存满了,然后频繁GC,垃圾回收 ,minor GC和full GC.（速度很慢）.内存加大以后，带来更少的GC，垃圾回收，避免了速度变慢，性能提升。

2024-01-31 15:55:10 1128

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

qq_24754737的博客

原创 Java poi4.x兼容net.sf.jxls 1.0.6

原创 SPARK内存参数和优化

原创 MapReduce配置参数

原创 Spark SQL的数据倾斜解决方案：

原创总结：IDEA项目打jar包

dbeaver5.2.5

空空如也

原创 Java poi4.x兼容net.sf.jxls 1.0.6

原创 SPARK内存参数和优化

原创 MapReduce配置参数

原创 Spark SQL的数据倾斜解决方案：

原创 总结：IDEA项目打jar包

dbeaver5.2.5

空空如也

原创总结：IDEA项目打jar包