
Spark2
chixushuchu
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark 性能调优
主要总结自Spark编程指南一间接调节二直接调节原创 2020-03-25 16:05:43 · 142 阅读 · 0 评论 -
spark 程序配置日志级别 通过log4j
spark 如何配置日志打印级别 Log4j.properties文件1、spark自身的打印级别首先明白如何设置spark本身的日志级别Edit yourconf/log4j.propertiesfile and change the following line:log4j.rootCategory=INFO, consoletolog4j.rootCateg...原创 2019-11-11 11:10:59 · 1339 阅读 · 0 评论 -
Spark 性能调优 从配置 以及代码层面 综合调优
前言调优之前调优大致方向1 Indirect Performance Enhancements 间接1 Design Choices1 Scala Versus Java Versus Python Versus R2 DataFrame Versus SQL versus Datasets versus RDDS2 Object Serialization in...原创 2019-11-06 15:07:22 · 665 阅读 · 0 评论