
spark
文章平均质量分 62
AA赵师傅
人家只是个小职员啦,工作多,没提成。别人休假我加班。房贷没还清,保险自己买,不过好在我不用交停车费,因为我根本买不起车。
展开
-
SPARK基本编程
SPARK基本编程原创 2022-08-16 09:16:54 · 3561 阅读 · 0 评论 -
spark任务依赖与集群依赖环境不一致解决
spark报错java.lang.NoClassDefFoundError一般为spark任务依赖与集群依赖环境不一致导致,为了快速解决该问题原创 2022-08-12 15:57:25 · 885 阅读 · 1 评论 -
Saprk基本架构原理简介
一,简介 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS...原创 2018-06-18 19:26:16 · 421 阅读 · 0 评论 -
Spark性能调优总结
1、Spark调优背景目前Zeppelin已经上线一段时间,Spark作为底层SQL执行引擎,需要进行整体性能调优,来提高SQL查询效率。本文主要给出调优的结论,因为涉及参数很多,故没有很细粒度调优,但整体调优方向是可以得出的。环境:服务器600+,spark 2.0.2,Hadoop 2.6.02、调优结果调优随机选取线上9条SQL,表横轴是调优测试项目,测试在集群空闲情况下进行,后一个的测...转载 2018-06-20 15:21:25 · 3430 阅读 · 1 评论