wayblink的博客

Spark on Yarn配置和问题解决软件版本： Nmae Version hadoop 2.7.3 Scala 2.13.0 Spark 2.1.0非常遗憾的发现，尽管是官方文档也可能不靠谱，费了好大劲，终于把Spark on Yarn配置成功了。遇到的主要的坑是，修改yarn-site.xml配置导致NodeManager没有正常启动，以及Spark-submi

Spark是一个分布式内存计算框架。关键词：分布式，内存，计算。本文将从这三个关键词总结Spark第一周的学习内容。分布式所谓分布式就是网络中多个主机上可以同时协同工作。所有的分布式框架，无论用于存储还是计算，分布式是前提。分布式必然带来的命题有：节点，容器，通信，调度。几乎绝大部分分布式框架都是主从式结构。Spark中的“主”称为Master，“从”称为Worker，一“主”多“

RDD宽依赖，窄依赖：1）窄依赖指的是每一个parent RDD的Partition最多被子RDD的一个Partition使用 2）宽依赖指的是多个子RDD的Partition会依赖同一个parent RDD的PartitionRDD的弹性：1）自动的进行内存和磁盘的存储切换； 2）基于Lingage的高效容错； 3）task如果失败会自动进行特定次数的重试； 4）stage如果失败会自动进

起因：测试过程中，发现一个spark的一个参数设置可以带来5倍以上的性能差异参数： spark.sql.parquet.enableVectorizedReaderSQL：SELECT * FROM ad_tetris_dw.ad_insight_record_hourly_test WHERE page_url = "www.chengzijianzhan.com/tetr...