AaronLwx的博客

Driver 中的 CoarseGrainedSchedulerBackend 给 CoarseGrainedExecutor­Backend 发送 LaunchTask 消息反序列化TaskDescription点击进入decode方法Executor会通过 launchTask执行 Task。点击进入launchTask方法Executor的launchTask...

通过上面两张图可以看到，执行start-master.sh脚本，最后会找到org.apache.spark.deploy.master.Master这个类我们接着来看看这个类是啥往下滚，滚到onStart函数我们再来看另外一个脚本start-slave.sh，一样的套路接着我们再来看spark-submit脚本直接看伴生类的main方法...

项目的最后一步是把IDEA中的程序打包上传到服务器上，并在服务器上面运行，在运行作业的过程中，出现了不少的问题，罗列如下我的jar包路径写错了spark-submit \--master yarn \--name "online_number" \--num-executors 1 \--executor-cores 1 \--executor-memory 2G \--...

1.准备1.1 本次测试的运行环境如下<spark.version>2.3.0</spark.version> <kafka.version>0.10.0-kafka-2.1.1</kafka.version> <scala.version>2.11.8</scala.version> <hadoop.ve...

http://spark.apache.org/docs/latest/quick-start.htmlQuick StartSecurity Interactive Analysis with the Spark Shell Basics More on Dataset Operations Caching Self-Contained Applications Wh...

打开spark-shell脚本上图可知，spark-shell脚本会调用spark-submit脚本，我们接着打开spark-submit脚本打开脚本 spark-class脚本 spark-submit在执行 spark-class脚本时，给它增加了参数 SparkSubmit 。 Spark 启动了以 SparkSubmit 为主类的 JVM 进程 。点击进入i...

没有进行cache时耗时：scala> dataRdd.flatMap(_.split(",")).map((_, 1)).reduceByKey(_+_).countres5: Long = 10加了一个cache，第一次执行scala> dataRdd.flatMap(_.split(",")).map((_, 1)).reduceByKey(...

假设你已经配好操作系统的LZO以及Hadoop的LZO这里直接去配Spark的LZO，不然Spark提交作业的时候如果涉及到文件操作的话会报错[hadoop@hadoop004 conf]$ pwd/home/hadoop/app/spark-2.3.3-bin-2.6.0-cdh5.7.0/conf[hadoop@hadoop004 conf]$ vim vim spark...

文档地址:http://spark.apache.org/docs/latest/cluster-overview.htmlCluster Mode OverviewThis document gives a short overview of how Spark runs on clusters, to make it easier to understand the componen...

很遗憾，如果按照官网第3个步骤那个链接去wget的话，会下载失败曲线救国[hadoop@hadoop004 src]$ wget https://archive.apache.org/dist/spark/spark-2.3.3/spark-2.3.3.tgz[hadoop@hadoop004 src]$ wget https://archive.apache.org/di...