sinat_32176267的博客

1.性能调优1.1 分配更多资源分配哪些资源？Executor的数量每个Executor所能分配的CPU数量每个Executor所能分配的内存量Driver端分配的内存数量在哪里分配这些资源？# 在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数：/usr/local/spark/bin/spark-submit\--classcn.spark.sparktest.core.WordCountCluster \--num-ex

概览 1.转换 2.动作 1.Transformation 1.1一个RDD进行转换操作 1.2 两个RDD的转换操作 1.3对一个Pair RDD进行转化操作 1.4对两个PairRDD进行转换操作 2.Action 2.1对一个RDD进行行动操作 2.2Pair RDD行动操作 概览这里只有 Scala 的API，Java 与 Python...

1.Transformation操作<Java>主要做的是就是将一个已有的RDD生成另外一个RDD。Transformation具有lazy特性(延迟加载)。Transformation算子的代码不会真正被执行。只有当我们的程序里面遇到一个action算子的时候，代码才会真正的被执行对1.1一个RDD进行转换操作举例：对一个数组为{1, 2, 3, 3}的RDD进行基本的R...

在虚拟机上搭运行spark程序的时候： spark-submit --queue media --class test.SparkStreamingDemo --master yarn-cluster --executor-memory 2g --executor-cores 2 --conf spark.yarn.submit.waitAppCompletion=false ~/s...

是在本地windows配的，具体的如何配置其实要搞的麻烦事很多，多百度吧。编译环境：Spark2.3.1scala2.11.8jdk1.8hadoop2.6.5hive1.2.2kafka1.1.0Hbase1.4.5 一、新建工程：File-scala-idea二、指定工程名称，JDK版本，Scala版本。三、这里你看到的是scala项目，...

本教程主要总结SparkStreaming并打包在集群上提交的方式。需要先开启$ nc -lk 9999代码：import org.apache.spark.SparkConfimport org.apache.spark.storage.StorageLevelimport org.apache.spark.streaming.{Seconds, Streaming...

下载sbt地址：sudo mkdir /usr/local/sbtsudo chown -R hadoop /usr/local/sbt # 此处的 hadoop 为你的用户名cd /usr/local/sbt安装以后 把sbtlanuncher放在sbt目录下接着在 /usr/local/sbt 中创建 sbt 脚本（vim ./sbt），添加如下内容：#!/b...