sunspeedzy的博客

有几种创建初始 RDD 的方式：1. 通过Scala 集合创建 RDD使用SparkContext的parallelize方法，为Scala集合的数据指定分片数，存储到内存中。例如：sc.parallelize(List(1,2,3), 2);//对List(1, 2, 3)进行并行化, 并行度为2（把scala的Seq序列，分为2片）2. 通过读取本地文件或HDFS

原文地址：http://www.cnblogs.com/MOBIN/p/5373256.html0. filterRDD1经过filter过滤，转换成RDD2，但RDD2和RDD1的分区数是一样的，只不过RDD2的有些分区没有数据filter只会影响分区内数据的变化，不会影响分区数的变化基础转换操作： 1.map(func)：数据集中

1.reduce(func):通过函数func先聚集各分区的数据集，再聚集分区之间的数据，func接收两个参数，返回一个新值，新值再做为参数继续传递给函数func，直到最后一个元素 2.collect():以数据的形式返回数据集中的所有元素给Driver程序，为防止Driver程序内存溢出，一般要控制返回的数据集大小 3.count()：返回数据集元素个数

原文地址：http://www.cnblogs.com/MOBIN/p/5384543.html1.mapValus(fun):对[K,V]型数据中的V值map操作(例1)：对每个的的年龄加212345678910obj

Accumulator(累加器， 计数器)类似于MapReduce中的counter， 将数据从一个节点发送到其他各个节点上去；通常用于监控， 调试， 记录符合某类特征的数据数目等累加器在Driver端被读取，使用的是 Accumulator.value累加器在Executor端被读取，使用的是 Accumulator.localValue，获取的是Executor本地的值。Exe...

RDD的缓存级别顺便看一下RDD都有哪些缓存级别，查看 StorageLevel 类的源码：object StorageLevel { val NONE = new StorageLevel(false, false, false, false) val DISK_ONLY = new StorageLevel(true, false, false, false) val DISK_ON

输入目录大小为1GB， spark为何产生了8个或100个任务？ Spark程序的Reduce task为何是200个， 如何减小？   Spark如何访问hbase？Spark cache如何使用？

spark-submit --master local --class demo.SparkPi SparkDemo/target/SparkDemo-1.0-SNAPSHOT.jar基本运行方式  spark-submit --master local/yarn-client/yarn-cluster 类名 jar包路径

答案是否定的。

答案是否定的

原文链接：http://m.blog.youkuaiyun.com/article/details?id=518227651：Spark的运行模式2：Spark中的一些名词解释3：Spark的运行基本流程4：RDD的运行基本流程一：Spark的运行模式        Spark的运行模式多种多样，灵活多变，部署在单机上时，既可以用本地模式运行，也可以

今天发现了RDD缓存时的一个小坑，百度没有多少关于这个坑的介绍，也许是太简单了。不过我还是写下来，免得自己以后再被陷进去。在Spark-shell中运行这样的代码val rdd=sc.textFile("/zhangyan/result20190822.txt").map(x=>{(x.substring(0,25), x)}).cacherdd.take(20)然后，删除...

问题：提交一个Spark Job，在Spark UI中，显示部分Executor为Dead状态，而Dead的Executor的Failed Tasks为0查找问题原因：查看Dead Executor的stderr日志在Executor Shutdown前，只有一个ErrorERROR executor.CoarseGrainedExecutorBackend: RECEIVED S...