Claroja

数据格式为： http://python.cn/wei http://python.cn/wei http://java.cn/zhang http://java.cn/zhang package spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Teach...

参数 描述 def apply( x: T, xs: T* ): Array[T] 创建指定对象 T 的数组, T 的值可以是 Unit, Double, Float, Long, Int, Char, Short, Byte, Boolean。 def concat[T]( xss: Array[T]* ): Array[T] 合并数组 def copy( src: An...

方法 描述 char charAt(int index) 返回指定位置的字符 int compareTo(Object o) 比较字符串与对象 int compareTo(String anotherString) 按字典顺序比较两个字符串 int compareToIgnoreCase(String str) 按字典顺序比较两个字符串，不考虑大小写 String ...

package spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object ScalaWordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppN...

参考： https://www.cnblogs.com/xuliangxing/p/7279662.html

占坑

cache方法，没有生成新的RDD，也没有触发任务执行，只会标记该RDD分区对应的数据（第一次触发Action时）放入到内存 checkpint方法，没有生成新的RDD，也是没有触发Action，也是标记以后触发Action时会将数据保存到HDFS中 ...

#spark action val rdd1 = sc.parallelize(List(1,2,3,4,5), 2) # 2是分区，就是task数量，默认是可用的核数 rdd1.saveAsTextFile(“hdfs://node:9000/test”) # 会有三个结果 val rdd = sc.textFile(“hdfs://node:9000/wc”) rdd.partitions...

RDD Transformation特点 1.lazy，不存储数据 只记录操作 2.生成新的RDD sortBy val rdd2 = sc.parallelize(List(5,6,4,7,3,8,2,9,1,10)).map(_*2).sortBy(x=>x,true) # 升序 val rdd2 = sc.parallelize(List(5,6,4,7,3,8,2,9,1,10))...

挖坑

RDD并不存储数据，会在Driver端转换为Task，下发到Executor分散在多台集群上的数据 创建RDD的三种方式 1.读取文件：sc.textFile("hdfs://node:9000/wc") 2.将Driver端的scala集合转换为RDD：sc.parallelize(arr) 3.RDD的Transformation会生成一个新的RDD 读取文件 1.读取本地文件： val in...

cd /usr/local 进入要安装的目录 tar -zvxf spark-2.0.2-bin-hadoop2.6.tgz 安装 启动spark 在sprk/conf/spark-env.sh添加JAVA_HOME export JAVA_HOME=/usr/local/jdk1.8.0_221/ 运行sbin目录下的start-all.sh 提交第一个spark应用到集群中运行 bin/sp...