lisery的博客

1.上传scala部署包至虚拟机，解压缩解压scalatar –zxvf scala-2.11.8.tgz配置环境变量vi /etc/profileexport SCALA_HOME=/usr/tools/scala-2.11.8export PATH=$PATH:$SCALA_HOME/bin是环境变量生效source /etc/profile检查安装成功：...

1.scala部署解压scalatar –zxvf scala-2.12.0.tgz配置环境变量vi /etc/profileexport SCALA_HOME=/usr/tools/scala-2.12.0export PATH=$PATH:$SCALA_HOME/bin使环境变量生效source /etc/profile检查安装成功： scala ...

1.reducereduce(binary_function)reduce将RDD中元素前两个传给输入函数，产生一个新的return值，新产生的return值与RDD中下一个元素（第三个元素）组成两个元素，再被传给输入函数，直到最后只有一个值为止。val c = sc.parallelize(1 to 5)c.reduce((x, y) => x + y)结果为：15流...

大数据处理中有一个典型的例子WordCount,类似与Hello World的作用，map阶段主要是将单词转换为(word,1)的形式，在reduce阶段则是将Key值相同的1累加求和，最终得到的结果就是单词的count数。假设map的结果为(word,(m,n))如果按照key值将对应的列累加起来呢？比如经过map的数据集是这样的("happy",1,3),("hello",2,6),("hap...

scala中的case语法与java中的switch语法类似，但比switch更强大：例子一 正则匹配：val Pattern="(s.*)".r val v1="spark"; val r=v1 match { case Pattern(v1)=> "begin s*" case "1"=> "1" case