longwenyanlan的博客

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.a...

Scala与Java的关系    Scala与Java的关系是非常紧密的！！    因为Scala是基于Java虚拟机，也就是JVM的一门编程语言。所有Scala的代码，都需要经过编译为字节码，然后交由Java虚拟机来运行。    所以Scala和Java是可以无缝互操作的。Scala可以任意调用Java的代码。所以Scala与Java的关系是非常非常紧密的。安装Scala  ...

函数的定义与调用    在Scala中定义函数时，需要定义函数的函数名、参数名、参数类型、函数体。    我们的第一个函数如下所示：   def sayHello(name: String, age: Int) = {      if (age > 18) { printf("hi %s, you are a big boy\n", name); age }       ...

使用yield和函数式编程转换数组    // 对Array进行转换，获取的还是Array    val a = Array(1, 2, 3, 4, 5)    val a2 = for (ele <- a) yield ele * ele    // 对ArrayBuffer进行转换，获取的还是ArrayBuffer    val b = ArrayBuffer[Int]...

Array    在Scala中，Array代表的含义与Java中类似，也是长度不可改变的数组。此外，由于Scala与Java都是运行在JVM中，双方可以互相调用，因此Scala数组的底层实际上是Java数组。例如字符串数组在底层就是Java的String[]，整数数组在底层就是Java的Int[]。   // 数组初始化后，长度就固定下来了，而且元素全部根据其类型初始化    val...

过程    在Scala中，定义函数时，如果函数体直接包裹在了花括号里面，而没有使用=连接，则函数的返回值类型就是Unit。这样的函数就被称之为过程。过程通常用于不需要返回值的函数。    过程还有一种写法，就是将函数的返回值类型定义为Unit。    def sayHello(name: String) = "Hello, " + name  def sayHello(nam...

变长参数        在Scala中，有时我们需要将函数定义为参数个数可变的形式，则此时可以使用变长参数定义函数。    def sum(nums: Int*) = {      var res = 0      for (num <- nums) res += num      res    }    sum(1, 2, 3, 4, 5)使用序列调用变长参数...

默认参数        在Scala中，有时我们调用某些函数时，不希望给出参数的具体值，而希望使用参数自身默认的值，此时就定义在定义函数时使用默认参数。    def sayHello(firstName: String, middleName: String = "William", lastName: String = "Croft") = firstName + " " + middl...

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import scala.Tuple2;imp...

import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object ScalaWordCount { def main(args: Array[String]): Unit = { if (args.size != 2) { println( ...