BlueLotuss的博客

spark学习笔记—核心算子(二)distinct算子 /** * Return a new RDD containing the distinct elements in this RDD. */ def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope { def removeDuplicatesInPartition(partition: Iterator[

spark学习笔记—核心算子(一)HashPartitioner的决定分区的逻辑核心方法 def getPartition(key: Any): Int = key match { case null => 0 case _ => Utils.nonNegativeMod(key.hashCode, numPartitions) } /* Calculates 'x' modulo 'mod', takes to consideration sign of x,

Scala中的泛型详解类型参数可以用在类、接口和方法中，分别被称为泛型类、泛型接口、泛型方法类型参数**调用时不指定[T]：可以通过给泛型声明的变量传递值来让scala自动推断泛型的实际类型；返回的是使表达式编译通过的合适的类型；在编译时不会检查类型是否满足**调用时指定[T]：可以在函数的调用时候指定泛型的类型；则返回对就必须是T类型；会在编译时检查类型，不满足泛型规则编译不通过泛型类在类声明时，定义一些泛型类型，然后在类的内部，就可以使用这些泛型类型在需要对类中的某些

快学scala学习笔记var和val的区别val和var的区别内容是否不变val修饰的变量在编译后，等同于加上final是否可以有lazy修饰.val修饰的变量还可以用lazy修饰只有val修饰的变量才能被lazy修饰；使用lazy定义变量后，只有在调用该变量时才会实例化这个变量的值。而且惰性变量只能是不可变变量；类似方法,先声明,后调用scala> val a = 10a: Int = 10scala> lazy val b = 100b: Int = <laz