qq_42740899的博客

hive的简单优化

1. map def map[U: ClassTag](f: T => U): RDD[U] = withScope { val cleanF = sc.clean(f) new MapPartitionsRDD[U, T](this, (_, _, iter) => iter.map(cleanF)) }逐条输入，逐条输出，数量不会发生改变，输入输出类型可以改变 // map val dataRDD: RDD[Int] = sc.makeRDD(List(

hive 常用语句总结