withme的博客

原文地址：https://blog.youkuaiyun.com/i6448038/article/details/52061287在看源码的时候出现了“<:” 符号，不知道怎么用，原文总结的很好， mark一下”<:”符号我们定义一个类：“Earth”class Earth { def sound(){ println("hello !") } }我们定义了一个子类：“Anima...

转自：http://wanshi.iteye.com/blog/2183906rdd的mapPartitions是map的一个变种，它们都可进行分区的并行处理。两者的主要区别是调用的粒度不一样：map的输入变换函数是应用于RDD中每个元素，而mapPartitions的输入函数是应用于每个分区。假设一个rdd有10个元素，分成3个分区。如果使用map方法，map中的输入函数会被调用10次；而使用m...

1.时间转日期val sdf = new SimpleDateFormat("yyyyMMdd") val date = sdf.format(new Date(time * 1000)) //转成毫秒