
SparkSQL
lvtula
这个作者很懒,什么都没留下…
展开
-
SparkSQL的3种Join实现
版权声明:本文为博主原创文章,转载请联系微信doggie_wang。 https://blog.youkuaiyun.com/doggie_wangtao/article/details/53574034 引言 Join是SQL语句中的常用操作,良好的表结构能够将数据分散在不同的表中,使其符合某种范式,减少表...转载 2018-09-26 13:50:55 · 812 阅读 · 0 评论 -
Dataframe中na.fill的用法
对两个数据表如A,B取JOIN操作的时候,其结果往往会出现NULL值的出现。 这种情况是非常不利于后续的分析与计算的,特别是当涉及到对这个数值列进行各种聚合函数计算的时候。 Spark为此提供了一个高级操作,就是:na.fill的函数。 其处理过程就是先构建一个MAP,如下: val map =...转载 2019-10-04 22:15:49 · 5064 阅读 · 0 评论