CrazyAlisca的博客

import org.spache.spark.sql.functions._ import spark.implicits._ val df = sc.parallelize(Array(1.2,1.233453,2.45323445,3.22)) val df1 = df.toDF() df1.show() val df2 = df1.select(bround($"value...

this.getClass().getSimpleName().filter(!_.equals('$')) 点赞。。。。。谢谢

Transformation Untyped API 首先啰嗦一句，Spark SQL Dataset中主要分为Transformation和Action两种API(这个特性沿用了Spark RDD的特性，其中的Transformation也有懒计算的猥琐特性） 下面主要通过对比SQL语句的方式来记录下如何从一个DataFrame中获取某个字段 首先有个DataFrame，如下 perso...

Transformation Untyped API 前面一篇写了SELECT这个API的一些主要用法，本文打算通过一个SQL示例来展开讲述下Dataset其他常用的Untyped API，比如filter(类似于where),join,groupby 等等。 首先，描述下大概的需求： 表一，描述了一家五口人，有名字，年龄和性别，先在mysql中建表，并且插入数据 create table ...