kismet2399的博客

该文章记录使用的spark的基本操作import breeze.numerics.powimport org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSessionobject template { def kismet(): Unit = { val spark = SparkSession.builde...

DataFrame 的函数Action 操作1、collect() ,返回值是一个数组，返回dataframe集合所有的行2、collectAsList() 返回值是一个Java类型的数组，返回dataframe集合所有的行3、count() 返回一个number类型的，返回dataframe集合的行数4、describe(cols: String*) 返回一个通过数学计算的...

集合函数approx_count_distinctcount_distinct近似值avg平均值collect_list聚合指定字段的值到listcollect_set聚合指定字段的值到setcorr计算两列的Pearson相关系数count计数countDistinct去重计数 SQL中用法select count(distinct class)covar...