kismet2399的博客

该文章记录使用的spark的基本操作 import breeze.numerics.pow import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession object template { def kismet(): Unit = { val spark = SparkSession.builde...

DataFrame 的函数 Action 操作 1、collect() ,返回值是一个数组，返回dataframe集合所有的行 2、collectAsList() 返回值是一个Java类型的数组，返回dataframe集合所有的行 3、count() 返回一个number类型的，返回dataframe集合的行数 4、describe(cols: String*) 返回一个通过数学计算的...

集合函数 approx_count_distinct count_distinct近似值 avg 平均值 collect_list 聚合指定字段的值到list collect_set 聚合指定字段的值到set corr 计算两列的Pearson相关系数 count 计数 countDistinct 去重计数 SQL中用法 select count(distinct class) covar...