jim8973的博客

分类 根据输入输出之间的关系来分类： UDF —— 输入一行，输出一行 UDAF —— 输入多行，输出一行 UDTF —— 输入一行，输出多行 UDF函数 1、数据 大狗 三国,水浒,红楼 二狗 金瓶梅 二条 西游,唐诗宋词 2、需求：求出每个人的爱好个数 3、实现 def main(args: Array[String]): Unit = { val spark = SparkSession.builder .master("local") .appName(t

DataFrame 在Spark中，DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库中的二维表格。DataFrame与RDD的主要区别在于，前者带有schema元信息，即DataFrame所表示的二维表数据集的每一列都带有名称和类型。这使得Spark SQL得以洞察更多的结构信息，从而对藏于DataFrame背后的数据源以及作用于DataFrame之上的变换进行了针对性的优化...

RDD转换DataFrame 方式1：使用反射来推断包含特定对象类型的RDD的模式 def inferReflection(spark: SparkSession) ={ val rdd = spark.sparkContext.textFile("D:\\ssc\\spark\\people.txt") //RDD => DF时需要的隐式转换 import spa...