murphyZ的博客

spark2.0之后的sparkSQL 1、spark2.0以后，我们操作的sql的对象为DataSet， DataFrame只是DataSet[Row] (row是弱类型) DataSet有弱类型（untyped）和强类型（typed） 2、SparkSession作为新版本的上下文，可以用在sql和streaming中， SparkSession把SQLContext和HiveContext整...

1.1. DataFrame常用操作 1.1.1. DSL风格语法 //查看DataFrame中的内容 personDF.show //查看DataFrame部分列中的内容 personDF.select(personDF.col(“name”)).show personDF.select(col(“name”),col(“age”)).show personDF.select(“name”)...

整理至spark官网 (官网：http://spark.apache.org) 1、What is sparkSQL? (概念) 2、HQL(hive sql)与sparkSQL的对比 3、dataframes(概念、DF创建、DF常用操作(DSL风格、SQL风格)) 1、What is sparkSQL? (概念) Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象...