SparkSQL DataFrame进阶篇

最新推荐文章于 2025-05-27 12:02:37 发布

原创

最新推荐文章于 2025-05-27 12:02:37 发布 · 644 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#sparksql #dataframe

本文深入探讨SparkSQL DataFrame的创建与操作，包括通过不同方式创建DataFrame、修改列名、数值统计、select、filter、聚合操作等。重点讲解了如何使用withColumn、groupBy、agg和pivot等高级功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SparkSQL DataFrame基础篇
 SparkSQL DataFrame进阶篇

1.创建SparkSession【2.0】和 SQLContext实例【1.x】

1.创建SparkSession【2.0】
///spark2.0后，用sparksession代替sparkcontext和sqlcontext的创建
val spark= SparkSession.builder().appName("SparkSQLTest").getOrCreate()
val numbers=spark.range(1 ,10, 2)
numbers.show()

2.创建SQLContext实例【1.x】
val conf= new SparkConf().setAppName("SQL_Advanced_case").setMaster("local")
val sc=new SparkContext(conf)
val sqlContext=new SQLContext(sc)
import.sqlContext.implicits._

2.创建DataFrame

方式1:不创建RDD

使用createDataFram方法，直接基于列表List创建DataFrame.缺点是创建出来的DataFrame没有列名

val customerData=List(("Alex","浙江",39,230.00), ("Bob","北京", 18, 170.00), ("Chris", "江苏", 45, 529.95), ("Dave", "北京", 25, 99.99), ("Ellie", "浙江", 23, 1299.95), ("Fred", "北京", 21, 1099.00))
val customerDF1=sqlContext.createDataFrame(customerData)
customerDF1.printSchema