idea spark sql一

weixin_44617428

于 2019-10-29 19:12:27 发布

阅读量110

点赞数

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/weixin_44617428/article/details/102806681

版权

spark 专栏收录该内容

17 篇文章

订阅专栏

本文介绍如何使用Apache Spark进行SQL数据处理，通过实例演示了如何创建DataFrame，执行SQL查询，并将结果保存到文件系统。文章详细展示了从创建SparkConf到执行SQL查询的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package cn.tedu.sql

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext

object Driver {

def main(args: Array[String]): Unit = {
val conf=new SparkConf().setMaster(“local”).setAppName(“sql”)

val sc=new SparkContext(conf)

//--创建SparkSql的上下文对象，用于将RDD->DataFrame,并可以提供基于sql方式操作表
val sqc=new SQLContext(sc)

val r1=sc.makeRDD(List((1,"tom",23),(2,"rose",18),(3,"jim",30),(4,"jary",20)))

//val df=sqc.createDataFrame(r1).toDF("id","name","age")

import sqc.implicits._
//--隐式的将RDD转变为DataFrame，即省略了createDataFrame方法
val df=r1.toDF("id","name","age")

df.registerTempTable("tb1")
val result=sqc.sql("select * from tb1 where age>20")

//--将查询结果存储
val resultRDD=result.toJavaRDD

resultRDD.saveAsTextFile("c://data/sql-result")

}
}