spark中SQLContext的使用

最新推荐文章于 2023-03-24 22:51:31 发布

sisi.li8

最新推荐文章于 2023-03-24 22:51:31 发布

阅读量4.1k

点赞数 1

分类专栏： spark 文章标签： SQLContext

本文链接：https://blog.youkuaiyun.com/qq_35885488/article/details/88579025

版权

本文介绍了Spark1.x中的SQLContext，它是Spark SQL的入口点。通过创建maven工程，构建Scala程序处理JSON数据来展示SQLContext的使用。文中详细说明了如何设置项目结构、配置参数，并提供了在Linux环境下执行的示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SQLContext的使用

Spark1.x中Spark SQL的入口点：SQLContext
下面是摘自官网的介绍

The entry point into all functionality in Spark SQL is the SQLContext class, 
or one of its descendants. To create a basic SQLContext, all you need is a SparkContext.

val sc: SparkContext // An existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)

// this is used to implicitly convert an RDD to a DataFrame.
import sqlContext.implicits._

下面我们来在IDEA中构建一个SQLContext的示例

我们首先构建一个maven工程，勾上create from archetype框，选中****:scala-archetype-simple,具体如图示
下一步填上GroupId,ArtifactId,Version等
指定maven仓库的安装目录：看图
当maven项目构建好后，删除main下面的自动为我们构建的.App程序，以及test下的的单元测试类，在依赖中有单元测试相关的依赖，可以删除。
下面开始写Spark程序，补充一下，在写代码之前我们的scala环境是需要安装好的，安装过程十分简单，我的版本是2.11.12，由于本机scala版本不能低于maven中指定的版本，请各位务必注意