Spark入门之六:SparkSQL实战

本文介绍了SparkSQL的SchemaRDD概念及其创建方式,包括通过RDD、Parquet文件和JSON文件。讨论了Spark1.1中的变化,如registerTempTable的使用,以及sql()替代hql()作为查询接口。此外,文章提到了SparkSQL的两种上下文:sqlContext和hiveContext,以及它们之间的关系和如何在hiveContext中切换SQL方言。最后,通过案例展示了如何使用Case Class、Parquet文件、JOIN操作以及与Hive的集成。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  1. 介绍

    SparkSQL引入了一种新的RDD——SchemaRDDSchemaRDD由行对象(Row)以及描述行对象中每列数据类型的Schema组成;SchemaRDD很象传统数据库中的表。SchemaRDD可以通过RDDParquet文件、JSON文件、或者通过使用hiveql查询hive数据来建立。SchemaRDD除了可以和RDD一样操作外,还可以通过registerTempTable注册成临时表,然后通过SQL语句进行操作。

    值得注意的是:

    lSpark1.1使用registerTempTable代替1.0版本的registerAsTable

    lSpark1.1hiveContext中,hql()将被弃用,sql()将代替hql()来提交查询语句,统一了接口。

    l使用registerTempTable注册表是一个临时表,生命周期只在所定义的sqlContexthiveContext实例之中。换而言之,在一个sqlContext(或hiveContext)中registerTempTable的表不能在另一个sqlContext(或hiveContext)中使用。

    另外,Spark1.1提供了语法解析器选项spark.sql.dialect,就目前而言,Spark1.1提供了两种语法解析器:sql语法解析器和hiveql语法解析器。

    lsqlContext现在只支持sql语法解析器(SQL-92语法)

    l

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值