Spark(24) -- Spark SQL -- Spark SQL查询代码实现(scala版)

最新推荐文章于 2024-05-21 17:53:11 发布
原创 最新推荐文章于 2024-05-21 17:53:11 发布 · 838 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文详细介绍了如何在Scala中通过Spark SQL将RDD转换为DataFrame，包括三种转换方法：利用反射机制的case class、StructType指定Schema以及直接指定列名。还探讨了Spark SQL的花式查询、相互转换以及在HiveContext中的操作，为Spark SQL的使用提供了全面的示例。

1. 编写Spark SQL程序实现RDD转换成DataFrame

 前面我们学习了如何在Spark Shell中使用SQL完成查询，现在我们通过IDEA编写Spark SQL查询程序。
 Spark官网提供了两种方法来实现从RDD转换得到DataFrame，第一种方法是利用反射机制，推导包含某种类型的RDD，通过反射将其转换为指定类型的DataFrame，适用于提前知道RDD的schema。第二种方法通过编程接口与RDD进行交互获取schema，并动态创建DataFrame，在运行时决定列及其类型。
 第1种：指定列名添加Schema
 第2种：通过StructType指定Schema
 第3种：编写样例类，利用反射机制推断Schema

第一步：创建maven工程并导入依赖jar包

<properties>
        <scala.version>2.11.8<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
spark学习-scala版写的SparkSQL程序读取Hbase表注册成表SQL查询
九师兄
08-17 2521
1.我写了一个程序，读取hbase中的五个表并且做连接查询，在eclise中本地可以直接测试，没有配置文件，直接把hbase和spark的jar包拷贝进去就可以了package sparlsql.hbase;import org.apache.hadoop.hbase.client._ import org.apache.hadoop.hbase.io.ImmutableBytesWritable
基于scala语言编写的SparkSQL
03-07
文档以scala语言编写了sparkSQL查询数据的方式，没有打jar包运行，在spark命令行测试通过
《Spark 编程基础（Scala 版）》第 6 章 Spark SQL 实验 5 Spark SQL 编程初级实践 （超级详细版）
最新发布
wqqstudy的博客
05-21 3424
《Spark 编程基础（Scala 版）第 1 页》第 6 章 Spark SQL 实验 5 Spark SQL 编程初级实践 （超级详细版）
在scala中使用spark sql解决特定需求
三劫散仙
07-20 697
spark sql一个强大之处就是能够嵌在编程语言内执行，比如在java或者scala，Python里面，正是因为这样的特性，使得spark sql开发变得更加有趣。 比如我们想做一个简单的交互式查询，我们可以直接在linux终端直接执行spark sql查询hive来分析，也可以开发一个jar来完成特定的任务。 有些时候单纯的使用sql开发可能功能有限，比如我有下面的一个功能：...
SparkSQL & Scala
weixin_34389926的博客
10-17 321
Spark SQL重度依赖Scala的语言特性，让SQL编译程序变得简单直接，特别是Spark SQL其核心代码库Tree结构，作者用直接明了的展示了代码，如何完成语法树的操作和变化，包括基于规则的性能优化等，把Scala语言的特性发挥淋漓极致，是学习Spark SQL内核代码的必备教材。 精力有限，展示部分 篇幅过长，原文浏览www.slidestalk.com/s/...
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
08-28
它提供了一组高级APIs，支持批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）和机器学习（MLlib）等多种数据处理任务。Spark 3.2.4是其稳定版本，引入了多项性能优化和新特性。 2. **Hadoop**: ...
精选资源
spark-sql_2.11-2.4.0-cdh6.1.1.jar
05-14
spark-sql_2.11-2.4.0-cdh6.1.1.jar
基于scala的spark-sql操作+源代码+文档说明
03-26
- 不懂运行，下载完可以私聊问...3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
精选资源
Spark-Scala-Maven-示例：Spark，Scala项目的示例Maven配置
02-03
Spark的核心特性包括支持批处理、交互式查询（通过Spark SQL）、实时流处理（通过Spark Streaming）以及机器学习库（MLlib）和图形处理（GraphX）。 Scala是Spark的主要编程语言，它是一种静态类型的多范式编程语言...
精选资源
spark-tpc-ds-performance-test：使用TPC-DS基准测试Spark SQL性能
02-03
2. **查询优化**：Spark SQL的 Catalyst 模块负责查询优化，包括代码生成和物理计划选择。通过理解查询执行计划，我们可以发现不必要的 shuffle 操作或优化join策略。 3. **资源调度**：调整executor的数量、大小和...
Baidu基于Spark SQL构建即席查询平台
08-10
Baidu基于Spark SQL构建即席查询平台
Spark-SQL-Scala编程
dlphay的博客
08-07 418
使用Scala语言编程例程： 方式一：通过 case class 创建 DataFrames（反射） //定义case class，相当于表结构 case class People(var name:String,var age:Int) object TestDataFrame1 { def main(args: Array[String]): Unit = { val con...
使用Scala编写sparkSQL
ZZPJackie的博客
07-03 1942
1. 创建联接: spark1.x: val conf = new SparkConf().setAppName(“spark sql one”).setMaster(“local[*]”) val sc = new SparkContext(conf) //创建SQLContext对象 val sqlContext = new SQLContext(sc) spark2.x: val spark = SparkSession .builder() .appName(“Spark S
sparkSQL入门和实践(scala)
every place is the center of the universe
05-10 1051
spark sql 什么是spark sql? Spark SQL 是 Spark 用来处理结构化数据的一个模块，它提供了 2 个编程抽象：DataFrame 和 DataSet，并且作为分布式 SQL 查询引擎的作用 spark sql特点 Spark SQL 的特点 1）易整合 2）统一的数据访问方式 3）兼容 Hive 4）标准的数据连接 什么是 DataFrame 与 RDD 类似，DataFrame 也是一个分布式数据容器。然而 DataFrame 更像传统数据库的二维 表格，除了数据以外，还记录
人人都懂Spark-SQL基础操作（Scala版）
二哥为啥不像程序员？
07-14 2050
Spark SQL 简单的说Spark SQL是spark用来操作结构化和半结构化数据的接口。本文来讲述一下它的一些基本操作。 Spark SQL的特性 无缝地将SQL查询和spark程序混合，与常规的Python/Java/scala代码高度整合，包含了连接RDD与SQL表、公开的自定义SQL函数接口等。 可以从各种结构化数据源中读取数据，如（JSON、HIVE等） 可以通过JDBC或...
使用scala开发SparkSql程序
虾哔哔的博客
05-03 4502
依赖 &lt;properties&gt; &lt;maven.compiler.source&gt;1.7&lt;/maven.compiler.source&gt; &lt;maven.compiler.target&gt;1.7&lt;/maven.compiler.target&gt; &lt;encoding&gt;UTF-8&lt;/...
Spark3.2教程（六）IDEA下Scala开发Spark SQL
Java朱老师博客
12-21 1815
Spark SQL是为了提供对结构化数据处理而推出的技术。        Spark自带的例子还是比较详尽而浅显易懂的。本次Spark SQL，我们通过研究Spark自带的教程demo来学习。 Spark自带的demo在examples\src\main目录下，如下图所示，针对相同技术提供了不同语言的实现方式，总体而言还是S ...
SparkSql DataSet和RDD互相转换 (Scala)
张俊杰 的博客
11-21 1064
DataSet转RDD 调用rdd方法即可 import org.apache.spark.rdd.RDD import org.apache.spark.sql.SparkSession object DS2RDD { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession .builder() .master("local[*]") .appName(
Spark-Spark Sql(DataFrame、DataSet、Scala代码开发、数据的加载和保存)
迷雾总会解
12-17 2141
Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

erainm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值