SparkSql 常见使用

最新推荐文章于 2024-06-18 08:45:00 发布
最新推荐文章于 2024-06-18 08:45:00 发布
阅读量230 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36698213/article/details/101016453
本文详细介绍如何使用SparkSession替代SparkContext进行数据处理，包括读取文件、转换RDD、创建临时表并执行SQL查询，以及DataFrame间的Join操作，提供了一套完整的实践案例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. 使用sparkSession代替sparkContext
  2. sparkSession读各种源:
  • 读文件:val peopleDf = spark.read.textFile("E:\\07-hadoop\\01-spark\\sql\\people.txt")
  1. df转rdd : val peopleDs = peopleDf.rdd
  2. 将rdd变换为一行一行:
    val peopleRdd = peopleDs.map(line => Row(line.split(",")(0), line.split(",")(1).toInt))
  3. 通过rdd和schema 创建临时表 spark.createDataFrame(peopleRdd,schema).createOrReplaceTempView("people")
  4. 使用sql查询临时表:val peopleSqlDf = spark.sql("select * from people")
  5. 两个dateFrame之间join等操作:

val rdd =

      locationSqlDf.join(peopleSqlDf,locationSqlDf("name") === peopleSqlDf("name")).drop(locationSqlDf("name")).toDF()

SparkSQL函数
howard2005的专栏
01-18 761
SparkSQL提供了丰富的内置函数，用于数据处理和分析。这些函数包括字符串操作、日期时间处理、数学计算、聚合函数以及窗口函数等。通过使用这些函数，用户可以高效地进行数据转换、过滤和聚合操作。SparkSQL还支持用户自定义函数（UDF），以满足特定需求。这些函数使得在分布式环境中处理大规模数据变得更加便捷和灵活。
SparkSQL日期时间模式详解
SunnyRivers
08-26 444
SparkSQL中的日期时间模式，可能大部分人只了解其中的某部分内容，我们尽可能的把所有的日期模式进行一个全面的了解，这样在使用的时候就能游刃有余。
附录A Spark2.1核心工具类Utils
beliefer的博客
01-25 3599
注：本文是为了配合《Spark内核设计的艺术 架构设计与实现》一书的内容而编写，目的是为了节省成本、方便读者查阅。书中附录A的内容都在本文呈现。 Utils是Spark最常用的工具类之一，Spark Core大量使用了此类提供的基础功能。即使不关心其实现也不会对理解本书对Spark源码的分析有太多影响。下面将逐个介绍Utils提供的方法。getSystemProperties功能描述：获取系统属...
sparksql 简单使用
allen的博客
07-31 1070
第一种: 通过case classpackage cn.lijieimport org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.SQLContext /** * Created by jie on 2017/7/31. */ object SparkSql01 { def main(args:
Spark SQL的基本使用和操作
qq_66369005的博客
06-18 2568
​ Spark SQL是一个用于结构化数据处理的Spark组件。所谓结构化数据，是指具有Schema信息的数据，例如JSON、Parquet、Avro、CSV格式的数据。与基础的Spark RDD API不同，Spark SQL提供了对结构化数据的查询和计算接口。将SQL查询与Spark应用程序无缝组合​ Spark SQL允许使用SQL或熟悉的API在Spark程序中查询结构化数据。
Spark SQL创读取文本文件
BigData
09-02 4130
1.在本地创建一个文件，有id、name、age三列，用空格分隔，然后上传到hdfs上. vim /root/person.txt 1 zhangsan 20 2 lisi 29 3 wangwu 25 4 zhaoliu 30 5 tianqi 35 6 kobe 40 上传数据文件到HDFS上： hadoop fs -put /root/person.txt / 2.打开s...
Spark-03: Spark SQL 基础编程
m0_37559973的博客
12-05 816
Spark SQL是Apache Spark的一个模块，用于处理结构化数据。它提供了两种编程抽象：DataFrame和DataSet，并作为分布式SQL查询引擎。
sparksql常见的问题
最新发布
05-09
### Spark SQL 常见问题及解决方法 #### 1. 数据读取失败 当尝试从外部数据源（如 MySQL、Hive 等）读取数据时，可能会遇到连接失败或找不到驱动程序的情况。这通常是因为缺少必要的 JDBC 驱动文件或者未正确配置...
SparkSql常见内置函数
doujiayun3939的博客
01-02 2132
字符串： 1.concat对于字符串进行拼接 concat(str1, str2, ..., strN) - Returns the concatenation of str1, str2, ..., strN. Examples:> SELECT concat('Spark', 'SQL');　　SparkSQL 2.concat_ws在拼接的字符串中间添加某种格式 concat...
sparksql使用规范
03-19
首先，我要回想一下SparkSQL的基本概念和常见的最佳实践。SparkSQL是Apache Spark中处理结构化数据的模块，它允许用户使用SQL或DataFrame API进行数据操作。使用规范通常包括性能优化、代码可读性、资源管理等方面。...
Apache SparkSQL DataFrame 读取文本文件
大数据流浪法师的学习笔记与分享
04-09 1038
DataFrame 读取文本文件 1.在本地创建一个文件，有id、name、age三列，用空格分隔，然后上传到hdfs上 vim person.txt 1 zhangsan 20 2 lisi 29 3 wangwu 25 4 zhaoliu 30 5 tianqi 35 6 kobe 40 上传数据文件到HDFS上： hadoop fs -put person.txt / 2.在spar...
sparkSQL读取数据的方法
chenqu108的博客
07-27 9247
本文中所有数据以本地数据为数据源 1、读取json文件 object ReadJson { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().appName("testpeople").master("local") .getOrCreate() import ...
sparksql语法，通过编程方式读txt
莫等闲
01-08 1314
Programmatically Specifying the Schema（以编程的方式指定schema） scala> val people = sc.textFile("hdfs://node1:8020/test/input/people.txt") people: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[1] at te
解决：Spark DataFrame 读取 text（文本文件）乱码
修行修心
08-08 5574
解决：Spark DataFrame 读取 text（文本文件）乱码
如何使用spark-submit提交sparkSQL任务
热门推荐
vic_torsun的博客
08-27 1万+
前言 本文介绍了使用java开发spark sql应用程序提交到yarn上运行的全过程，并介绍解决了一些开发和提交中常见的问题。 准备 首先我们要搭建好spark on yarn的集群环境，我是用cdh安装和cloudera manager进行维护的。 这里用到的组件主要有yarn、hdfs和hive。 对于开发人员来说唯一要准备的就是代码开发环境，使用idea创建一个maven项目，在pom....
spark sql教程_如何使用Spark SQL：动手教程
cumo7370的博客
07-08 880
spark sql教程 在本系列的第一部分中，我们研究了使用Apache Spark SQL和DataFrames “大规模”利用关系数据库的功能方面的进展。 现在，我们将基于现实世界的数据集做一个简单的教程，以了解如何使用Spark SQL。 我们将使用Spark DataFrames，但重点将更多地放在使用SQL上。 在另一篇文章中，我将详细介绍Spark DataFrames和常见操作。 ...
Spark中常用工具类Utils的简明介绍
beliefer的博客
03-16 9626
Utils是Spark中最常用的工具类之一，如果不关心其实现，也不会对理解Spark有太多影响。但是对于Scala或者Spark的初学者来说，通过了解Utils工具类的实现，也是个不错的入门途径。下面将逐个介绍Utils工具类提供的常用方法。
Spark sql的简单使用
啊帅和和的博客
11-12 6694
目录加载依赖spark sql简单入门Spark sql简单应用应用配置读取文件读取文本文件并展示数据show()将数据完全显示读取json文件读取jdbc文件读取也锁格式的文件文件将数据以压缩格式存储parquet或者orc格式存储读取数据注册成视图并写SQL直接写sql类sql的模式写出文件到别的路径RDD和DF的相互转换RDD转换成DFDF转换成RDDDF中函数的使用wherefilterselect聚合函数的位置（agg）join直接写sql 加载依赖 依赖这个东西，只要注意几个依赖之间的相互关系能
SparkSQL 基本使用
Realoyou的博客
06-08 1309
简介 SparkSQL可以直接使用SQL的方式处理结构化数据，也可以通过DataFrame（spark1.3)和Dataset(spark1.6) API 使用编程的方式处理结构化数据，本文只介绍以DataFrame API的方式编程，至于DataFrame 和Daraset有何不同，我们暂时将二者先理解为一个概念，DataFrame API支持多种编程语言，如Java,Scala,Pytho...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值