Spark SQL 学习笔记（更新自用）

最新推荐文章于 2024-12-06 09:56:08 发布

「已注销」

最新推荐文章于 2024-12-06 09:56:08 发布

阅读量231

点赞数

本文链接：https://blog.youkuaiyun.com/weixin_43777983/article/details/104852439

版权

本文是作者关于Spark SQL的学习笔记，详细记录了Spark SQL的基本概念、数据源操作、DataFrame/Dataset API使用，以及如何进行复杂查询和性能调优。通过实例展示了如何在大数据处理中有效地运用Spark SQL。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

df操作
	show()	将数据按照表格的方式打印出来,也可以添加参数，返回若干条数据
	collect()	获取所有数据到Array 返回Array对象
	collectAsList()	获取所有数据到List 返回List对象

	查询指定字段

	select("字段名","字段名").show() 
	可以做数学运算
	select(col("字段名"),col("字段名"),col

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

「已注销」

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

大数据spark常用算子用法总结（个人学习笔记）

yuekangwei的博客

02-22

2584

楼主目前在百度实习，刚学spark时困难重重，幸亏在百度实习的导师的帮助，年前学会了spark，并跑了几个程序，现在将学习过程中整理的spark算子代码用法给整理出来。 #coding=utf-8 #!/usr/bin/python # from pyspark.sql import SQLContext, Row #导入pyspark模块 from pysp...

SparkSQL中的collect_set()函数对于输入类型的限制

qq_16759443的博客

07-17

4923

在HQL中，collect_set() 支持各种类型的字段的聚合； -- HQL 中可以执行如下操作 SELECT ssoid, collect_set(nickname)[0] AS nickname, collect_set(nat_code)[0] AS nat_code, collect_set(reg_brand)[0] AS reg_brand, collect_set(r...

参与评论您还未登录，请先登录后发表或查看评论

spark Sql 更新json数据

li93675的博客

08-19

434

有两个daframe，现在需要用backDF 中 new_id 更新 userDF 中的uid。由于环境原因，无法使用fastjson，故使用scala原生的json来解析。取出 userDF中的uid作为新的一列，与 backDF 进行join。scala 解析json，将js中的 uid 更新为新的 id。

Spark SQL学习笔记

单林敏的博客

01-30

283

Spark SQL概述 MapReduce有Hive作为调用接口，可以不用每次都手写MapReduce，而是让Hive自动生成MapReduce代码自己执行那么Spark框架就有类似的产品，Shark（完全照搬Hive的设计 Shark两个缺点因为完全照搬Hive，Hive是针对MapRudece开发的，所以Shark照搬了Hive就不好对Spark进行新增优化策略 Spark线程级运行，M...

spark SQL

Jon Shen的博客

12-28

2445

1. Spark下创建Dataframe 一般是通过SparkSession 导入数据来创建的。dataframe可以通过访问文件系统或创建RDD来获得。创建RDD来生成dataframe数据：调用spark.read.json()方法可以实现RDD到dataframe的转换，而且是直接执行的，但是创建临时表createOrReplaceTempView() 操作只有执行到dataframe动作时，创建临时表才会执行。 2. DataFrame查询和字段类型设置 spark 中的datafra

深入浅出云计算 ---笔记

热门推荐

我还是个菜鸟

10-15

2万+

spark sql一.概述1 spark历史2 Spark-SQL 概述2.1 特点2.2 作用2.3 Spark SQL架构图3 Dataset演进历史3.1 RDD3.1.1 优点3.1.2 缺点3.2 DataFrame3.2.1 优点3.2.2 缺点3.2.3 核心特征3.3 Dataset3.3.1 区别3.3.2 特点4 SparkSQL API4.1创建SparkSession4.2...

spark更新mysql数据

data_curd的博客

11-05

954

import java.sql.{Connection, DriverManager} import java.util.Properties import org.apache.spark.sql.{DataFrame, SparkSession} object Test01 { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .appName("Test01")

SQL SERVER Merge into语法

qq_44540985的博客

12-27

880

含义 MERGE 语句是首先对源表和目标表都进行完全表扫描，然后拿源表和目标表检查，匹配条件，若成立则执行SQL语句1，不成立则执行SQL语句2,最执行SQL语句3。 MERGE [ TOP ( expression ) [ PERCENT ] ] [ INTO ] <操作表> --即将做插入、更新、删除的表 USING <源表或者数据集或者子查询> --用户提供匹配条件来源的集合或者表 ON <匹配条件> --可...

Spark DataFrame替换column中值

u013315228的博客

06-06

1万+

话不多说，上代码 import java.util.UUID import org.apache.spark.sql.{SaveMode, SparkSession} import org.apache.spark.sql.functions._ object TestReplaceAndFill { def main(args: Array[String]): Unit = ...

sparksql dataFrame 关于列的增删改操作

xnlej的博客

04-26

1万+

最近项目中用到spark和ES的集成，涉及到一系列对dataFrame列的操作，时间主要花在列的增删改上面。整个类采用的是spark+ES+Redis架构，ES存基础数据，redis 存储条件，根据redis的条件从ES筛选出符合条件的记录。val sqlContex = SparkSession.builder().master("local[2]") .appName("spark2ES"...

SparkSQL相关语句总结

就问你吃不吃药

10-26

1万+

1.in 不支持子查询eg. select * from src where key in(select key from test); 支持查询个数 eg. select * from src where key in(1,2,3,4,5); in 40000个耗时25.766秒 in 80000个耗时78.827秒 2.union all/union不支持顶层的union all eg. s

Spark2.0 插入/更新mysql数据(scala)

@羲凡—只为更好的活着

05-06

3950

@羲凡——只为了更好的活着 Spark2.0 插入/更新mysql数据(scala) 特别强调楼主使用spark2.3.2版本 1.准备工作在pom.xml文件中要添加 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId&gt...

SparkSql批量插入或更新保存数据到Pgsql

xinji

03-08

3622

在sparksql 中,保存数据到数据,只有 Append , Overwrite , ErrorIfExists, Ignore 四种模式,不满足项目需求 ,现依据 spark save 源码,进行进一步的改造, 批量保存数据,存在则更新不存在则插入 ** *测试用例 * 批量保存数据,存在则更新不存在则插入 * INSERT INTO test_001 VALUE...

spark_sql & hive_sql

fengwuwer的博客

10-31

696

Sparksql中插入数据时，如果记.录不存在则insert，如果存在则update

linke1183982890的博客

04-19

3600

最近在写项目的时候，碰到了需要通过Sparksql对数据库数据根据主键进行存在即覆盖，不存在则追加的操作，记得在以前的使用2.1.0版本的spark的时候，我是使用了replace into完成了这种操作，但现在公司项目是2.3.1版本，replace into不被支持了，很郁闷，在网上找了很多相关操作的博客，都没有我想要的结果，最后干脆用代码解决问题！先上代码： Dataset<Row&...