spark学习:如何用spark sql改造存储过程(以PostgreSql为例)

已于 2023-05-23 15:53:46 修改
阅读量1.1k 收藏 1
点赞数
分类专栏： Spark 文章标签： spark 学习 sql
于 2023-05-04 11:17:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/nzbing/article/details/130422733
版权
本文探讨如何利用Spark SQL对PostgreSQL中的存储过程进行改造，将查询语句转为视图，DML操作转化为DataFrame/DataSet操作。重点包括变量和参数转换、控制流语句重构、临时表映射、事务处理以及异常处理的实现策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

存储过程改造

一、存储过程改造

如果用spark或用jdbc调用存储过程,存储过程还是在数据库执行,执行时间和资源消耗取决于数据库的性能,压力也给到数据库这边,可以利用spark sql改造存储过程
1、若存储过程只是查询语句,返回游标等数据集

  • 可以将存储过程中的查询语句改造为视图
create view test_view as select ...;
  • 然后用spark.read的jdbc读取视图,转换为spark中的DataFrame
val jdbcDF = spark.
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark学习:spark读写postgreSql
nzbing的博客
04-20 1402
spark读写postgreSql
spark学习:spark如何进行update
nzbing的博客
04-27 1467
spark sql进行update操作
【Spark】Spark 存储原理--写数据过程
w1992wishes的博客
03-23 1120
本篇结构： 写数据块过程 写内存 写磁盘 写远程 一、写数据块过程 分析读数据过程时，可以了解到 RDD.iterator -> RDD.getOrCompute -> BlockManager.getOrElseUpdate 既是读数据的入口，也是写数据的入口。 不同的是，读数据走 BlockManager.get 方法，而写数据走 doPutIterator 方法。 在 doP...
Apache Spark 完全替代传统数仓的技术挑战及实践
大数据星球-浪尖
08-15 778
7月30日，由 Kyligence 主办的 Data & Cloud Summit 2021 行业峰会在上海成功举办，此次峰会特设「开源有道」分论坛，邀请了来自 Apache Ky...
Spark SQL笔记整理（三）：加载保存功能与Spark SQL函数
weixin_34038652的博客
05-09 163
[TOC] 加载保存功能 数据加载（json文件、jdbc）与保存（json、jdbc） 测试代码如下： package cn.xpleaf.bigdata.spark.scala.sql.p1 import java.util.Properties import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkC...
Spark的存储分析过程（一）
杨杨的博客
10-19 1020
在我们的Spark的存储当中有如下的类是起到至关重要的重要的 1，BlockManager：运行在每个节点(driver和executors)上的管理器,它提供用于将本地和远程的块放入和取回到各种存储(内存,磁盘和堆外)的接口，只有调用了initialize()方法之后这个对象才有效 如果这个BlockManager运行在我们的Driver上，那么这个BlockManager主要是负责管理整个J
SparkSQL-数据的加载和保存
dafsq的博客
03-16 1676
SparkSQL-数据的加载和保存
掌握Spark SQL：从入门到精通
Apache Spark 是一个强大的分布式数据处理框架，它提供了多种高级 API 以简化大规模数据处理的复杂性。...此外，还可以参考 Spark SQL 官方文档和社区提供的大量学习资源，以更深入地理解并应用 Spark SQL。
spark写入pg_Spark SQL访问PostgreSQL
weixin_31937319的博客
01-14 953
随着Spark SQL的正式发布，以及它对DataFrame的支持，它可能会取代HIVE成为越来越重要的针对结构型数据进行分析的平台。在博客文章What’s new for Spark SQL in Spark 1.3中，Databricks的工程师Michael Armbrust着重介绍了改进了的Data Source API。我们在对结构型数据进行分析时，总不可避免会遭遇多种数据源的情况。这些...
Spark（五）Spark任务提交方式和执行流程
dengshuabi6933的博客
07-14 251
一、Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext （3）Executor：某个Application运行在Worker节点上的一个进程，该进...
Spring boot调用Oracle存储过程的两种方式及完整代码
08-18
主要给大家介绍了关于Spring boot调用Oracle存储过程的两种方式及完整代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
【图分析】使用Spark连接PostgreSQL进行聚类分析
sword_csdn的博客
08-14 1225
目录示例数据的可视化连接PG数据库的准备解析geo_json的准备完整示例代码代码结果 示例数据的可视化 连接PG数据库的准备 Spark连接PG需要用到以下jar包 <dependency> <groupId>org.postgresql</groupId> <artifactId>postgresql</artifactId> <version>42.2.14</version> </de
sql解析存储过程
Windows_and_Linux的专栏
11-17 674
创建存储过程时，SQL Server先分析代码以检查语法错误。如果代码通过语法检查
Spark（19）：SparkSQL中数据的加载和保存
最新发布
yang_shibiao的博客
07-10 1007
此外，如果你尝试使用 HiveQL 中的 CREATE TABLE (并非 CREATE EXTERNAL TABLE)语句来创建表，这些表会被放在你默认的文件系统中的 /user/hive/warehouse 目录中(如果你的 classpath 中有配好的 hdfs-site.xml，默认的文件系统就是 HDFS，否则就是本地文件系统)。这里的通用指的是使用相同的API，根据不同的参数读取和保存不同格式的数据， SparkSQL 默认读取和保存的文件格式为 parquet。
Spark存储分析 - RDD存储调用与数据读写过程
走向程序的康庄大道
05-20 2257
RDD存储调用读数据过程写数据过程
Spark执行流程详解
qq_42456324的博客
04-29 4735
1、在命令行执行提交命令时，在spark-submit脚本中，调用了SparkSubmit类中的mainMethod.invoke方法，这个类通过反射，调用我们自定义的类。 2、我们自定义类中的main方法开始执行，初始化了SparkConf和SparkContext，在SparkContext对象被初始化的时候，构造出来DAGScheduler和TaskScheduler。 3、Driver端会对我们的代码进行解析，根据算子记录rdd之间的依赖关系，生成DAG有向无环图。 当程序触发action..
Hudi（7）：Hudi集成Spark之spark-sql方式
yang_shibiao的博客
01-02 3093
默认情况下，如果提供了preCombineKey，则insert into的写操作类型为upsert，否则使用insert。hoodie.sql.bulk.insert.enable 和 hoodie.sql.insert.mode。不需要指定模式和非分区列（如果存在）之外的任何属性，Hudi可以自动识别模式和配置。同hoodie.datasource.write.table.type。为了提高向hudi表加载数据的性能，CTAS使用批量插入作为写操作。表的主键名，多个字段用逗号分隔。
Spark SQL3
qq_30130043的博客
04-09 237
Spark SQL Story Write less code spark.table("").groupBy()..... 从wc的角度来看： external datasource api schema json："dirty" V1：id  username age("20")  V2：id  username nickname age address V3： ...
大型企业中复杂数据库存储过程的修改方法：7步法教你高效完成任务
灰哥数据智能的专栏
03-07 889
在企业的数据库中，根据不同的业务场景、统计需求、生产管理需要等，往往会有众多的存储过程。特别是在大型企业中，业务变化快，人员复杂，使得存储过程数量很多，不同代码编写风格有所差异等。最终导致存储过程修改困难。 一、示例 下面示例存储过程，每天对所有的宽带行进分类，生成日报供后续经营情况分析使用。 create or replace procedure prc_cm_kd_type ( ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我爱夜来香A

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值