[spark]spark读取postgresql的表（纯SQL方式）

最新推荐文章于 2024-05-30 16:31:59 发布
最新推荐文章于 2024-05-30 16:31:59 发布
阅读量5.2k 收藏 2
点赞数
分类专栏： BIGDATA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/rongyongfeikai2/article/details/45646367
版权
本文介绍如何在thrift-server启动时带上PG驱动，以及如何在beeline中使用PG驱动将PG映射为Spark表并进行查询。此外，还提供了一个Python代码示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.thrift-server启动时，需要带上pg的驱动


2.在beeline中，需要add jar带上pg的驱动；然后再将pg映射为spark的表；最后才可以进行查询：

 
3.写成python代码类似于：




Spark学习:spark读写postgreSql
nzbing的博客
04-20 1442
spark读写postgreSql
spark学习:如何用spark sql改造存储过程(以PostgreSql为例)
nzbing的博客
05-04 1199
存储过程中的变量和参数需要转换为Spark SQL中的变量和参数。在Spark SQL中，可以使用表达式和函数来表示变量和参数，例如：lit()函数表示字面量，col()函数表示列名,lit()函数可以用来创建常量列,可以用在DataFrame中的操作和计算中。如果用spark或用jdbc调用存储过程,存储过程还是在数据库执行,执行时间和资源消耗取决于数据库的性能,压力也给到数据库这边,可以利用spark sql改造存储过程。2、若存储过程存在DML(update/insert/delete)等。
SparkGP:Spark中大型天气数据的高斯过程
06-10
火花GP 在大数据上使用高斯过程来预测县质心的天气。 构建： sbt package 跑步： $SPARK_HOME/bin/spark-submit --class SparkGP --master local[*] target/scala-2.10/sparkgp_2.10-1.0.jar </path> <data> <yyyy>
Spark读写postgresql
m0_37347812的博客
11-04 1805
Spark读写postgresql
databricks spark 读取postgresql表
lbl251的博客
08-15 622
spark 读取postrgresql 表数据
spark 写 gp/tpg 效率优化：写入 237w 行数据耗时从 77 分钟到 34 秒
张伟的专栏
08-21 5713
请原谅我标题党了，这年代不标题党没法混啊。。。 T .T 其实事情很简单，先介绍一下背景，背景是我们 lz 或者 tesla 上跑 spark 任务，一通计算之后，结果总要落地，一般落地到 tdw/tpg，而具体到我们这次的场景中，我们用的是 gp，gp 全称是 greenplum，是一个 mpp 版本的 postgresql，可以参考这个简介《Pivotal开源基于PostgreS
关于spark同步hive的geometry数据至pg数据库的geometry类型字段中
cnjss的博客
08-03 1370
spark同步hive数据至pg数据库的geometry类型字段中
使用idea开发scala代码，使用spark从postgresql读取数据并转换成新的数据存入postgresql
最新发布
wuai66的博客
05-30 1238
使用idea开发scala代码，使用spark从postgresql读取数据并转换成新的数据存入postgresql
spark读取postgresql中的数据
需求是无耻的
08-17 3436
spark读取postgresql中的数据： 代码实现 val pgUrl = "jdbc:postgresql://ip:5433/databaseName" // 读取pg中的数据 val df1 = hiveContext.read.format("jdbc") .option("url", pgUrl) .option("user", "user") .opti...
spark 并行加载 greenplum 数据
09-30
spark 并行加载 greenplum 数据，为正确运行，需引入 spark 相关包和 greenplum 驱动。 <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> org.apache.spark spark-core_2.11 2.3.1 <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql --> org.apache.spark spark-sql_2.11 2.3.1 <!-- https://mvnrepository.com/artifact/com.pivotal/greenplum-jdbc --> com.pivotal greenplum-jdbc 5.1.4
Spark与jdbc连接Postgre库(scala代码实现)
Zero小猿的博客
07-27 2200
在开发spark过程中，遇到需要连接postgres库的场景，可以通过原生的jdbc去连接，也可以使用spark直连。 1.scala 原生jdbc连接 下面是 通过DriverManager连接pg try{ // 将用户名密码加入properties val conn_prop = new Properties() conn_prop.put("user","xxxx") conn_prop.put("password","xxxx") //pg库的连接串：'xxxx'是库名 val conn_ur.
【图分析】使用Spark连接PostgreSQL进行聚类分析
sword_csdn的博客
08-14 1252
目录示例数据的可视化连接PG数据库的准备解析geo_json的准备完整示例代码代码结果 示例数据的可视化 连接PG数据库的准备 Spark连接PG需要用到以下jar包 <dependency> <groupId>org.postgresql</groupId> <artifactId>postgresql</artifactId> <version>42.2.14</version> </de
postgresql获取表结构，表名、表注释、字段名、字段类型及长度和字段注释
热门推荐
离离原上草，一岁一枯荣，野火烧不尽，春风吹又生。
03-21 1万+
Postgresql允许向表等对象添加注释。 例如，我使用此SQL命令在表 mytable上添加了注释： COMMENT ON TABLE mytable IS 'This is my table 查询表注释 所有注释都存储在 pg_description 要获取表中的注释，您可以需要将其加入 pg_class 作为替代方案，您也可以使用函数 obj_description（）来检索以下信息： select relname as tabname, obj_description(c.oid) from
Spark连接Hive读取数据
m0_56210953的博客
08-12 5292
从Hadoop环境搭建到Spark连接Hive的小白入门教程，一套流程走下来在多次的尝试中既可以熟悉linux命令行的应用，同时初步熟悉大数据技术。
【Spark】 Spark beeline简单使用
可乐大牛的博客
02-13 5633
操作 Spark Thrift Server 是 Spark 社区基于 HiveServer2 实现的一个 Thrift 服务。旨在无缝兼容 HiveServer2。因为 Spark Thrift Server 的接口和协议都和 HiveServer2 完全一致，因此我们部 署好 Spark Thrift Server 后，可以直接使用 hive 的 beeline 访问 Spark Thrift Server 执行相关 语句。Spark Thrift Server 的目的也只是取代 HiveServer2
Python应用随笔3——pyspark读写数据库
制了个仗的博客
09-01 2405
本文围绕Zeppelin中使用pyspark读写MySQL、PG(PostgreSQL)/GP(Greenplum)展开
Spark读写MySQL、Oracle、PostgreSQL、Greenplum
雾幻的博客
10-24 4148
添加pom依赖 &amp;lt;!-- https://mvnrepository.com/artifact/com.pivotal/greenplum-jdbc --&amp;gt; &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;com.pivotal&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt;green
Apache Spark高效集成PostgreSQL与GreenPlum数据源
Spark SQL为处理结构化数据提供了一套高效的操作方式，而DataFrame则提供了一个分布式数据集的概念，能够处理大规模数据。 4. 使用案例：spark-postgres库提供了具体的使用案例，例如CTAS（Create Table As Select...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值