[spark]spark读取postgresql的表（纯SQL方式）

最新推荐文章于 2024-05-30 16:31:59 发布
原创 最新推荐文章于 2024-05-30 16:31:59 发布 · 5.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何在thrift-server启动时带上PG驱动，以及如何在beeline中使用PG驱动将PG映射为Spark表并进行查询。此外，还提供了一个Python代码示例。

1.thrift-server启动时，需要带上pg的驱动


2.在beeline中，需要add jar带上pg的驱动；然后再将pg映射为spark的表；最后才可以进行查询：

 
3.写成python代码类似于：




SparkGP:Spark中大型天气数据的高斯过程
06-10
火花GP 在大数据上使用高斯过程来预测县质心的天气。 构建： sbt package 跑步： $SPARK_HOME/bin/spark-submit --class SparkGP --master local[*] target/scala-2.10/sparkgp_2.10-1.0.jar </path> <data> <yyyy>
Spark学习:spark读写postgreSql
nzbing的博客
04-20 1524
spark读写postgreSql
Spark读写postgresql
m0_37347812的博客
11-04 1824
Spark读写postgresql
databricks spark 读取postgresql表
lbl251的博客
08-15 660
spark 读取postrgresql 表数据
spark 写 gp/tpg 效率优化：写入 237w 行数据耗时从 77 分钟到 34 秒
张伟的专栏
08-21 5818
请原谅我标题党了，这年代不标题党没法混啊。。。 T .T 其实事情很简单，先介绍一下背景，背景是我们 lz 或者 tesla 上跑 spark 任务，一通计算之后，结果总要落地，一般落地到 tdw/tpg，而具体到我们这次的场景中，我们用的是 gp，gp 全称是 greenplum，是一个 mpp 版本的 postgresql，可以参考这个简介《Pivotal开源基于PostgreS
关于spark同步hive的geometry数据至pg数据库的geometry类型字段中
cnjss的博客
08-03 1474
spark同步hive数据至pg数据库的geometry类型字段中
使用idea开发scala代码，使用spark从postgresql读取数据并转换成新的数据存入postgresql
最新发布
wuai66的博客
05-30 1322
使用idea开发scala代码，使用spark从postgresql读取数据并转换成新的数据存入postgresql
spark读取postgresql中的数据
需求是无耻的
08-17 3475
spark读取postgresql中的数据： 代码实现 val pgUrl = "jdbc:postgresql://ip:5433/databaseName" // 读取pg中的数据 val df1 = hiveContext.read.format("jdbc") .option("url", pgUrl) .option("user", "user") .opti...
spark学习:如何用spark sql改造存储过程(以PostgreSql为例)
nzbing的博客
05-04 1277
存储过程中的变量和参数需要转换为Spark SQL中的变量和参数。在Spark SQL中，可以使用表达式和函数来表示变量和参数，例如：lit()函数表示字面量，col()函数表示列名,lit()函数可以用来创建常量列,可以用在DataFrame中的操作和计算中。如果用spark或用jdbc调用存储过程,存储过程还是在数据库执行,执行时间和资源消耗取决于数据库的性能,压力也给到数据库这边,可以利用spark sql改造存储过程。2、若存储过程存在DML(update/insert/delete)等。
Spark与jdbc连接Postgre库(scala代码实现)
Zero小猿的博客
07-27 2372
在开发spark过程中，遇到需要连接postgres库的场景，可以通过原生的jdbc去连接，也可以使用spark直连。 1.scala 原生jdbc连接 下面是 通过DriverManager连接pg try{ // 将用户名密码加入properties val conn_prop = new Properties() conn_prop.put("user","xxxx") conn_prop.put("password","xxxx") //pg库的连接串：'xxxx'是库名 val conn_ur.
【图分析】使用Spark连接PostgreSQL进行聚类分析
sword_csdn的博客
08-14 1297
目录示例数据的可视化连接PG数据库的准备解析geo_json的准备完整示例代码代码结果 示例数据的可视化 连接PG数据库的准备 Spark连接PG需要用到以下jar包 <dependency> <groupId>org.postgresql</groupId> <artifactId>postgresql</artifactId> <version>42.2.14</version> </de
postgresql获取表结构，表名、表注释、字段名、字段类型及长度和字段注释
热门推荐
离离原上草，一岁一枯荣，野火烧不尽，春风吹又生。
03-21 1万+
Postgresql允许向表等对象添加注释。 例如，我使用此SQL命令在表 mytable上添加了注释： COMMENT ON TABLE mytable IS 'This is my table 查询表注释 所有注释都存储在 pg_description 要获取表中的注释，您可以需要将其加入 pg_class 作为替代方案，您也可以使用函数 obj_description（）来检索以下信息： select relname as tabname, obj_description(c.oid) from
【Spark】 Spark beeline简单使用
可乐大牛的博客
02-13 5839
操作 Spark Thrift Server 是 Spark 社区基于 HiveServer2 实现的一个 Thrift 服务。旨在无缝兼容 HiveServer2。因为 Spark Thrift Server 的接口和协议都和 HiveServer2 完全一致，因此我们部 署好 Spark Thrift Server 后，可以直接使用 hive 的 beeline 访问 Spark Thrift Server 执行相关 语句。Spark Thrift Server 的目的也只是取代 HiveServer2
Spark读写MySQL、Oracle、PostgreSQL、Greenplum
雾幻的博客
10-24 4176
添加pom依赖 &amp;lt;!-- https://mvnrepository.com/artifact/com.pivotal/greenplum-jdbc --&amp;gt; &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;com.pivotal&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt;green
spark读取HDFS多个文件配置
挖矿的小强的博客
12-14 1万+
情况说明：数据以parquet文件形式保存在HDFS上，数据中的某一列包含了日期（例如：2017-12-12）属性，根据日期对数据分区存储，如下图所示：  项目需求：  在项目中想要读取某一个月的数据，肿么办？  解决方法：  spark中读取本地文件的方法如下: sparkSession.read.parquet("hdfs://path") 1 方法一：  要读取多个文件，文件的路径中有一...
spark通过jdbc访问postgresql数据库
crj_9527的博客
12-09 5810
1.首先要有可用的jdbc [hadoop@db1 bin]$ locate jdbc|grep postgres /mnt/hd01/www/html/deltasql/clients/java/dbredactor/lib/postgresql-8.2-507.jdbc4.jar /usr/lib/ruby/gems/1.8/gems/railties-3.2.13/lib/rails/ge
14.3 Spark-SQL基于PostgreSQL数据分析编程实例
王小雷-多面手
07-15 1894
14.3 Spark-SQL编程-PostgreSQL-Cassandra数据分析 “卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新 本节主要内容： Spark对PostgreSQL数据源数据的处理，通过Spark SQL对结构化数据进行数据分析。 创建Gradle项目，引入依赖 创建连接 读数据库 写数据库 完整源码Spark2PostgreSQL.java 完...
sparksql与PostgreSQL（Greenplum）时间函数转换
要吃鱼的小虾米的博客
09-14 1177
最近遇到sparksql在pg或gp上运行报错问题，PostgreSQL（Greenplum）不支持sparksql部分函数，需要更改函数才能在pg(gp)运行。整理更改点如下： 1、获取当前时间戳： sparksql函数为 select unix_timestamp(now()); pgsql(gp)函数为 select floor(extract(epoch from now())); 2、时间戳转日期： sparksql函数为 select from_unixtim...
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值