Spark sql 使用jdbc/odbc Server连接出现新建的数据表多客户端没法共享

最新推荐文章于 2024-07-05 13:34:42 发布

ltylzq

最新推荐文章于 2024-07-05 13:34:42 发布

阅读量482

点赞数

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/ltylzq/article/details/79392435

版权

spark 同时被 2 个专栏收录

3 篇文章

订阅专栏

INFO

2 篇文章

订阅专栏

本文介绍了解决多个JDBC/ODBC Server环境下，客户端间因缓存机制导致的数据不一致问题的方法。通过修改hive-site.xml配置文件中的缓存设置，可以确保所有客户端看到相同的数据视图。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当启动多个JDBC/ODBC Server时，经常出现的问题是，连接到其中一个Server的客户端可以看到某个新创建的表，而连接到其他Server的客户端却看不到。这是由于默认的缓存机制导致的，在conf目录下的hive-site.xml配置文件下添加以下配置：

<name>datanucleus.cache.level2.type</name>

</property>

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ltylzq

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Spark SQL 快速入门系列（六）Spark SQL 访问 JDBC

weixin_45417821的博客

09-06

921

这里写目录标题JDBC准备 MySQL 环境使用 SparkSQL 向 MySQL 中写入数据从 MySQL 中读取数据 JDBC 导读 1，通过 SQL 操作 MySQL 的表 2，将数据写入 MySQL 的表中准备 MySQL 环境在使用 SparkSQL 访问 MySQL 之前, 要对 MySQL 进行一些操作, 例如说创建用户, 表和库等 Step 1: 连接 MySQL 数据库在 MySQL 所在的主机上执行如下命令 mysql -uroot -p Step 2: 创建 Spark 使

Spark SQL读取Hive数据配置及使用Thrift JDBC/ODBC Server访问Spark SQL

热门推荐

Fang的博客

01-11

1万+

[TOC] Spark SQL可以读取hive中的数据,开启Thrift JDBC/ODBC Server服务可以使其他语言客户端使用Spark SQL.关于Spark SQL中对hive的支持,官方文档说明让人疑惑,好像没有把hive编译进去,需要自己手动编译,官方文档提及: Spark SQL also supports reading and writing data stored in

参与评论您还未登录，请先登录后发表或查看评论

在spark SQL中指定多个表

qq_36248805的博客

02-20

1868

1.写一个创建mysql表的工具类Utility.scala /** * 创建mysql的表 * * @param url msyql的url * @param userName mysql用户名 * @param password mysql密码 * @param tables 注册的表名集合 * @param spark...

spark介绍4（sparksql）ODBC（Windows）gc

dci75702的博客

03-28

315

（ODBC是open database connection开源数据连接）在Windows控制面板的管理工具里面 GC（Garbage Collection)：JAVA/.NET中的垃圾回收器 logical 合乎逻辑的 optimized 优化的 intelligent智能的 ...

第5章 JDBC/ODBC服务器

weixin_30914981的博客

08-12

106

第5章 JDBC/ODBC服务器　　Spark SQL也提供JDBC连接支持，这对于让商业智能(BI)工具连接到Spark集群上以及在多用户间共享一个集群的场景都非常有用。JDBC 服务器作为一个独立的 Spark 驱动器程序运行，可以在多用户之间共享。任意一个客户端都可以在内存中缓存数据表，对表进行查询。集群的资源以及缓存数据都在所有用户之间共享。　　Spa...

162、Spark SQL实战开发进阶之Thrift JDBC、ODBC Server

ZJ__ZFH的博客

01-24

2390

Spark SQL的Thrift JDBC/ODBC server是基于Hive 0.13的HiveServer2实现的。这个服务启动之后，最主要的功能就是可以让我们通过Java JDBC来以编程的方式调用Spark SQL。此外，在启动该服务之后，可以通过Spark或Hive 0.13自带的beeline工具来进行测试。要启动JDBC/ODBC server，主要执行Spark的sbin目录下...

spark SQL Running the Thrift JDBC/ODBC server

03-27

1435

Running the Thrift JDBC/ODBC server 1:运行 ./sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=feng02 --master spark://feng02:70

大数据技术之_19_Spark学习_03_Spark SQL 应用解析 + Spark SQL 概述、解析、数据源、实战 + 执行 Spark SQL 查询 + JDBC/ODBC 服务器

黑泽君

04-28

705

大数据技术之_19_Spark学习_03_Spark SQL 应用解析 + Spark SQL 概述、解析、数据源、实战 + 执行 Spark SQL 查询 + JDBC/ODBC 服务器

Spark-SQL连接JDBC的方式及代码写法

weixin_60343288的博客

12-09

952

Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。1.3.3 兼容 Hive。在已有的仓库上直接运行 SQL 或者 HQL。1.2.1 易整合。无缝的整合了 SQL 查询和 Spark 编程。1.2.4 标准数据连接。通过 JDBC 或者 ODBC 来连接。1.2.2 统一的数据访问。使用相同的方式连接不同的数据源。1.首先启动thriftserver服务。2.打开IDEA导入hive-jdbc包。Spark-SQL概述。

启动Spark SQL Thrift Server 使用YARN进行资源管理

最新发布

weixin_42326851的博客

07-05

3989

启动Spark SQL Thrift Server 使用YARN进行资源管理

spark Thrift JDBC/ODBC Server配置

袁一白的博客

01-04

2804

必要性 spark Thrift JDBC/ODBC Server服务能降低Spark的使用难度（对外仅SQL）配置过程首先，正常配置spark 编写脚本 start-thriftserver.sh 启动服务（包含动态资源申请） [root@prd-pg-cdh-node-190 spark-2.3.1-bin-hadoop2.6]# cat start-thriftserver.sh #!...

SparkSql——jdbc两种连接和转储表的方式

yyf960126的博客

05-16

445

package spark.SparkSql import java.util.Properties import org.apache.spark.sql.SparkSession object sparkSql3 { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().mast...

通过JDBC/ODBC方法连接SQL Servers与MyEclipe(SQL)

S.H.的部落格林

07-30

904

本文将介绍如何通过JDBC/ODBC方式连接SQL Servers 与 MyEclipe, 使得通过web修改DB内容本文主要完成一个简单的注册系统，主要步骤： 1. 通过SQL Server 创建DB 数据库，用于存放用户名和密码 2. 创建网页，注册账户，将账户信息更新到步骤一创建的数据库中下面我们一步步来完成我们的功能 1. 创建 TestDB数据库在对象资源管理器中

spark sql

yuangeqing的博客

11-07

1966

一：概要 spark sql是一个用于结构化数据处理的spark模块。不像是spark RDD API，Spark SQL提供的接口提供了数据的结构和计算相关的信息。内部来说，spark sql使用这些额外的信息来执行优化工作。和spark sql交互有以下方式：SQL语句，dataframe的API，datasets的API。当你运算一个结果的时候，使用的是相同的计算引擎，和

spark从入门到放弃三十四:Spark Sql(7) JDBC

u012957549的博客

04-22

2963

文章地址：http://www.haha174.top/article/details/255779 1.简述 Spark Sql 支持使用jdbc 从关系型数据库读取数据（比如mysql ），读取的数据依然用DataSet 表示，很方便地使用Spark core 提供的各种算子进行处理。这里有一个经验之谈，实际上用Spark Sql 处理JDBC 的数据是非常有用的。比如说...

Spark SQL 之 Performance Tuning & Distributed SQL Engine

zdy0_2004的专栏

12-15

651

http://www.cnblogs.com/BYRans/p/5046154.html 缓存数据至内存（Caching Data In Memory） Spark SQL可以通过调用sqlContext.cacheTable("tableName") 或者dataFrame.cache()，将表用一种柱状格式（ an inmemory columnar format）缓存至内存中。

Hadoop3.x入门-SparkThriftServer部署

小末的博客

05-15

1694

1.前言 SparkThriftServer，简称STS，作为SparkSQL的JDBC/ODBC服务，启动了STS服务后，就可以使用代码程序通过JDBC/ODBC的接口提交Spark SQL。 STS对标的是Hive的HiveServer2，其中代码内部实现也大量参考了HiveServer2。 STS计算引擎为Spark，而HiveServer2默认对应的MapReduce，因此STS的任务的计算速度要比HiveServer2快很多（10-100倍），...

【博学谷学习记录】超强总结，用心分享| Spark SQL

我爱骑呆马的专栏

03-05

1010

spark sql

spark通过start-thriftserver.sh启动了JDBC/ODBC 服务器，如何简单得配置连接的账号密码，并且不输入则连接失败

06-08

当启动 Spark 的 JDBC/ODBC 服务器时，可以通过传递 Spark 配置参数来配置连接的账号密码。具体来说，你需要设置以下两个参数： - `spark.sql.hive.thriftServer.singleSession`：设置为 `true` 可以让所有客户端共享同一个会话，这样就不需要为每个客户端单独配置账号密码。 - `spark.sql.hive.thriftServer.userName` 和 `spark.sql.hive.thriftServer.password`：分别设置为要使用的用户名和密码。如果客户端未提供用户名和密码，则使用这些默认值。你可以通过以下命令启动 Spark 的 JDBC/ODBC 服务器，并配置默认的用户名和密码： ``` ./sbin/start-thriftserver.sh \ --master <master-url> \ --conf spark.sql.hive.thriftServer.singleSession=true \ --conf spark.sql.hive.thriftServer.userName=default \ --conf spark.sql.hive.thriftServer.password= \ --hiveconf hive.server2.enable.doAs=false \ --hiveconf hive.server2.thrift.port=<port> ``` 在这个例子中，我们将用户名设置为 `default`，将密码设置为空字符串。这样，如果客户端未提供用户名和密码，则 Spark 将使用这些默认值。如果客户端提供了用户名和密码，则 Spark 将使用客户端提供的值。请注意，为了安全起见，建议你在生产环境中不要使用默认的用户名和密码。相反，你应该使用强密码，并定期更新它们。