Java 连接 Kerberos认证下的Spark Thrift Server/Hive Server总结

已于 2023-07-07 08:56:00 修改
阅读量2.1k 收藏 1
点赞数
分类专栏： # hive Spark 文章标签： hive spark java
于 2021-11-29 19:05:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dkl12/article/details/121616892
版权
本文总结了使用Java连接经过Kerberos认证的Spark Thrift Server/Hive Server的步骤，包括启动Spark Thrift Server和Hive Server的指南，Java代码中的pom依赖设置，以及必要的配置文件，如keytab和krb5.conf的配置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark Thrift Server HA 解决方案
主要分享大数据相关的知识，如Spark、Hudi
05-11 1024
本文为组内同事整理,这里稍作改动记录。本文主要修改Spark源码，实现Spark Spark Thrift Server 注册到到ZK，通过ZK连接实现负载均衡；另外可以通过使用Kyuubi实现HA，这里不做详细描述。
分布式sparkSQL引擎应用：从远程通过thriftServer连接spark集群处理hive中的数据
宝罗Paul 的博客
05-02 3586
实现原理： 客户端(java程序)与thriftServer连接，thriftServer再代理客户端转换成spark的操作流程，再加载hive的数据到spark的worker节点，并运行Map-Reduce作业。这里只是个小案例，和大家一起来探讨一下原理。 步骤： 分发三个配置文件hdfs-site.xml、core-site.xml、hive-site.xml到所有worker节
java通过Kerberos认证方式连接hive
weixin_44144092的博客
05-05 3015
在数据源管理功能中，需要适配mysql、postgresql、hive等数据源。mysql和postgresql连接方式一致，只需要驱动和jdbcurl即可，而hive背后是大数据集群，多采用Kerberos的方式保护集群环境，要想与大数据集群正常交互，需要经过kdc认证获取ticket，因此获取hive连接前需要先通过Kerberos认证。
社区版本sparkthriftserver对接开kerberos的cdp/cdh的metastore
lin86182824的博客
06-10 307
社区版本sparkthriftserver对接开kerberos的cdp/cdh的metastore
Java 访问连接Hive的Kerberos认证前提
多头注意力探索Now
05-30 885
kerberos 认证
【spark-sql】使用thriftserver/beeline,spark访问hive
06-06 628
一、使用thriftserver/beeline,spark访问hive 1.启动thriftserver：默认端口是10000 （端口可以修改） cd /opt/spark/sbin ./start-thriftserver.sh --master local[2] --jars /opt/mysql-connector-java-5.1.22-bin.jar 2.启动beeline -n 用户名 ./beeline -u jdbc:hive2://localhost:10000 -n root
【odbc】odbc连接kerberos认证的 hive和spark thriftserver
最新发布
lisacumt的专栏
01-16 388
odbc连接kerberos认证的 hive和spark thriftserver
Kerberos安全认证-连载10-Hive Kerberos 安全配置及访问_idea连接 kerberos 认证的hiveserver2
2401_85238540的博客
07-21 852
hiveserver2 keytab密钥文件路径hivemetastore 开启kerberos认证truemetastore kerberos主体metastore keytab密钥文件路径```以上配置分发到Hadoop各个集群节点后，将hdfs配置文件hdfs-site.xml，core-site.xml 发送到客户端和服务端HIVE_HOME/conf/目录中。​​​​​​​。
spark thrift server kerberos 配置下show databases 报错
sydt2011的博客
06-22 874
今天调试spark-1.6.2的spark thrift server功能，配置好spark的conf目录下的hive-site.xml文件后启动，一切正常，通过beeline链接后 show tables命令正常运行，但是 show databases 命令报错：Error: org.apache.spark.sql.execution.QueryExecutionException: F
关于Java连接Hive，Spark等服务的Kerberos工具类封装
m0_46168848的博客
03-04 1488
关于Java连接Hive，Spark等服务的Kerberos工具类封装
转：JDBC 连接Hive 简单样例（开启Kerberos）
HurryBen的博客
04-15 636
原文链接：https://blog.youkuaiyun.com/u013850277/article/details/77281229 踩坑经验：private static String url = "jdbc:hive2://bigdata40:10000/admin;principal=hive/bigdata40@BIGDATA.COM";中的principal=.......可能是老版本对应语法...
Thrift方式连接hiveServer2+Kerberos
都是浮云
12-09 4576
最近在做一个大数据查询平台，后端引擎有部分用了hive，通过thrift的方式连接hiveServer2，由于集群加了kerberos，所以实现thrift连接hiveServer2的时候需要加上kerberos认证。网上查了很多文章，写的thrift连接hive都没有kerberos，分享一下，以供需要通过thrift连接hiveService2并需要开启Kerberos认证的同学一个参考，以便...
spark的thrift-jdbcodbc-server+kerberos编程
SimpleSimpleSimples的博客
04-06 478
1.官网地址 http://spark.apache.org/docs/2.3.3/sql-programming-guide.html#running-the-thrift-jdbcodbc-server 2.启动和连接测试 2.1在找到spark的sbin目录，启动start-thriftserver.sh ./start-thriftserver.sh \ --name zmine...
java通过thrift连接hive
Alecor的博客
06-18 2069
前言 由于JDBC的连接Hive，只能获取到Hive执行的最终结果。 如果想要获取执行过程中的状态，并且使用取消执行的功能。需要使用hiveServer2 thrift的方式。 hive执行状态 执行状态在TOperationState 类中，包括： INITIALIZED_STATE(0), RUNNING_STATE(1), FINISHED_STATE(2), CANCELED_STATE(3), CLOSED_STATE(4), ERROR_STATE(5), UKNOWN_STATE(6),
java连接带hive示例代码(带kerberos认证)
记录日常开发过程中遇到的一些问题
08-14 1976
java连接hive，带kerberos认证的星环大数据集群(星环集群hive版本为0.12.0，hadoop版本为2.7.2)，示例代码： 1、pom.xml 依赖： <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>0.12.0</version> </dependenc
Spark2.4.0 访问hive(集成kerberos)（scala）
dfdf123123的博客
09-12 1599
Spark2.4.0（scala） 1.kerberso 认证（需要将相应用户的keytab文件引入本地） 代码如下： class KerberosAuth1 { def kerberosAuth(debug: Boolean): Unit = { try { System.setProperty("java.security.krb5.conf", "D:\\c...
spark连接mysql创建hive表,在Spark中访问Hive表
weixin_32267731的博客
02-11 160
I have Hive 0.13 installation and have created custom databases. I have spark 1.1.0 single node cluster built using mvn -hive option.I want to access tables in this database in spark application using...
Java 连接 Spark Thrift Server/Hive Server总结
主要分享大数据相关的知识，如Spark、Hudi
08-26 2883
我的原创地址：https://dongkelun.com/2021/02/19/javaSparkThriftServer/ 前言 总结Spark Thrift Server、Hive Server以及如何用Java连接 启动 hive server hiveserver2 或 hive --service hiveserver2 默认端口是1000 spark thrift server 修改hive.server2.transport.mode为http(默认值为binary（TCP），可选值HTTP
HBase ThriftServer Kerberos认证
weixin_34329187的博客
01-06 1979
1.前置 用户可以通过ThriftServer来访问HBase服务，它的特点如下： ThriftServer代理用户访问HBase服务返回操作结果，用户客户端不需要直接跟HBase进行通信 用户可以使用java/python/php/c++等语言的Thrift客户端代码访问HBase服务(HBase本身客户端只支持java语言) 2. Kerbero...
spark sql之thriftserver和beeline的使用
08-20
### 回答1： Spark SQL是一个用于处理结构化数据的模块，它提供了一种基于SQL的编程接口，可以让用户使用SQL语句来查询数据。ThriftServer是Spark SQL的一个组件，它提供了一个基于Thrift协议的服务，可以让用户通过网络连接到Spark SQL，并使用SQL语句来查询数据。Beeline是一个用于连接到ThriftServer的命令行工具，它可以让用户通过命令行界面来执行SQL语句。 使用ThriftServer和Beeline可以让用户通过网络连接到Spark SQL，并使用SQL语句来查询数据。首先需要启动ThriftServer，可以使用以下命令： ``` ./sbin/start-thriftserver.sh ``` 启动成功后，可以使用Beeline连接到ThriftServer，可以使用以下命令： ``` ./bin/beeline -u jdbc:hive2://localhost:10000 ``` 连接成功后，就可以使用SQL语句来查询数据了。例如，可以使用以下命令查询表格： ``` SELECT * FROM table_name; ``` 使用ThriftServer和Beeline可以方便地查询Spark SQL中的数据，特别是在需要远程访问数据时非常有用。 ### 回答2： ThriftServer（又称HiveServer2）和Beeline都是Spark SQL中常用的工具，用于连接和操作Spark SQL。 ThriftServer是一个支持Hive/Spark SQL的服务，它允许用户通过多种编程语言（如Java、Python等）来访问和查询数据。ThriftServer通过Thrift协议提供了基于网络的服务，允许远程客户端连接到Spark集群并执行Spark SQL查询。ThriftServer可以通过配置来启用或禁用Kerberos身份验证，以实现安全连接。 Beeline是一个基于命令行的工具，它是Hive和Spark SQL的原生客户端。可以使用Beeline连接到ThriftServer，并通过命令行界面执行Spark SQL查询。Beeline支持多种连接方式，例如通过JDBC连接到ThriftServer、通过Kerberos进行身份验证等。用户可以通过Beeline执行SQL语句、管理数据库、查看查询结果等。 使用ThriftServer和Beeline的步骤如下： 1. 首先，确保Spark集群已经启动，并且ThriftServer已经启动。可以通过spark-sql或spark-sql2启动ThriftServer，默认情况下会监听端口10000。 2. 使用Beeline连接到ThriftServer。可以通过命令beeline -u jdbc:hive2://hostname:port进行连接，其中hostname是ThriftServer所在的主机名或IP地址，port是ThriftServer监听的端口号。此外，还需要提供用户名和密码进行身份验证。 3. 连接成功后，可以在Beeline中执行SQL语句。输入SQL语句后，按下回车键即可执行。查询结果会显示在命令行界面上。还可以使用Beeline提供的命令来管理数据库、查看表、导入导出数据等操作。 ThriftServer和Beeline的使用简单而方便，能够有效地连接和操作Spark SQL。它们为用户提供了一种灵活的方式来查询和管理数据，便于开发人员和数据分析师使用Spark SQL进行数据处理和分析。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董可伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值