【odbc】odbc连接kerberos认证的 hive和spark thriftserver

lisacumt

已于 2025-01-16 17:30:16 修改

阅读量432

点赞数 1

CC 4.0 BY-SA版权

文章标签： hive spark hadoop

于 2025-01-16 17:19:38 首次发布

本文链接：https://blog.youkuaiyun.com/lisacumt/article/details/145187601

hive odbc驱动，以下两种都可以

教程：使用 ODBC 和 PowerShell 查询 Apache Hive
Hive ODBC Connector 2.8.0 for Cloudera Enterprise

spark thriftserver本质就是披着hiveserver的外壳的spark server

完成kerberos认证:
（1）可以安装mit kerberos ticket manager(不推荐)，如下图：
在这里插入图片描述（2）或者在CMD完成（推荐）：

安装之后搜索驱动ODBC，添加认证信息。
在这里插入图片描述

ms提供的odbc驱动：
在这里插入图片描述

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

lisacumt

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

C#通过ODBC方式连接Hive方法

野生码农

10-14

2804

C#通过ODBC方式连接Hive方法 C#连接hive，有两种办法：方法一：使用驱动程序，增加dll，连接语句中写好db路径，用户名，密码。方法二：使用数据源，在windows和vs种配置好数据源。使用方法一的时候，配置失败了，有个dll文件没法引用，所以使用了方法二。 1,安装软件 MapRHiveODBC32.msi MapRHiveODBC64.msi 根据自己主...

在java应用中使用JDBC连接Spark SQL（HiveServer2）

热门推荐

古月慕南的代码世界

10-07

1万+

根据Spark官网所述，Spark SQL实现了Thrift JDBC/ODBC server： The Thrift JDBC/ODBC server implemented here corresponds to the HiveServer2 in Hive 1.2.1 You can test the JDBC server with the beeline script that co

参与评论您还未登录，请先登录后发表或查看评论

启动hive报错_Power BI连接Hive数据库

weixin_39630182的博客

11-29

304

要想实现Powe BI连接Hive数据库，需要安装一个驱动进行配置，同时服务器开启hiveserver2在后台运行。1、下载ClouderaHiveODBC64https://downloads.cloudera.com/connectors/hive-2.5.12.1005/Windows/ClouderaHiveODBC64.msidownloads.cloudera.com2、在电脑中搜索...

datastage mysql wire,Datastage 配置Odbc 连接Hive （内含实现作业）

weixin_42301008的博客

03-12

522

版本：IBM InfoSphere DataStage V11.5.1操作系统：linux redhat 6.4平台：Apache Hadoop 2.6.0-cdh5.9.0场景：需要将数仓的表数据，加载到Hive 数据库供 Spark 分发数据。虽然测试成功，但是经过测试效率太慢。最后将数据存放到Hdfs Hive 做外部映射表实现。另外DS11.5版本已经提供链接Hive 接口，同时支持链接...

hiveodbc驱动

09-01

hiveodbc驱动（64位）hiveodbc驱动（64位）hiveodbc驱动（64位）hiveodbc驱动（64位）hiveodbc驱动（64位）

社区版本sparkthriftserver对接开kerberos的cdp/cdh的metastore

lin86182824的博客

06-10

318

社区版本sparkthriftserver对接开kerberos的cdp/cdh的metastore

【kettle】pdi/data-integration 集成kerberos认证连接hdfs、hive或spark thriftserver

lisacumt的专栏

01-02

1887

pdi/data-integration 集成kerberos认证连接hdfs、hive或spark thriftserver。含hadoop conf和kerberos认证工具类。

Hive学习之路（一）Hive初识

weixin_33704234的博客

04-03

454

Hive 简介什么是Hive 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将 SQL 语句转换为 MapReduce 任务运行 7、使不熟悉 MapReduce 的用户很方便地利用 HQ...

SparkSQL的分布式执行引擎(Spark ThriftServer)

07-03

1. **服务模式**：Spark ThriftServer作为服务运行，提供了一个JDBC/ODBC接口，允许任何支持这些协议的客户端连接并执行SQL查询。 2. **查询缓存**：ThriftServer支持查询缓存，通过将结果存储在内存中，对于重复的...

python使用spark sql查询impala_如何比较Hive，Spark，Impala和Presto？

weixin_39783360的博客

12-18

249

Spark，Hive，Impala和Presto是基于SQL的引擎，Impala由Cloudera开发和交付。在选择这些数据库来管理数据库时，许多Hadoop用户会感到困惑。Presto是一个开放源代码的分布式SQL查询引擎，旨在运行甚至PB级的SQL查询，它是由Facebook人设计的。Spark SQL是一个分布式内存计算引擎，它的内存处理能力很高。Hive也由Apache作为查询引擎引入，这...

Tableau连接Hadoop：大数据分析的完美解决方案

最新发布

AI天才研究院

05-12

850

在企业数字化转型中，Hadoop已成为存储和处理海量非结构化/半结构化数据的核心平台（如日志、交易记录、用户行为数据）。但Hadoop的技术门槛（需掌握MapReduce/Spark编程）限制了业务人员直接分析数据的能力。Tableau作为全球领先的商业智能（BI）工具，以“所见即所得”的可视化交互降低分析门槛，但需与Hadoop集成才能访问其存储的PB级数据。本文聚焦Tableau与Hadoop的连接技术，覆盖Hive/Impala/Spark SQL等主流数据源，解决从环境配置到可视化分析的全链路问题。

深入解析Apache Hive：大数据的SQL接口

zls522290736的博客

02-18

764

Apache Hive，作为Hadoop生态系统中的一个重要组件，为大数据的存储和查询提供了一个易于使用、类SQL的接口。假设我们有一个存储在HDFS上的日志文件，每行记录了一个用户的访问信息，包括用户ID、访问时间和访问的URL。：Hive提供了多种用户接口，包括命令行界面、JDBC和ODBC驱动、Web界面等，这使得用户可以使用他们喜欢的方式来与Hive交互。这使得Hive可以快速地检索表的元数据。：Hive可以用于数据的提取、转换和加载（ETL）过程，将数据从原始格式转化为可用于分析的格式。

Apache Hive 安装与配置的详细教程

majingbobo的博客

05-25

2148

Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。

spark thrift server kerberos 配置下show databases 报错

sydt2011的博客

06-22

891

今天调试spark-1.6.2的spark thrift server功能，配置好spark的conf目录下的hive-site.xml文件后启动，一切正常，通过beeline链接后 show tables命令正常运行，但是 show databases 命令报错：Error: org.apache.spark.sql.execution.QueryExecutionException: F

.NET ODBC与JAVA JDBC连接HIVE查询数据的性能比较

jiachengu的专栏

12-23

3763

golang使用odbc链接hive

uxff的专栏

11-17

3604

golang使用odbc链接hive安装odbcyum install unixODBC yum install unixODBC-devel ## mysql driver require yum install mysql-connector-odbc ## hive driver require ## https://cwiki.apache.org/confluence/display/Hi

hive安装详解以及连接方式

qq_42994177的博客

02-14

1388

目录版本选择： 1.使用自带的元数据库derby 的安装方式实践操作说明：总结缺陷： derby：单用户模式 2.将mysql作为元数据库的安装方式 3.配置yum源 4.hive的三种连接方式 1.CLi 2.HiveServer2服务（必须要会） 3.Web Ui 版本选择： hive1：计算引擎使用的mr hive2：计算引擎默认mr 可支持spar...

【转】谈谈基于Kerberos的Windows Network Authentication

cheran的专栏

12-13

1164

http://www.cnblogs.com/artech/archive/2007/07/07/809545.html Content：基本原理引入Key Distribution: KServer-Client从何而来引入Authenticator : 为有效的证明自己提供证据引入Ticket Granting Service：如何获得Ticket Kerbe

Impala ODBC 安装笔记

真正的才智是刚毅的志向

08-24

1万+

Impala在线文档介绍了 Impala ODBC接口安装和配置http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/Impala/Installing-and-Using-Impala/ciiu_impala_odbc.htmlImpala ODBC 驱动下载地址：http://www.clouder...

接口机通过什么方式认证可以访问hive

03-21

<think>好的，用户现在想了解接口机访问Hive时可用的认证方式有哪些。我需要根据提供的引用资料来整理答案。首先，我需要回顾一下用户提供的引用内容。引用[1]提到身份认证需要用户名和密码，从hive.server2.users.conf文件中读取，说明Hive支持用户名密码认证。引用[2]提到Kerberos认证，Spark程序通过enableHiveSupport连接Kerberos认证的Hive。引用[3]指出HiveServer2支持多客户端并发和身份认证，特别是对JDBC和ODBC客户端的支持。引用[4]是关于Java API的，可能涉及编程层面的认证方式。引用[5]提到Python对接Hadoop集群通过Hive的API接口，可能涉及其他认证方法。接下来，我需要确定Hive支持的认证方式。根据HiveServer2的文档，常见的认证方式包括Kerberos、LDAP、用户名密码以及自定义认证插件。引用[1]中的用户名密码认证是其中一种方式。Kerberos在引用[2]中提到，说明是可行的。引用[3]提到HS2支持身份认证，但没有具体说明类型，但结合其他引用，可以推断LDAP和自定义也可能适用。另外，匿名访问在未启用认证时可能存在，但通常不推荐。用户的问题是关于接口机访问的，所以需要明确哪些认证方式适用于通过接口机连接HiveServer2的情况。比如，接口机如果使用JDBC，可能使用用户名密码或Kerberos。如果是编程接口，可能使用不同的方法。需要确保回答覆盖主要的认证方式，并引用提供的资料作为支持。例如，Kerberos对应引用[2]，用户名密码对应引用[1]，HS2的认证支持对应引用[3]。同时，可能提到LDAP和自定义插件，虽然引用中没有直接提到，但根据Hive的常见配置，这些也是可能的。最后，用户可能需要了解如何配置这些认证方式，或者不同方式的适用场景，所以相关问题可以涉及配置步骤、适用场景以及如何选择认证方式。</think>### 接口机访问 Hive 的认证方式接口机访问 Hive 的认证方式主要依赖于 HiveServer2（HS2）的安全机制，以下是几种常见的认证方式： #### 1. **Kerberos 认证** - **原理**：通过 Kerberos 协议实现强身份认证，需配置 KDC（密钥分发中心）并生成 keytab 文件。接口机需提供有效的 Kerberos 票据才能访问 Hive。 - **适用场景**：企业级安全环境，需满足高等级网络安全要求。 - **示例**：在 Spark 程序中，通过 `enableHiveSupport` 启用 Kerberos 认证后可连接 Hive[^2]。 #### 2. **用户名/密码认证** - **原理**：接口机通过 JDBC/ODBC 等协议提交用户名和密码，HiveServer2 根据配置文件（如 `hive.server2.users.conf`）验证身份。 - **配置**：需在 HiveServer2 的配置文件中预先定义用户名和密码，例如： ``` cln:00000 ``` - **适用场景**：简单内部系统或测试环境[^1]。 #### 3. **LDAP/AD 集成认证** - **原理**：HiveServer2 与 LDAP 或 Active Directory 服务集成，接口机通过 LDAP 协议验证用户凭据。 - **配置**：需在 `hive-site.xml` 中配置 LDAP 服务器地址和认证参数。 #### 4. **匿名访问（不推荐）** - **原理**：未启用任何认证机制时，接口机可直接连接 HiveServer2。 - **风险**：存在严重安全隐患，仅用于测试或封闭网络环境。 #### 5. **自定义认证插件** - **原理**：通过实现 Hive 的 `PasswdAuthenticationProvider` 接口开发自定义认证逻辑，例如结合 OAuth2 或企业单点登录系统。 - **适用场景**：需与特定身份管理系统集成的场景。 --- ###