python连接hive配置

Impyla连接Hive教程
最新推荐文章于 2023-08-25 08:49:28 发布
原创 最新推荐文章于 2023-08-25 08:49:28 发布 · 388 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

1.依赖包

PACKAGEVERSION
python3.5
six1.10.0
thriftpy0.3.9
thrift-sasl0.2.1（不能用最新版本）
bitarray0.8.3
Impyla0.14.1
thrift0.9.3
pure-sasl0.5.1

2.修改源文件

2.1 修改Anaconda3\Lib\site-packages\thriftpy\parser\parser.py文件

在这里插入图片描述

2.2 修改Anaconda3\Lib\site-packages\thrift_sasl\__init__.py

在这里插入图片描述

3.注意事项

（1）创建连接时，auth_mechanism='PLAIN’必须添加，否则会出现如下错误：
在这里插入图片描述
（2）Linux 解决 thrift_sasl 安装失败问题
在这里插入图片描述
使用命令安装如下依赖包：
yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64

4. DEMO

在这里插入图片描述

效果如下：
在这里插入图片描述

Python连接Hive(基于PyHive)
OYY_90的博客
04-16 2765
遇见的坑 1.连hive之前安装pyhs2，结果发现要sasl，发现sasl还不能安装，需要到 https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl这里下载对应的包，我的得python3.7-win7 安装好sasl之后，紧接着安装pysh2是可以了。 https://blog.youkuaiyun.com/a6822342/article/det...
数据分析-Python连接hive数据库
牛油果鸡胸肉的博客
02-24 966
基于Python建立hive库的连接
windows环境下python连接hive
webpetter的博客
03-05 2194
pip install pure-sasl pip install thrift_sasl==0.2.1 --no-deps pip install thrift==0.9.3 pip install impyla FAQ: 报错1：ThriftParserError: ThriftPy does not support generating module with path in pro...
python连接hive
pansiliang2009的博客
08-25 1247
环境 python 2.7.18。
python连接hive_python3.6如何连接hive？
weixin_39768444的博客
12-03 839
最近正好解决了这个问题，先占坑，我周末来写详细的答案下面是答案正文：我们是基于pyhive这个包来连接python和hive。网上关于pyhive这个包的使用经验比较少，然后这个包也没有相关文档，所以当时我们就主要是基于源码和测试，打通了python和hive的连接：首先是pyhive的安装：pyhive这个包依 赖于sasl，thrift,thrift-sasl这三个包，因此请参照下面的顺序安装...
python3.6.5基于kerberos认证的hive和hdfs连接调用方式
09-16
总的来说，使用Kerberos认证的Python连接Hive和HDFS需要安装正确的依赖、配置Kerberos环境，并正确地编写Python代码来利用Kerberos进行身份验证。这个过程虽然复杂，但是一旦设置成功，就能提供安全且可靠的访问控制...
python连接hive kerberos_数据库开发实战教程：使用Python连接Kerberos的Presto
weixin_39604092的博客
02-04 304
【摘要】本文将为大家带来Python连接presto开源的两个实践案例。Python连接presto开源提供了以下两个库可以使用接下来就来分别实践一下，这两种客户端。环境准备创建一台Ubuntu的ECS，VPC选择和MRS集群一致下载安装apt-get，pip3，python3安装MRS客户端遇到的报错：Error: Network time protocol(NTP) not running. ...
python连接hive kerberos_【华为云技术分享】使用Python连接Kerberos的Presto
weixin_30043767的博客
02-04 636
Python连接presto开源提供了以下两个库可以使用接下来就来分别实践一下，这两种客户端。环境准备1.创建一台Ubuntu的ECS，VPC选择和MRS集群一致2.下载安装apt-get，pip3，python33.安装MRS客户端遇到的报错：Error: Network time protocol(NTP) not running. Please st...
python连接hive批量补充时间分区特征
fwj_ntu的博客
08-07 494
1. python连接数据库 from pyhive import hive conn = hive.Connection( host= 'xxx xxx', port= xxx, auth='CUSTOM', username='your user name', password='your password...
Python连接Hive数据库
二哥为啥不像程序员？
07-31 6053
import pyhive from pyhive import hive import pandas as pd import key_one class LinkHive(object): def __init__(self,host,port,username,password,database): self.host = host self.port = port self.username = username self.p
python 链接hive
doctorone的博客
03-15 406
1,配置hive：启动hiveserver2 在 bin/conf 下面touch 一个hive-site,xml: 添加 <?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
python 连接 hive
木下瞳的博客
04-22 271
https://juejin.im/post/5dc4fc646fb9a04ab25be021
Python连接Hive
qq_34874791的博客
05-20 544
1.安装thrift_sasl （1）报错 UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 73: ordinal not i 解决办法： vim ~/.bashrc（打开用户配置文件） 在文件最后一行添加 export LC_ALL=C 保存
Python 连接hive
wxdoop的博客
10-23 582
两种方式 pyHive impyla 第一种 需要安装以下文件包 pip install sasl pip install thrift pip install thrift-sasl pip install PyHive 在mac中使用pycharm都可以成功安装，在windows中sasl可能会安装失败。需要使用whl文件本地安装。whl文件下载地址如下https://www.lfd.u...
python连接hive的库
最新发布
08-23
### 3.1 Python连接Hive的常用库 在Python中连接Hive进行数据查询和分析，通常使用以下库和模块： #### pyhive `pyhive` 是一个常用的Python库，用于连接Hive Thrift服务并执行SQL查询。它支持HiveServer2协议，并能与Pandas等数据分析库结合使用，实现高效的数据处理。 示例代码如下： ```python from pyhive import hive # 创建Hive连接 conn = hive.Connection( host='xxx.xxx.xx.xxx', # HiveServer2的IP地址 port=10000, # HiveServer2的服务端口号 username='your_user', # 登录用户名 database='default' # 数据库名称 ) # 创建游标并执行查询 cursor = conn.cursor() cursor.execute("SELECT * FROM your_table LIMIT 10") # 获取查询结果 results = cursor.fetchall() print(results) # 关闭连接 cursor.close() conn.close() ``` 该库在连接时可能需要依赖 `thrift` 和 `sasl` 等底层库，某些环境中还需安装Visual C++ Build Tools以支持编译依赖项[^4]。 #### hive 另一个常用的库是 `hive` 模块，它同样支持通过Thrift协议连接Hive服务。该模块提供了 `connect` 方法，允许设置主机、端口、认证方式等参数。 示例代码如下： ```python from hive import connect # 建立连接 conn = connect( host="server_ip", port=10000, auth="NOSASL", # 认证模式 database="default", username="your_user", password="your_password" ) # 执行查询 cursor = conn.cursor() cursor.execute("SHOW TABLES") results = cursor.fetchall() print(results) # 关闭连接 cursor.close() conn.close() ``` 此方法在实际使用中与 `pyhive` 类似，但可能在配置和依赖管理上有所不同[^3]。 #### pandas 为了更方便地处理查询结果，通常会结合 `pandas` 库将查询结果转换为DataFrame格式，便于后续的数据分析和可视化。 示例代码如下： ```python import pandas as pd from pyhive import hive # 建立连接 conn = hive.Connection(host="xxx.xxx.xx.xxx", port=10000, username="your_user") # 执行查询 cursor = conn.cursor() cursor.execute("SELECT * FROM your_table WHERE some_column > 100") # 将结果保存为DataFrame df = pd.DataFrame(cursor.fetchall(), columns=[desc[0] for desc in cursor.description]) print(df) # 关闭连接 cursor.close() conn.close() ``` 该方法利用 `pandas` 的能力，将Hive查询结果快速转换为结构化数据形式，便于后续处理[^4]。 --- ### 3.2 连接配置与认证方式 在使用上述库连接Hive时，需根据HiveServer2的配置设置认证方式。常见的认证模式包括 `NOSASL`、`LDAP` 和 `KERBEROS` 等。若Hive服务启用了Kerberos认证，则需额外配置Kerberos客户端环境。 例如，使用 `pyhive` 连接启用了Kerberos认证的Hive服务： ```python from pyhive import hive conn = hive.Connection( host='hive-server-host', port=10000, username='your_user', auth='KERBEROS', kerberos_service_name='hive' ) ``` 这种配置方式适用于企业级Hadoop集群，确保连接的安全性和权限控制[^1]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值