win10 Python3.6连接hive

最新推荐文章于 2022-11-17 12:02:42 发布
最新推荐文章于 2022-11-17 12:02:42 发布
阅读量3.3k 收藏 4
点赞数 1
分类专栏： Hadoop 文章标签： hadoop hive python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/JoJoSIR/article/details/83472531
版权
本文介绍了在Windows 10上使用Python 3.6连接Hive 3.1.0的过程，包括所需Python依赖包的安装，如thrift和impyla等。在连接测试中遇到ThriftParserError和权限问题，通过修改thriftpy解析器文件及Hive配置文件core-site.xml解决了问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

环境

windows 10
python 3.6
hive 3.1.0
hive部署在虚拟机上

Python依赖包

  • thrift
  • thriftpy
  • thrift_sasl
  • pure_sasl
  • impyla
  • bitarray

如果无法使用pip install安装上述包的话，可以在https://www.lfd.uci.edu/~gohlke/pythonlibs/网页下载相应的whl文件，使用python install XXX.whl命令进行安装

开启服务

  1. 开启hadoop集群 start-all.sh
  2. 开启hive server2并在后台运行
    hive --service metastore &
    hive --service hiveserver2 &

连接测试

from impala.dbapi import connect
conn = connect(host='192.168.33.101', port=10000, database='***', user='***', password='', auth_mechanism='NOSASL')
cur = conn.cursor()

auth_mec

最低0.47元/天 解锁文章
windows环境下python连接hive
webpetter的博客
03-05 2149
pip install pure-sasl pip install thrift_sasl==0.2.1 --no-deps pip install thrift==0.9.3 pip install impyla FAQ: 报错1：ThriftParserError: ThriftPy does not support generating module with path in pro...
在Python中使用ibis,impyla,pyhive,pyspark连接Kerberos安全认证的Hive、Impala
王义凯 的博客
06-09 8426
在python中连接hive和impala有很多中方式，有pyhive,impyla,pyspark,ibis等等，本篇我们就逐一介绍如何使用这些包连接hive或impala，以及如何通过kerberos认证。
windows10上通过python3远程连接hive
qq_30868737的博客
08-14 799
注意：impyla 既可以连接impala， 也可以连接hive 环境 ： windows10 python版本：3.6 hive版本：1.1 impyla安装过程 安装依赖 pip3 install bit_array pip3 install thrift pip3 install thriftpy pip3 install pure_sasl pip install --no-deps thrift-sasl==0.2.1 安装impyla pip3 install impyla 连接Hive # -
windows上通过python3连接hive
weixin_33991418的博客
06-06 1627
为什么80%的码农都做不了架构师？>>> ...
python连接hive_python如何连接hive
weixin_39959482的博客
12-03 1151
一、下载hive提供的依赖包将hive安装包下的lib/py中的文件拷贝到python的sys.path中的site_packages目录下，否则引用对应的包会报错，这个是使用hive提供的Python接口来调用hive客户端。二、安装pyhs2控制台执行命令：pipinstallpyhs2如果安装不成功，安装上面提到的依赖包就可以了。三、启动hive 的thrift确保以下服务开启，默认端口...
在win10 python3用pyhive连接hive
jaaaaa_的博客
04-11 3334
文章目录Hive部分Python部分 需要在两个部分分别进行设置 Hive部分 在虚拟机端安装使用hive时，初始是没有设置用户名和密码， 在我们使用pyhive连接hive时需要用到用户名和密码 此时，我们就要启用hive的自定义用户名密码验证 第一步：根据hiveServer2服务提供的接口，实现他 To implement custom authentication for HiveServer2, create a custom Authenticator class derived from
win10 python3 impala_【大数据】windows 下python3连接hive
weixin_39687189的博客
12-21 262
注意：impyla 既可以连接impala， 也可以连接hive环境 ： windows10python版本：3.6hive版本：1.1亲测可用！impyla安装过程安装依赖pip install bit_arraypip install thriftpip install thriftpypip install pure_saslpip install --no-deps thrift-sasl...
Python3.6.1版本连接hive数据库
lanhai_scut的博客
08-17 4308
1.      Cmd运行Python，了解是Python版本（有利于解决接来下面埋的坑哦） 2.      首先需先安装jaydebeapi库，直接在cmd用运行：pip install jaydebeapi 如果报错： 这个是最后的错误，如果在往前看，会发现 3.  安装JPype1库，必须本版要和Python的版本一致（这就是前面说到的坑哦！）我安装的Python
python sasl 0.2.1 cp36 whl_Win7，Python3链接hive的各种问题（impyla）
weixin_39701768的博客
12-16 654
pip install saslerror: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools此错误需要安装Visual Studio安装地址：https://...
Ubuntu下Python访问Hive——thrift安装及测试
weixin_30745641的博客
07-29 140
1、下载thrift： wgethttp://mirror.bjtu.edu.cn/apache//thrift/0.8.0/thrift-0.9.0.tar.gz 2、安装依赖： sudoapt-getinstallbuild-essential sudoapt-getinstallbisonflex sudoapt-getinstall...
windows10下python连接hive库配置(亲测可用)
记录日常开发过程中遇到的一些问题
08-13 2146
1、必须配置启动hiveserver，配置文件在hive-site.xml中： # 进入hive的bin目录 cd /root/apache-hive-0.14.0-bin/bin/ # 启动那个hiveserver ./hive --service hiveserver2 # 新开一个xshell窗口，验证： netstat -luntp|grep 10000 2、beeline命令连接hive: # 进入hive的bin目录 cd /ro...
python远程访问hive
shuhuai007的专栏
11-05 3056
#!/usr/bin/python import sys sys.path.append('/home/zhoujie/Downloads/hive-0.7.0-cdh3u0/lib/py') from hive_service import ThriftHive from hive_service.ttypes import HiveServerException from thrift imp
Centos 6.5 安装impyla
柔情岁月的博客
02-22 807
在上一篇文章中已经安装好了Anaconda https://blog.csdn.net/redhat1986/article/details/87824229 需要安装的组件有（安装之前先把pip装好，这里不说pip的安装了） 模块 版本 pure_sasl 0.5.1 thrift_sasl 0.2.1 thrift 0.9.3 thriftpy 0.3.9 ...
python连接hive
小符的博客
11-17 1243
【代码】python连接hive。
beeline连接hiveserver2报错：User: root is not allowed to impersonate root
热门推荐
Magician的博客
08-29 2万+
最近在生产中搭建HA机制的集群，碰到不少坑，会在接下来的时间里好好总结下，先说下遇到的一个大坑。我们的需求是：希望通过hive的thrift服务来实现跨语言访问Hive数据仓库。但是第一步，你得需要在节点中打通服务器端（启动hiveserver2的节点）和客户端（启动beeline的节点）的链接。整体的结构如下图所示： 但是整个的配置过程可谓是一波三折，现在数据1节点启动hiveserver...
【启动hiveserver2出错Exception in thread “main“ java.lang.NoClassDefFoundError】
qq_44536013的博客
07-29 1738
启动hive的hiveserver2报错Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hive/org/apache/commons/cli/ParseException
hive中beeline连接报错：Error Failed to open new session java
ddzzz_的博客
10-25 2071
hive中beeline连接报错：Error: Failed to open new session: java.lang.RuntimeException: java.lang.RuntimeException: org.apache.hadoop.security.AccessControlException: Permission denied: 这是hdfs中/tmp和/user/hive/warehouse读写权限造成的，本人由于是虚拟机所以直接就 hadoop fs -chmod -R 77
33.日常问题整理[2022/10/09]Failed to open new session: java.lang.RuntimeException
weixin_46876034的博客
10-09 272
hive报错：Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException
CentOS环境下Python连接impala问题解决过程
wangdi620的专栏
05-17 3988
环境 CentOS7 & Python 3.6.6 安装impyla及其相关依赖，注意版本号 版本号不对，可能会造成错误 pip install -rrequirement.txt requirement.txt impyla==0.14.1 bitarray==0.8.1 six==1.11.0 thrift==0.11.0 thrift-sasl==0.2.1 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值