Python连接Hive

最新推荐文章于 2025-05-28 10:32:34 发布
最新推荐文章于 2025-05-28 10:32:34 发布
阅读量526 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_34874791/article/details/72583055
本文介绍了如何在Python中连接Hive，包括安装thrift_sasl时遇到的问题及解决方案，如设置环境变量、解决SSL超时问题，以及在CentOS和Ubuntu上安装依赖库的方法。此外，还提到了安装sasl和impyla库进行代码测试的步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.安装thrift_sasl

（1）报错
UnicodeDecodeError:'ascii' codec can't decode byte 0xe2in position73: ordinalnot i

解决办法：

vim ~/.bashrc（打开用户配置文件）


在文件最后一行添加

export LC_ALL=C

保存


source ~/.bashrc 使改动生效

（2）报错

sslerror: the read operaion timee out

解决方法：pip --default-timeout=100 install thrift_sasl

(3)报错

sasl/saslwrapper.h:22:23: error: sasl/sasl.h: No such fileordirectory

解决方法：

centenOs:yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64

ubuntu/deepin: sudo apt-get install libsasl2-devubuntu/deepin:

2. 安装sasl: pip install sasl

3. 安装impyla: pip install impyla

(1)报错

2. 编写代码测试

from impala.dbapi import connect

conn = connect(host='127.0.0.1', port=10000, database='default', auth_mechanism='PLAIN')
cur = conn.cursor()
cur.execute('select '+type +', income, count(*) from adults GROUP by ' + type+',income')
results = cur.fetchall()









                

        

    

    
  



    



                



	

		

			

				
					
python连接hive_使用Python连接Hive

				
			

			

				

					weixin_39822423的博客
				

				

					12-08
					
					1351
					
				

			

		

		

			
				
使用Python连接Hivehttp://ilanever.com/article/detail.do;jsessionid=7559A4B25D2C5D3B40506F0811C92946?a=using_hive_in_python客户端连接Hive需要使用HiveServer2。HiveServer2是HiveServer的重写版本，HiveServer不支持多个客户端的并发请求。当前Hiv...

			
		

	



                

            
              



	

		

			

				
					
数据分析-Python连接hive数据库

				
			

			

				

					牛油果鸡胸肉的博客
				

				

					02-24
					
					929
					
				

			

		

		

			
				
基于Python建立hive库的连接

			
		

	



              


  
              

                


	

		

			

				
					
python连接hive

				
			

			

				

					pansiliang2009的博客
				

				

					08-25
					
					1189
					
				

			

		

		

			
				
环境 python 2.7.18。

			
		

	





	

		

			

				
					
Pycharm连接Hive数据仓库，通过python的端口调用对数据库数据进行增删改查

					
最新发布

				
			

			

				

					2401_85045610的博客
				

				

					05-28
					
					1145
					
				

			

		

		

			
				
fs.defaultFShdfs://192.168.137.100:9000

			
		

	



		

			
		



	

		

			

				
					
Python 连接hive

				
			

			

				

					wxdoop的博客
				

				

					10-23
					
					544
					
				

			

		

		

			
				
两种方式

pyHive
impyla

第一种
需要安装以下文件包
pip install sasl
pip install thrift
pip install thrift-sasl
pip install PyHive

在mac中使用pycharm都可以成功安装，在windows中sasl可能会安装失败。需要使用whl文件本地安装。whl文件下载地址如下https://www.lfd.u...

			
		

	





	

		

			

				
					
python连接Sql、Oracle、Hive数据库

				
			

			

				

					u012121721的博客
				

				

					07-18
					
					638
					
				

			

		

		

			
				
python连接hive数据库

			
		

	





	

		

			

				
					
Python 连接Hive离线方式1

				
			

			

				

					08-08
				

			

		

		

			
				
Python 连接 Hive 离线方式1   Python 连接 Hive 离线方式是指在不依赖 Hive 服务端的情况下，使用 Python 连接 Hive 数据库的方式。这种方式通常使用 pyhs2 库来实现。  标题解释  Python 连接 Hive 离线方式1 是指...

			
		

	





	

		

			

				
					
Windows下Python连接hive

				
			

			

				

					Cynthia_N的博客
				

				

					06-01
					
					554
					
				

			

		

		

			
				
Windows中Python连接hive的一些报错与解决方法

			
		

	





	

		

			

				
					
python操作hive表_菜鸟世界 -python 连接hive

				
			

			

				

					weixin_39653448的博客
				

				

					12-03
					
					1958
					
				

			

		

		

			
				
1. pyhivepyhive 是可以用于连接hive的python库，安装方式如下pip install saslpip install thriftpip install thrift-saslpip install PyHive2. 连接数据库连接数据库，如果需要设置密码，那么必须制定auth参数from pyhive import hiveconn = hive.Connection(ho...

			
		

	





	

		

			

				
					
python 连接 hive

				
			

			

				

					木下瞳的博客
				

				

					04-22
					
					254
					
				

			

		

		

			
				
https://juejin.im/post/5dc4fc646fb9a04ab25be021


			
		

	





	

		

			

				
					
python 链接hive

				
			

			

				

					doctorone的博客
				

				

					03-15
					
					383
					
				

			

		

		

			
				
1,配置hive：启动hiveserver2

在 bin/conf 下面touch 一个hive-site,xml:

添加

<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

			
		

	





	

		

			

				
					
Python连接Hive(基于PyHive)

					
热门推荐

				
			

			

				

					a6822342的博客
				

				

					06-16
					
					6万+
					
				

			

		

		

			
				
要想使用python连接hive，首先得下载以下几个包：

 

pip install sasl
pip install thrift
pip install thrift-sasl

pip install PyHive

 

但是我们在安装sasl的时候可能会报错，导致安装不上，这个时候就得去sasl下载地址下载我们所需要的sasl，记得要和我们python版本匹配，我这里选择下载的是sa...

			
		

	





	

		

			

				
					
Python连接Hive数据库

				
			

			

				

					二哥为啥不像程序员？
				

				

					07-31
					
					6023
					
				

			

		

		

			
				
import pyhive
from pyhive import hive
import pandas as pd
import key_one

class LinkHive(object):
    def __init__(self,host,port,username,password,database):
        self.host = host
        self.port = port
        self.username = username
        self.p

			
		

	





	

		

			

				
					
python 连接hive

				
			

			

				

					04-10
				

			

		

		

			
				
在Python中连接Hive可以使用PyHive库。PyHive是一个Python的Hive客户端，它提供了与Hive服务器进行交互的功能。以下是使用PyHive连接Hive的步骤：

1. 安装PyHive库：可以使用pip命令来安装PyHive库，运行以下命令：
   ```
   pip install pyhive
   ```

2. 导入必要的库：在Python脚本中导入pyhive和thrift库：
   ```python
   from pyhive import hive
   from thrift.transport import TSocket
   from thrift.transport import TTransport
   from thrift.protocol import TBinaryProtocol
   ```

3. 创建连接：使用TSocket和TTransport创建一个连接对象，并指定Hive服务器的主机名和端口号：
   ```python
   transport = TSocket.TSocket('localhost', 10000)
   transport = TTransport.TBufferedTransport(transport)
   protocol = TBinaryProtocol.TBinaryProtocol(transport)
   ```

4. 打开连接：打开连接对象并进行身份验证：
   ```python
   transport.open()
   ```

5. 创建Hive客户端：使用pyhive.hive模块创建一个Hive客户端对象：
   ```python
   client = hive.Client(protocol)
   ```

6. 执行Hive查询：使用客户端对象执行Hive查询语句：
   ```python
   client.execute('SELECT * FROM your_table')
   ```

7. 获取查询结果：使用fetchall()方法获取查询结果：
   ```python
   result = client.fetchall()
   ```

8. 关闭连接：在完成所有操作后，关闭连接：
   ```python
   transport.close()
   ```

这样就可以使用Python连接Hive并执行查询了。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值