python连接hive

本文详细介绍如何使用Python环境下的PyHive库连接Hive并执行SQL查询,包括安装必要包如sasl、thrift、thrift-sasl、pyhive等,以及执行查询并获取数据的全过程。通过具体代码实例,展示从建立连接到执行复杂SQL语句,再到将查询结果转化为DataFrame进行数据分析的步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

安装加载包

pip install sasl
pip install thrift
pip install thrift-sasl
pip install pyhive

调用包

import time
time1=time.time()
import pandas as pd
from pyhive import hive

cursor=hive.connect(host=‘192.168.14.101’,port=‘10000’,username=‘hive’)
con.cursor()

sql="""
此处放sql脚本
cursor.execute(sql)
data=pd.DataFrame(cursor.fetchall())
print(data.head())
time2 = time.time()
print(‘总共耗时:’ + str(time2 - time1) + ‘s’)
cur.execute(“select * from hive01.data02”)
cur.fetchone()

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值