python 操作hbase（phoenix）

最新推荐文章于 2024-03-01 00:54:07 发布

小生测试

最新推荐文章于 2024-03-01 00:54:07 发布

阅读量1.9k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： python测试开发测试文章标签： python连接hbase hbase jaydebeapi

本文链接：https://blog.youkuaiyun.com/LANNY8588/article/details/102697968

python测试开发同时被 2 个专栏收录

32 篇文章

订阅专栏

测试

18 篇文章

订阅专栏

本文介绍如何使用Python通过Phoenix连接HBase数据库，包括JayDeBeApi和jpype1的安装配置，以及常见错误的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

python 操作hbase 可以通过多种两种方式来操作，一种是使用库happybase直接连接数据库，另外一种是通过Phoenix连接。Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。由于我们的业务是根据phoenix连接的，所以最终我们选择的是第二种。相对应的安装包是jpype1 以及jaydebeapi。

JayDeBeApi是一个允许用户使用Python用过Java JDBC驱动连接数据库的开源工具。理论上可以兼容所有的JDBC驱动，主要有：SQLite、Hypersonic SQL (HSQLDB)、IBM DB2、IBM DB2 for mainframes、Oracle、Teradata DB、Netezza、Mimer DB、Microsoft SQL Server、MySQL、PostgreSQL、Phoenix。
在这里插入图片描述

安装

首先要确认自己系统的java版本以及python版本是32位还是64位的，使用了python的jpype库需要保持两个版本是一致的。这里我们选择的都是64位。如果没有java包就自己手动安装java，此处就不介绍了。

安装jpype1

我们通过以下url下载包，也可pip 安装改包，但需要会提示安装vc++，单独下载该包则不需要安装其他依赖。
https://www.lfd.uci.edu/~gohlke/pythonlibs/
在这个网站下载两个安装包：jpype1 的运行依赖于下一个包numpy
在这里插入图片描述

pip install numpy-1.16.5+mkl-cp27-cp27m-win_amd64.whl
pip install JPype1-0.6.3-cp27-cp27m-win_amd64.whl

安装jaydebeapi

此包可以正常的pip安装即可。

代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
# @Time        : 2019/11/16
# @Author      : lanny8588
# @File        : hbase_contact.py
# @Software    : PyCharm
# @version     : python 2.7
"""

import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import jaydebeapi
import time
t=time.time()
url = 'jdbc:phoenix:192.168.xx.6,192.168.xx.7,192.168.xx.8:2181;'
dirver = 'org.apache.phoenix.jdbc.PhoenixDriver'
params={'phoenix.schema.isNamespaceMappingEnabled': 'true'}  ##如果不加这一句的话就会报错
jarFile = "D:\hbase-conf\phoenix-4.13.2-cdh5.11.2-client.jar"
sqlStr = 'select * from "xxxx"'
conn = jaydebeapi.connect(dirver, url,params,jarFile)
curs = conn.cursor()
curs.execute(sqlStr)
result = curs.fetchall()

错误解决

出现这种错误
错误1
JayDeBeApi throws AttributeError: ‘_jpype.PyJPField’ object has no attribute 'getStaticAttribute

This error is returned when JayDeBeApi is used with the latest version of JPype (0.7.0).With the previous version of JPype (0.6.3) no problem .一般是版本引起的，降低下版本即可。

错误2
java.sql.SQLExceptionPyRaisable: java.sql.SQLException: ERROR 726 (43M10): Inconsistent namespace mapping properties… Cannot initiate connection as SYSTEM:CATALOG is found but client does not have phoenix.schema.isNamespaceMappingEnabled enabled
环境变量设置问题，就是上面的params参数。