pyspark Python 连接 HBase thrift

最新推荐文章于 2023-05-12 23:15:48 发布

原创

最新推荐文章于 2023-05-12 23:15:48 发布 · 4.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #hbase #thrift #pyspark

本文档详细介绍了如何使用Python的PySpark连接到HBase，通过Thrift进行数据交互。首先，介绍了Thrift的安装过程，包括解决依赖问题。接着，讲解了如何生成HBase的Python客户端，并在HBase Master节点上配置Thrift服务。最后，提供了启动Thrift服务器和测试Python代码以访问HBase表的步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

0.引言

HBase-thrift项目是对HBase Thrift接口的封装，屏蔽底层的细节，使用户可以方便地通过HBase Thrift接口访问HBase集群，python通过thrift访问HBase。

1.thrift安装

python客户端机器安装：
thrift官网
下载thrift-0.9.3.tar.gz
下载后解压到当前文件夹

tar xvf thrift-0.9.3.tar.gz

进入thrift-0.9.3文件夹

cd thrift-0.9.3

构建

./configure –prefix=/usr/qy/thrift

错误：configure:error:Bison 2.5 or higher must be installed on the system.
查看bison版本：

which bison
/usr/bin/bison -V （我的是2.4）

下载bison 2.5

tar xvf bison-2.5.tar.gz 
cd bison-2.5
./configure --prefix=/usr（覆盖原有的bison）
或者./configure --prefix=/usr/qy/bison-2.5
make
make install(卸载的话直接在当前目录（bison-2.5）里make uninstall)
然后在vim ~/.bashrc 中添加路径
即：原来是：
export PATH="/usr/qy/anaconda/bin:$PATH"
现在是：
export PATH="/usr/qy/ananconda/bin:/usr/qy/bison/bin:$PATH"
然后source ~/.bashrc 使配置的环境变量生效