使用python访问hdfs——pyhdfs库的编译&安装

本文介绍了PyHDFS在Ubuntu系统上的安装步骤及遇到的问题解决办法。包括如何正确安装依赖库libhdfs.so,以及如何配置环境变量使Python能够识别到该库。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

首先可以参考这两篇文档:
[url]http://code.google.com/p/libpyhdfs/source/browse/trunk/INSTALL[/url]
[url]http://www.cnblogs.com/zhangmiao-chp/archive/2011/05/04/2036665.html[/url]

然后补充两个细节:
1. 我在执行:
apt-get install libhdfs0-dev

的时候提示找不到包,改成:
apt-get install libhdf4-dev

之后安装成功。

2. 文档一中提到:
[quote]You can copy your libhdfs.so into `lib' directory.[/quote]
其中的libhdfs.so位于hadoop的目录下,在我这边是位于hadoop-1.0.3-bin/c++/Linux-i386-32/lib/下,编译pyhdfs时需要用到。

pyhdfs编译安装成功后,在python代码中
import pyhdfs

可能仍然会报错:
[quote]ImportError: libhdfs.so.0: cannot open shared object file: No such file or directory[/quote]

此时需要编辑/etc/ld.so.conf ,将上文提到的hadoop-1.0.3-bin/c++/Linux-i386-32/lib/目录地址添加进去,然后执行
sudo /sbin/ldconfig -v

使配置生效即可。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值